مقاله‌ی arXiv:2610.13632 · در صف خبرنامه
Humanize Olympiad Agents: A Multi-Session Workflow for Olympiad Problem Solving with Solve, Review, Wiki, Verify
چارچوب باز چندجلسه‌ای برای حل مسئله‌های المپیاد با حل، بازبینی، ویکی و تأیید
- تاریخ
- (۱۷ مهر ۱۴۰۵) 2026-10-09 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Zhengyang Zhang, Jing Xiong, Hongzhou Lin, Juihui Chung, Zijian Zhang, Song Han, Sihao Liu, Ligeng Zhu
- نهاد نویسنده‌ها
- Tsinghua University; NVIDIA; The University of Hong Kong; MIT; Princeton University; Amazon
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های مدل زبانی در کارهای علمی و المپیادی طولانی سریع بهتر می‌شوند، اما سیستم‌های برجسته نه مدل و نه پشته‌ی کامل استنتاجشان را منتشر می‌کنند. یک جلسه‌ی ایجنتی تنها هم روی مسئله‌های سخت شکننده است: خطاهای اولیه منتشر می‌شوند، دانش حوزه‌ی کم پیشرفت را متوقف می‌کند و موفقیت ظاهری ممکن است تفسیر غلط یا تضعیف صورت مسئله را پنهان کند.
روش
چارچوب باز HOA چند جلسه‌ی ایجنت را از راه سه کانال بازخورد مکمل هماهنگ می‌کند: یک بازبین مستقل هر نامزد را ارزیابی می‌کند و بازخورد عملی می‌دهد؛ یک ویکی ساختاریافته دانش خاص تسک را که ممکن است در پیش‌آموزش مدل کم یا غیرقابل اعتماد باشد فراهم می‌کند؛ و یک تأییدکننده اثبات‌های Lean تولیدشده را با صورت‌های معتبر مسئله بررسی می‌کند.
یافته‌ها
- با GPT-5.6 Sol، در IMO، IPhO و IOI ۲۰۲۶ امتیاز کامل و در مسئله‌های IChO ۲۰۲۶ نزدیک به امتیاز کامل گرفت و هر ۶۷۲ مسئله‌ی PutnamBench را حل کرد.
- در جدول Lean-Eval اول شد و ۲۵۱ از ۳۰۴ مسئله (۸۲٫۶ درصد) را حل کرد.
- با مدل باز Kimi-K3 در سه المپیاد ریاضی، فیزیک و انفورماتیک امتیاز کامل و در المپیاد شیمی امتیاز سطح طلای ۹۷٫۱ درصد گرفت؛ در ریاضی و فیزیک نزدیک به پایه‌ی بسته‌ی GPT-5.6 Sol بود و در شیمی و انفورماتیک از آن بالاتر.
محدودیت‌ها
نویسنده‌ها می‌گویند ارزیابی مجموعه‌ی محدودی از بنچمارک‌های المپیاد، برنامه‌نویسی و ریاضی رسمی را پوشش می‌دهد و تعمیم به پژوهش علمی دلخواه یا حوزه‌های بدون تأیید قابل اعتماد را ثابت نمی‌کند؛ بعضی نتیجه‌ها از مدل‌های بسته‌ای می‌آیند که رفتار و داده‌ی آموزشی‌شان کامل مستند نیست و احتمال آلودگی بنچمارک وجود دارد.
چرا مهم است
بخش بزرگی از توانایی سیستم‌های پیشرو در گردش کار است، نه فقط در مدل. این کار با یک چارچوب باز نشان می‌دهد بازخورد نظام‌مند می‌تواند فاصله‌ی مدل‌های باز و بسته را تا حد زیادی پر کند.