مقاله‌ی arXiv:2609.33987 · منتشرشده در کانال
Opera: A Verbal Critic Framework for Long-horizon Coding Agents
اپرا: چارچوب منتقد کلامی برای ایجنت‌های کدنویسی بلندمدت که اصلاح‌ها را تا حل مشکل دنبال می‌کند
- تاریخ
- (۵ مهر ۱۴۰۵) 2026-09-27 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Kai Mei, Zhiyuan Hu, Yutong Dai, Juntao Tan, Yifan Zhang, Dingjie Song, Dimitris N. Metaxas, Silvio Savarese, Ran Xu, Zeyuan Chen
- نهاد نویسنده‌ها
- Salesforce AI Research; Rutgers University; Lehigh University
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های کدنویسی بلندمدت به اصلاح به‌موقع نیاز دارند، اما بازخورد وقتی کار جاری را اشتباه ارزیابی کند یا به مشکل اصلی نپردازد، بی‌اثر یا حتی مضر است. منتقدهای موجود روی ارزیابی مسیر و تولید بازخورد تمرکز دارند اما به ندرت دنبال می‌کنند پس از رساندن بازخورد چه اتفاقی می‌افتد؛ مثلاً ایجنت ممکن است ظاهراً پیشنهاد را بپذیرد اما مشکل همچنان حل‌نشده بماند.
روش
چارچوب Opera هر اصلاح را یک یادداشت پایدار می‌بیند که تا حل شدن مشکل تشخیص‌داده‌شده دنبال می‌شود. زمان بازبینی را با محرک‌های دوره‌ای و رویدادمحور تعیین می‌کند، مشکلات را با عملگرهای نوع‌دار تشخیص می‌دهد، بازخورد را پیش از ارسال با شواهد قابل مشاهده ممیزی می‌کند، و کنش‌های بعدی ایجنت را دنبال می‌کند تا پیروی صرف را از حل واقعی جدا کند.
یافته‌ها
- به عنوان منتقد زمان آزمون، نرخ حل ایجنت‌های بدون منتقد را روی Terminal-Bench ۲٫۱، زیرمجموعه‌ای از SWE-Bench Pro و DeepSWE v1.1 در چهار مدل سیاست به ترتیب تا ۱۲٫۴، ۱۵٫۰ و ۸٫۹ واحد درصد بالا برد.
- در هر سه بنچمارک بالاترین میانگین نرخ حل را در میان منتقدهای رقیب داشت و وقتی خود مدل سیاست منتقد خودش بود هم بهبود داد.
- تنظیم دقیق Qwen3.5-9B روی اجراهای هدایت‌شده با این منتقد، نرخ حل روی مخزن‌های کنارگذاشته‌ی SWE-Bench Pro را بدون منتقد در استنتاج ۱۰٫۲ واحد درصد بالا برد، هم‌تراز تنظیم روی اجراهای یک مدل قوی‌تر.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ بهبود تنظیم دقیق روی یک مدل ۹ میلیاردی گزارش شده است.
چرا مهم است
بازخوردی که پیگیری نشود اغلب هدر می‌رود. این کار نشان می‌دهد دنبال کردن هر اصلاح تا حل واقعی، هم ایجنت را در لحظه بهتر می‌کند و هم داده‌ی آموزشی خوبی می‌سازد.