مقاله‌ی arXiv:2610.04824 · منتشرشده در کانال
Agent Behavior as Code: Efficient and Robust LLM Agents with Programmatic Specifications
رفتار ایجنت به شکل کد: ایجنت‌های کارآمد و مستحکم با مشخصات برنامه‌ای
- تاریخ
- (۱۲ مهر ۱۴۰۵) 2026-10-04 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Peng Qi, Chunliang Lyu, Gang Li, Fabian Chan, Cheng Chang, Ignacio Cases, Will Lu
- نهاد نویسنده‌ها
- Uniphore
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های مبتنی بر مدل‌های پایه در عمل سه مشکل مشترک دارند: رفتارشان حتی برای تسک‌های از نظر معنایی مشابه می‌تواند به شدت فرق کند و خطاها زنجیره‌وار پخش شوند؛ هر بار که یک تسک با ورودی متفاوت تکرار می‌شود، کل فراخوانی‌های مدل دوباره انجام و هزینه و تأخیر بالا می‌رود؛ و کانتکست محدود و توان محدود پیروی از دستور، مدیریت کانتکست رو به رشد و پیروی از برنامه‌های پیچیده را سخت می‌کند.
روش
روش ABCAgent با یک برنامه‌ی نمادین، مثلاً کد پایتون با تابع‌های عصبی احتمالی، رفتار ایجنت را در زمان اجرا کامل مشخص می‌کند، و یک ایجنت قوی مبتنی بر مدل پایه برای انعطاف آن برنامه را ویرایش می‌کند. به این ترتیب رفتار بدون مقیدسازی زودهنگام متغیرها مشخص و اجرایش قطعی می‌شود. ارزیابی روی شش بنچمارک انجام شد که دو تا را نویسنده‌ها برای سنجش تعمیم برنامه به گونه‌های همان تسک ساختند.
یافته‌ها
- روی GAIA و نسخه‌ی تقویت‌شده‌اش هم‌تراز ایجنت عصبی با همان مدل بود.
- جایی که استحکام و جریان کنترل طولانی مهم است بهتر بود: ۹۸٫۳ در برابر ۹۷٫۳ درصد روی GSM-Symbolic و ۷۱٫۹ در برابر ۴۷٫۴ درصد معیار Pass^۴ در حوزه‌ی مخابرات τ²-bench.
- بدون نوشتن برنامه‌ی جدید ۹۲٫۶ درصد نمونه‌های GSM-Symbolic را حل کرد که روی این بنچمارک تأخیر را ۵٫۲ برابر و هزینه را ۷٫۰ برابر کم کرد.
محدودیت‌ها
نویسنده‌ها می‌گویند روش روی یک هارنس پیاده شده و نتایج ممکن است مستقیم به چارچوب‌های دیگر منتقل نشوند، و ارزیابی‌ها نویز زیادی دارند: مثلاً در تسک‌های سطح ۱ نسخه‌ی تقویت‌شده‌ی GAIA، ۱۹٫۴ درصد تسک‌ها فقط با تغییر ترتیب تسک‌های هم‌خانواده نتیجه‌شان عوض می‌شود.
چرا مهم است
ایجنتی که برای هر تسک تکراری از صفر فکر کند، هم گران است و هم ناپایدار. این کار نشان می‌دهد تبدیل رفتار به برنامه‌ای قابل استفاده‌ی مجدد، هم هزینه را کم و هم رفتار را قابل پیش‌بینی می‌کند.