مقاله‌ی arXiv:2609.26048 · منتشرشده در کانال
FIRE: Failure-Informed Runtime Engineering for Reliable Language-Model Agents
فایر: مهندسی زمان اجرا بر پایه‌ی شکست برای ایجنت‌های قابل اعتماد
- تاریخ
- (۳۱ شهریور ۱۴۰۵) 2026-09-22 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Nikita Agarwal, Nivedit Jain
- نهاد نویسنده‌ها
- Failproof AI
- برچسب لابراتوار
خلاصه‌ی فارسی
مسئله
ایجنت‌ها اغلب به یک راه‌حل کارا می‌رسند اما نمی‌توانند آن را پیوسته تحویل دهند؛ یعنی در یک اجرا موفق‌اند و در اجرای بعدی همان تسک شکست می‌خورند.
روش
نویسنده‌ها «سیاست‌های زمان اجرا» را بررسی کردند: دستورهای هدفمند زبان طبیعی و منع کنش‌ها که هارنس در وضعیت‌هایی که پیش از شکست‌های مشاهده‌شده رخ داده‌اند اعمال می‌کند، بدون تغییر وزن مدل یا پرامپت کاربر. ارزیابی روی کل ۸۷ تسک Terminal-Bench ۲٫۱ با دو تلاش برای هر تسک و یک آزمایش تصادفی پنج‌گروهی برای جدا کردن سازوکار انجام شد.
یافته‌ها
- سیاست‌ها موفقیت تکراری را در هر سه سطح GPT-5.6 بالا بردند: از ۵۰٫۶ به ۵۴٫۰ درصد برای Luna، از ۵۵٫۲ به ۶۰٫۹ درصد برای Terra و از ۶۴٫۴ به ۷۳٫۶ درصد برای Sol.
- موفقیت بهترین از دو تلاش Sol فقط ۱٫۲ امتیاز تغییر کرد اما موفقیت تکراری ۹٫۲ امتیاز بالا رفت، یعنی سیاست‌ها عمدتاً راه‌حل‌های قابل دسترس را به تحویل قابل اتکا تبدیل می‌کنند.
- در آزمایش تصادفی، سیاست‌های واقعی به ۶۱ درصد رسیدند در برابر ۳۹ درصد بدون سیاست، ۳۶ درصد با سیاست ساختگی هم‌زمان و ۳۹ تا ۴۳ درصد با تأیید یا بازنگری عمومی.
محدودیت‌ها
نویسنده‌ها می‌گویند هر خانه دو تلاش برای هر تسک دارد پس موفقیت تکراری یک نرخ مشاهده‌شده است نه تخمین قابلیت اطمینان بلندمدت، تسک‌های آزمایش تصادفی از همان جمعیت توسعه آمده‌اند و فقط اثر محتوا را روی همین توزیع نشان می‌دهند نه تعمیم، و همه‌ی شواهد از یک بنچمارک انگلیسی است.
چرا مهم است
برای استفاده‌ی واقعی، ایجنتی که گاهی موفق است کافی نیست. این کار نشان می‌دهد دستورهای هدفمند در لحظه‌های پرخطر، قابلیت اطمینان را بدون تغییر مدل بالا می‌برد.