Can an Agent Learn to Predict Its Own Failure? Outcome-Grounded Confidence Calibration in LLM Agents

مسئله

کنترل یک ایجنت در حال کار یعنی در هر قدم تصمیم بگیریم به اقدام بعدی‌اش اعتماد کنیم، دست نگه داریم یا کار را به انسان بسپاریم. این تصمیم یک سیگنال اطمینان برای هر قدم لازم دارد که پیش‌بینی کند اجرای فعلی در نهایت موفق می‌شود یا نه. اطمینانی که خود ایجنت به زبان می‌آورد نامزد طبیعی است، اما روش‌های یادگیری تقویتی موجود آن را با درستی تصمیم همان قدم کالیبره می‌کنند، نه با نتیجه‌ی کل تسک.

روش

در GRPO، گروه اجراهای یک تسک برچسب موفقیت می‌دهد و یک قاعده‌ی امتیازدهی سره اطمینان هر قدم را با نتیجه‌ی واقعی کل اجرا می‌سنجد. نویسنده یک پروتکل ارزیابی هم ارائه می‌دهد که عمق اجرا، سختی تسک و پیش‌بینی در سطح تلاش را از هم جدا می‌کند.

یافته‌ها

• در یادگیری تقویتی آفلاین روی مسیرهای ثبت‌شده‌ی یک ایجنت Qwen2.5-7B در ALFWorld، TextWorld و WebShop، دقت تشخیص اطمینان قدم نسبت به نتیجه (معیار AUROC) از نزدیک تصادفی به ۰٫۶۸ تا ۰٫۸۵ رسید و ۱۰ درصد قدم‌هایی که ایجنت بیشترین اطمینان را داشت حدود ۴٫۳ برابر بیشتر از میانگین موفق شدند.
• در یادگیری تقویتی آنلاین روی ایجنت زنده‌ی ALFWorld، خطای کالیبراسیون مورد انتظار از ۰٫۴۲ به زیر ۰٫۱۲ رسید و اجرای انتخابی بدون افت موفقیت تسک بهتر شد.
• ایجنت آموزش‌دیده از قدم اول تشخیص می‌دهد کدام تسک‌ها را شکست خواهد خورد، اما تشخیص تلاش موفق از ناموفق در همان تسک سخت‌تر است.

محدودیت‌ها

نویسنده می‌گوید شواهد بیشتر یک اثر بین تسک‌هاست و اثر در سطح تلاش فقط در بازه‌ی اولیه‌ی TextWorld دیده شد. نتیجه‌های زنده‌ی مثبت هم فقط دو محیط متنی را پوشش می‌دهند.