When Should Agents Think? Adaptive Reasoning via Cross-Turn Estimation

مسئله

ایجنت‌های مدل زبانی معمولاً پیش از هر اقدام در طول مسیر استدلال می‌کنند. اما استدلال در هر نوبت لازم نیست، چون استدلال قبلی می‌تواند اقدام‌های بعدی را هم پشتیبانی کند؛ مثلاً وقتی ایجنت یک‌بار برنامه‌ی مرور چند صفحه را چیده، لازم نیست پیش از باز کردن هر صفحه دوباره فکر کند. چالش این است که بدون تأیید پرهزینه‌ی مبتنی بر تولید، بفهمیم کِی استدلال موجود کافی است.

روش

نویسنده‌ها دریافتند کاهش احتمال اقدام‌های مرجع بعدی پس از حذف یک استدلال، به‌خوبی نشان می‌دهد آیا آن اقدام‌ها با استدلال قبلی هنوز قابل بازیابی‌اند. بر این پایه روش آموزشی RACE را ساختند که با رویه‌ی LoGiC به‌تدریج نوبت‌های استدلالی را پیدا می‌کند که حذفشان اثر کمی بر اقدام فعلی و بعدی دارد. این سیگنال‌ها در تنظیم دقیق نظارت‌شده و یادگیری تقویتی ایجنتی وارد می‌شوند تا سیاست یاد بگیرد کِی فکر کند و کِی مستقیم عمل کند.

یافته‌ها

• آزمایش‌های گسترده روی چهار بنچمارک ایجنتی نشان داد هزینه‌ی استدلال به‌طور قابل توجهی کم می‌شود و کارایی تسک حفظ یا بهتر می‌شود.
• تحلیل‌ها نشان داد استدلال قبلی می‌تواند اقدام‌های بعدی را در بازه‌های متفاوتی پشتیبانی کند و افت احتمال اقدام مرجع سیگنال سبکی برای برآورد این پشتیبانی است.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده عدد مشخصی برای کاهش هزینه نمی‌دهد.