Hindsight Structured Advice Distillation: Steering Executor Agents with Advisors Trained on Their Failures and Task Characteristics

مسئله

ایجنت‌های مدل زبانی برای کار تخصصی مثل پژوهش مالی، سلامت و حقوق به کار می‌روند و اغلب برای تسک توانا هستند ولی جزئیاتش را از دست می‌دهند؛ مثلاً در مالی، این‌که کدام گزارش یک رقم را منتشر می‌کند یا شرکت یک معیار را چطور افشا می‌کند. آموزش دوباره‌ی ایجنت گران و اغلب غیرممکن است، چون ایجنت بسته یا مشترک است. نوشتن این دانش در پرامپت هم آن را طولانی و برای همه‌ی ورودی‌ها یکسان می‌کند، در حالی که هر ورودی راهنمایی متفاوتی می‌خواهد.

روش

یک مدل مشاور کوچک هر ورودی را می‌خواند و راهنمایی ساختاریافته می‌نویسد که به پرامپت یک اجراکننده‌ی منجمد اضافه می‌شود. روی یک مجموعه‌ی آموزشی با پاسخ‌های نمره‌دار، شکست‌های اجراکننده تحلیل می‌شود، با چند راهبرد اجرا می‌شود تا معلوم شود کدام روی هر ورودی کار کرده، و یک معلم که نمره‌ها و ردپاها را می‌بیند راهنمایی‌ای را که کمک می‌کرد می‌نویسد. مشاور با آموزش نظارت‌شده یاد می‌گیرد همان راهنمایی را فقط از روی ورودی بنویسد.

یافته‌ها

• روی FrontierFinance، یک مشاور ۸ میلیاردی نرخ قبولی ایجنت پژوهشی اختصاصی Samaya، که صدرنشین جدول این بنچمارک است، را از ۵۲٫۹ به ۵۶٫۶ درصد رساند.
• این نتیجه از پیکربندی پرتلاش خود ایجنت بالاتر بود، با ۳۷ درصد هزینه‌ی کمتر برای هر پرسش.
• روی WebShop، تبدیل متن به SQL در BIRD و ExpertLongBench هم نتیجه‌ها را بهتر کرد.

محدودیت‌ها

نویسنده می‌گوید هر نتیجه از یک اجرای ارزیابی برای هر شرط می‌آید؛ بیشتر مجموعه‌های آزمون برای پایداری کافی بزرگ‌اند، ولی ExpertLongBench فقط ۱۰۰ سند آزمون دارد و مجموعه‌های اعتبارسنجی کوچک‌اند.