Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
خلاصهی فارسی هنوز نوشته نشده است.
موضوع
۴۵ مقاله با این موضوع (به انگلیسی Long-horizon agents). جستجو و فیلتر در همین موضوع
خلاصهی فارسی هنوز نوشته نشده است.
کِی ایجنت باید بخشی از تاریخچهی شکستهایش را فراموش یا خلاصه کند؟
ایجنتهایی که کارهای طولانی انجام میدهند، از شکستهایشان در طول کار یاد میگیرند و این شکستها را در کانتکست نگه میدارند. اما ارزش یک رکورد شکست با جلو رفتن کار عوض میشود: چیزی که اول کار مفید بود، بعدها فقط کانتکست را شلوغ و پرهزینه میکند. سؤال این است که
خلاصهی فارسی هنوز نوشته نشده است.
آموزش یک مدل ایجنتی برای مهندسی یادگیری ماشین، با پاداش دادن به «پنجره»های بین دو آزمایش
وقتی یک ایجنت خودش کار مهندسی یادگیری ماشین را انجام میدهد (داده آماده کند، مدل بسازد، آزمایش اجرا کند و از نتیجه یاد بگیرد)، هر آزمایش گران است و نتیجهاش حاصل چند تصمیم قبلی است. یک اجرای طولانی پر از این آزمایشهای پرهزینه است. پس سخت است بفهمیم کدام تصمیم
مدل کوچکی که فقط کارش نوشتن در حافظهی بلندمدت است و در چند سیستم حافظه کار میکند
سیستمهای حافظهی بیرونی برنامههای مدل زبانی را از محدودیت پنجرهی کانتکست فراتر میبرند، اما کیفیتشان به مدلی بستگی دارد که در حافظه مینویسد: چه چیزی نگه داشته شود، با چه دقتی و شواهد تازه چطور وضعیت قبلی را بهروز کند. معمولاً یک مدل زبانی عمومی بزرگ با پر
یاد دادن به ایجنت کدنویسی که از اطلاعاتی که همین الان در کانتکستش هست استفاده کند
کدنویسی قابل اعتماد در سطح ریپو یعنی ایجنت نه فقط کد درست بنویسد، بلکه محدودیتها را در طول تعامل طولانی رعایت کند و به بازخورد ابزارها واکنش نشان دهد. تحلیل نویسندهها نشان داد ایجنتها اغلب به اطلاعاتی که همین حالا در کانتکست دارند عمل نمیکنند؛ مثلاً پیام خ
خلاصهی فارسی هنوز نوشته نشده است.
حافظهی بلندمدت ایجنت با واحدهای حافظهی مستقل و یک کدبوک گسسته برای پیدا کردن شواهد مرتبط ولی کمشباهت
حافظهی بلندمدت بین سشنها هنوز گلوگاه اصلی ایجنتهای مدل زبانی است. بیشتر سیستمها تکههای گفتوگو را همانطور ذخیره میکنند و با جستوجوی نزدیکترین همسایه در فضای بردارها بازیابی میکنند. این تکهها به کانتکست وابستهاند و واحد پایداری نیستند، و شواهدی که م
یادگیری از ادامهی واقعی یک «اوراکل» از همان وضعیتی که ایجنت به آن رسیده
یادگیری تقویتی برای کارهای طولانی محدود به آیندههایی است که سیاست فعلی میبیند. اگر اجراها هیچوقت به رفتار مفید نرسند، هیچ روش تقسیم اعتباری نمیتواند برای وضعیتها و عملهایی که اصلاً دیده نشدهاند نظارت بدهد. روشهای تقطیر روی سیاست راهنمایی معلم را روی وض
آموزش ایجنت با حلقههای خودش: هر تکرار بیفایده یک نمونهی منفی است
ایجنتهایی که کار طولانی انجام میدهند اغلب کاری را که قبلاً کردهاند دوباره انجام میدهند: همان فراخوانی ابزار را دوباره میفرستند و دقیقاً همان نتیجه را میگیرند، قدمی که هیچ اطلاعات تازهای ندارد. نویسندهها به این «حلقه» میگویند. حلقهها در ایجنتهای Qwen
ساخت محیطهای طولانی با پاداش پیشرفت متراکم، از روی یک «جهان پنهان» کاملاً مشخص
ایجنتهای طولانیمدت که ساعتها تا روزها روی کار ارزشمند کار میکنند، توجه زیادی گرفتهاند، ولی مدلهای متنباز در این کارها ضعیفاند، عمدتاً به خاطر نبود دادهی آموزشی و دستور آموزش کارآمد. تسکهای طولانی و پیچیده سخت ساخته و تأیید میشوند و پاداششان پراکنده
کانتکست شیءگرا برای ایجنتهای طولانی: پیشرفت قابل استفادهی دوباره را حمل کن، نه تاریخچه را
ایجنتهای طولانیمدت پیشرفتشان را در وضعیت پایدار تسک انباشته میکنند، اما مدام تاریخچهی تعاملهایی را پردازش میکنند که توضیح میدهد این پیشرفت چطور به دست آمده. مثلاً ایجنتی که سه فایل را درست کرده، به جای دانستن «سه فایل درست شده»، کل گفتوگوی درست کردنشان
خلاصهی فارسی هنوز نوشته نشده است.
تکامل بازگشتی محیطهای آموزشی برای ایجنتهای همکار طولانیمدت: ترمیم محیط با بازخورد اجرا
بزرگ کردن محیطهای تعاملی برای آموزش ایجنتهای طولانیمدت با یادگیری تقویتی مهم است. این محیطها بعد از ساخت اولیه اغلب آزمون و اصلاح بیشتری لازم دارند، و اصلاح یک ایراد در تسک ممکن است بهروزرسانی کانتکست کاری و تأییدکننده را هم لازم کند. خط لولههای موجود از
نگهداشتن وضعیت در حال تحول پروژه برای ایجنتهای کدنویسی طولانیمدت، بدون آموزش مدل
کدنویسی طولانیمدت نیاز دارد ایجنت تصویری در حال تحول از پروژه نگه دارد: الان چه مسئلهای حل میشود، چه چیزی یاد گرفته یا تغییر داده شده، کدام فایلهای دیگر ممکن است متأثر شوند و چه کاری مانده است. وقتی این اطلاعات در تاریخچهی رو به رشد پراکنده است، ویرایشها
ایجنت کدنویسی روی دستگاه محلی با یک مدل کوچک، که فقط قدمهای کلیدی را به مدل ابری میسپارد
کارهای پیچیده و طولانی ایجنتی معمولاً به مدلهای پیشرو در ابر تکیه دارند. اما اجرای این مدلها در همهی قدمهای یک مسیر طولانی هزینهی زیادی دارد، در حالی که همهی قدمها به یک اندازه توانایی لازم ندارند؛ مثلاً خواندن یک فایل به اندازهی طراحی یک راهحل سخت نی
سختتر کردن بازگشتی محیطهای بنچمارک بدون تغییر هدف تسک، برای ارزیابی و آموزش ایجنت
بنچمارکهای ایجنتی زود اشباع میشوند و ساختن بنچمارک تازه گران است. نویسندهها راه دیگری بررسی میکنند: سختتر کردن محیط یک بنچمارک موجود، در حالی که هدف اصلی تسک ثابت میماند. مثلاً همان تسک «گزارش ماهانه را بساز»، ولی این بار دادهها در دو منبع جدا هستند و ی
ساخت ۱۶۴۸ محیط آموزشی برای ایجنتهایی که برنامه را از صفر بازتولید میکنند
ایجنتهای کدنویسی بیشتر برای ساختن برنامه از صفر، مثل یک مهندس نرمافزار، به کار میروند، نه فقط رفع مسئله در یک ریپو. اما محیطهای آموزشی قابل تأیید و مقیاسپذیر که ایجنت را وادار کنند خودش بفهمد چه چیزی لازم است و سیستم را چطور طراحی کند کماند، و گردشکارها
پژوهش خودکار طولانیمدت با مدل جهان همتکامل: پیشبینی نتیجه پیش از اجرای پرهزینه
پژوهش خودکار طولانیمدت با چرخههای پیوستهی تولید فرضیه، پیادهسازی و اعتبارسنجی نوید شتاب دادن به پیشرفت علمی را میدهد. اما الگوی «تولید، اجرا، بازخورد» بر آزمون و خطای واکنشی تکیه دارد و اجراهای گران و زمانبر تأخیر شدیدی در بازخورد ایجاد میکنند؛ مثلاً هر
ساخت خودکار دادهی طولانی برای ایجنتهای ترمینال از کار حرفهای واقعی، بدون ساده کردن کار اصلی
ایجنتهای ترمینال از عملیات محلی به سمت انجام کارهای حرفهای واقعی میروند. مسیرهای کوتاه دستورها و فراخوانی ابزار را نشان میدهند، اما نشان نمیدهند ایجنت چطور با کاوش شاهد جمع میکند، بر اساس بازخورد راهبردش را عوض میکند و نتیجههای میانی را به خروجی نهایی
ایجنتی که محیط را به عقب برمیگرداند ولی دانستههایش را با خود جلو میبرد
ایجنتهای مدل زبانی در محیطهای طولانی کار میکنند و یک اشتباه زودهنگام میتواند زنجیرهای از شکست بسازد و ایجنت را در مسیری بنبست گیر بیندازد. مثلاً در بازی Sokoban یک جعبه که به گوشه رانده شد دیگر قابل جابهجایی نیست و ادامه دادن بیفایده است. ایجنت باید بت
جنگلهای شواهد زمانی برای حافظهی گفتوگوی چندنفرهی طولانی
تعاملهای چندنفرهی طولانی جزئیات خیلی بیشتری انباشته میکنند و تصمیمها بارها بهروز میشوند و وضعیتها بین شرکتکنندهها و مرحلهها تغییر میکنند. مثلاً در یک گروه کاری، تاریخ تحویل سه بار در طول دو هفته عوض شده و هر بار کس دیگری آن را اعلام کرده است. اطلاعا
بنچمارک اسپایر: سنجش بازی راهبردی بلندمدت ایجنتها با بازی کامل Slay the Spire
مدلهای زبانی ایجنتی کارهای پیچیده انجام میدهند، اما استدلال راهبردی در افق بلند کم بررسی شده است: بیشتر بنچمارکها کوتاه و اپیزودیاند و کارایی در تسکهای طولانی را نمیشود به دانش ذخیرهشده، استدلال و شانس تفکیک کرد. بنچمارک SpireBench مدلها را وادار میکن
آیا ایجنتها میتوانند با یادگیری به صدر برسند؟ سنجش یادگیری اکتشافی در یک رقابت بلندمدت بازیهای رقابتی
بازیهای رقابتی پیشرفت از جستوجوی اکتشافی تا یادگیری تقویتی را پیش بردهاند، اما یادگیری و تطبیق راهبرد از نمونههای محدود هنوز سخت است. ایجنتها جایگزینی پیشنهاد میکنند: تجربهی بازی را به بازنگری در سیاستهای اجرایی، یعنی کد بازیکن، تبدیل کنند. نویسندهها
سفر مهندسی نرمافزار: ارزیابی واقعگرایانهتر دستیارهای کدنویسی با تعامل طولانی و چندنوبتی
دستیارهای کدنویسی مثل Claude Code و Codex کاربرد اصلی ایجنتها شدهاند، اما بنچمارکها از نظر طول تسک و طول تعامل از استفادهی واقعی دورند. در واقعیت دستیار باید زنجیرهی طولانی کار توسعه را در مخزنی که پیوسته تغییر میکند انجام دهد و بارها نیازها را روشن و پی
تجزیهی بازگشتی آگاه از ابزار برای تسکهای بلندمدت با کتابخانههای ابزار بزرگ
ایجنتهای اولیه استدلال و اقدام را روی یک زنجیرهی اجرای واحد در هم میآمیزند؛ در تسکهای پیچیده تاریخچهی رو به رشد وابستگیهای میانی را پنهان میکند و خطاهای اولیهی برنامهریزی منتشر میشوند. تجزیهی بازگشتی تسک به زیرتسکها راهحل طبیعی است، اما باید توانا
وقتی زیرایجنتها موازی کار میکنند: نویدها و دامهای همروندی پویا در تسکهای کدنویسی بلندمدت
با پیشرفت ایجنتهای کدنویسی از تسکهای محدود به توسعهی بلندمدت، همروندی پویا راهی برای بزرگ کردن کارهای پیچیده است: ایجنت حین اجرا تصمیم میگیرد آیا و چطور زیرایجنتهای همزمان بسازد. در تسکهای کوتاه توان مدل نتیجه را تعیین میکند، اما در توسعهی طولانی هما
ترانسکت: حفظ قابلیت مشاهده در ارزیابیهای بلندمدت ایجنتها با تحلیل قابل بازتولید رونوشتها
ارزیابیهای هوش مصنوعی پیشرو بیش از پیش از تسکهای باز، ایجنتی و بلندمدت استفاده میکنند که رونوشتشان میتواند صدها صفحه خروجی و اقدام از شبکههای چندایجنتی پیچیده باشد. پس دامنهی آنچه ارزیابها میتوانند بهطور قابل اعتماد دربارهی رفتار ایجنت استنتاج کنند ت
یادگیری تقویتی مشروط به شکست برای ایجنتهای مهندسی نرمافزار بلندمدت
مهندسی نرمافزار در سطح مخزن یک تنظیم بلندمدت چالشبرانگیز است. کارهای اخیر ایجنتها را با روشهایی مثل GRPO آموزش میدهند که چند مسیر مستقل برای هر مسئله نمونهگیری و پاداش پایانی را در یک گروه ثابت مقایسه میکنند. اما این روش بازخورد تأییدکننده از وصلههای ش
ریفولد: تاکردن برگشتپذیر کانتکست بین نوبتها برای ایجنتهای بلندمدت، بدون آموزش
ایجنتهای بلندمدت روی یک تاریخچهی فقطافزودنی کار میکنند که در هر گام دوباره به مدل فرستاده میشود، پس کانتکست و هزینه با هر گام رشد میکند تا از پنجره بیرون بزند. روشهای موجود با پیشبینی نیاز به کانتکست کار میکنند و به فراخوانی اضافهی مدل، قاعدههای اکت
ایجنتهای زبانی بیوضعیت: مقیاس دادن پژوهش خودکار بلندمدت با نگه داشتن وضعیت در هارنس
سیستمهای پژوهش خودکار ایجنتها را در افقهای طولانی اجرا میکنند، اما استنتاج بیشتر به خودی خود پیشرفت بیشتر نمیآورد: ایجنتها تاریخچهی رو به رشد را تکرار میکنند، کار همدیگر را دوباره انجام میدهند یا آزمایش را متوقف میکنند در حالی که مصرف توکن ادامه دارد
بنچمارک چکر: آیا ایجنتهای بلندمدت میتوانند بررسیکنندهی تحلیل ایستا بسازند؟
ساخت بررسیکنندهی تحلیل ایستا نیاز دارد ایجنت مشخصهی یک نقص را تفسیر کند، مخزن را بررسی کند، منطق ویژهی تحلیلگر را پیاده کند و بررسیکننده را با بازخورد مکرر کامپایل و تحلیل بهتر کند. بنچمارکهای موجود روی تولید وصله یا تشخیص آسیبپذیری تمرکز دارند و بهند
امبر: آموزش ایجنتهای وب بلندمدت با حافظهی فقطافزودنی
ایجنتها در مسیرهای طولانی تعامل دارند که تاریخچهشان سریع از بودجهی کانتکست فراتر میرود. برای قابلیت اطمینان باید اطلاعات واقعی را نگه دارند، خطاهای اجرا و بازخورد اصلاحی را به یاد بسپارند و پیشرفت را پیگیری کنند. حافظهی بازنویسیشونده در اصل میتواند هر چ
ایجنت واقعاً چه کرد؟ نظارت مبتنی بر شواهد برای ایجنتهای بلندمدت
با سپردن تسکهای طولانی به ایجنتها، کاربران از تصمیمگیری تکتک به نظارت بر اجرای مستقل میرسند. اما حجم فعالیت ایجنت و پراکندگی شواهد پشتیبان تشخیص اینکه کدام تصمیمها ارزش تأیید کاربر را دارند سخت میکند؛ مثلاً ایجنت در میان صدها گام بیصدا یک نسخهی کتابخ
هارنسسرچ: هدایت جستوجوی بلندمدت با هماهنگی چندایجنتی پیشنهاد، ثبت و ممیزی
جستوجوی بلندمدت نیاز دارد ایجنت شواهد را در چند گام جمع و به پاسخ مستند تبدیل کند. با رشد تاریخچه، یک ایجنت واحد ممکن است گیر کند، پرسشهای حلنشده را گم کند، شواهد مفید را نادیده بگیرد یا پیش از جمع شدن پشتیبانی کافی متوقف شود. هارنس چندایجنتی Harness-Search
اسنت: آموزش آنلاین زمان آزمون ایجنتهای بلندمدت با خودتقطیری تجربهی تأییدشده
ایجنتها تسکهای بلندمدت را در نوبتهای زیاد استدلال و اقدام حل میکنند و فقط یک سیگنال تأیید در پایان میگیرند. ایجنتهای مستقر با جریانی از تسکهای مرتبط روبهرو میشوند، پس مسیرهایشان منبع طبیعی بهبود است. ایجنتهای تطبیق درون کانتکست بازتابها، حافظهها یا
مقیاس دادن محیطهای قابل تأیید برای ایجنتهای کاری بلندمدت با ساخت از منابع واقعی
ایجنتهای کاری روی اسناد دیجیتال کار دانشی حرفهای انجام میدهند و به محیطهای آموزشی با تعامل طولانی و تأیید قابل اعتماد نیاز دارند. محیطهای دستی هزینهی مهندسی سنگینی دارند که مقیاس را محدود میکند، و روشهای مصنوعی پیچیدگی، واقعگرایی یا قابلیت تأیید مستند
ممتریس: حافظهی سازگار با وضعیت برای ایجنتهای کدنویسی بلندمدت
وقتی ایجنتهای کدنویسی تسکهای تکامل نرمافزار در چند فایل و مرحله را انجام میدهند، دو چالش به هم گرهخورده پیش میآید: تاریخچهی انباشته بودجهی کانتکست را فشار میدهد، و تغییرات مخزن میتواند شواهد اجرای قبلی را بیاعتبار کند؛ مثلاً نتیجهی تستی که پیش از و
اتوکامپکت: آموزش ایجنت کدنویسی برای تصمیم دربارهی زمان فشردهسازی کانتکست
ایجنتهای کدنویسی تسکهای مهندسی نرمافزار در سطح مخزن را با مسیرهای طولانی بررسی کد، جستوجو، ویرایش و تست حل میکنند. با پیشرفت تسک، کاوشهای قبلی کهنه میشوند، پس مدیریت کانتکست فقط جلوگیری از سرریز نیست: ایجنت باید تصمیم بگیرد کِی فشرده کند، کدام وضعیت کار
استیتتیپ: مدلسازی چرخهی عمر شواهد مشروط به کنش برای ایجنتهای کدنویسی بلندمدت
اجرای ایجنتهای کدنویسی در افقهای طولانی سخت است، چون هر مشاهده به کانتکست افزوده میشود. راه رایج نگهداری مبتنی بر تاریخچه است که مشاهدههای قدیمی را پنهان یا خلاصه یا هرس میکند، اما فقط از روی متن تاریخچه تصمیم میگیرد و چیزی از ارتباط کد نمیبیند. چون ایج
فلواستیت: وضعیت اجرا به عنوان حافظه برای ایجنتهای بلندمدت
تسکهای بلندمدت ایجنت را وادار میکنند پیوسته از اطلاعات تعاملهای قبلی استفاده کند. نگه داشتن کل تاریخچه هزینهی کانتکست را بالا میبرد، فشردهسازیاش خطر از دست دادن جزئیات لازم بعدی را دارد، و ارتباط اطلاعات تاریخی اغلب فقط با پیشرفت تسک آشکار میشود. روش F
اپرا: چارچوب منتقد کلامی برای ایجنتهای کدنویسی بلندمدت که اصلاحها را تا حل مشکل دنبال میکند
ایجنتهای کدنویسی بلندمدت به اصلاح بهموقع نیاز دارند، اما بازخورد وقتی کار جاری را اشتباه ارزیابی کند یا به مشکل اصلی نپردازد، بیاثر یا حتی مضر است. منتقدهای موجود روی ارزیابی مسیر و تولید بازخورد تمرکز دارند اما به ندرت دنبال میکنند پس از رساندن بازخورد چه
کلیفکامپکشن: فشردهسازی کمهزینه برای ایجنتهای کدنویسی بلندمدت
ایجنتها اغلب روی مسائل پیچیدهای کار میکنند که میلیونها توکن کانتکست لازم دارند و به دلیل پنجرهی کانتکست محدود باید بین جلسهها فشردهسازی کنند. فشردهسازیهایی که محتوا را بازنویسی میکنند ممکن است با هر دور اطلاعات را تحریف کنند و رانش کانتکست انباشته شو
رکوریس: تکامل بازگشتی حافظهی تجربی و کاری برای هارنسهای ایجنت بلندمدت
خودبهبودی بازگشتی در تسکهای بلندمدت سخت است، چون تاریخچهی رو به رشد وضعیت تسک را مبهم میکند و فراخوانی مهارتها را نابجا میکند؛ مثلاً ایجنت مهارتی را که برای دستور اولیه مناسب بود، بعد از عوض شدن وضعیت هم دوباره فرا میخواند. معماری Recuris دو حافظه را جفت
سوئی-مم: یادگیری مدیریت تطبیقی حافظه برای ایجنتهای کدنویسی بلندمدت
ایجنتهای مهندسی نرمافزار بلندمدت باید تاریخچهی طولانی و پرنویز تعامل را با بودجهی محدود کانتکست مدیریت کنند. روشهای موجود به گردشکارهای فشردهسازی ایستا تکیه دارند یا قیدهای سختی بر زمان و دانهبندی فشردهسازی میگذارند، و مدیریت حافظه و حل مشکل را با هم