یادگیری تقویتی برای کدنویسی

Language Models Learn to Improve Language Models

آموزش یک مدل زبانی برای پیشنهاد دادن بهبودهای واقعی به مدل‌های زبانی دیگر، بدون هزینه‌ی سرسام‌آور آزمایش

مدل‌های زبانی را برای خودکار کردن پژوهش هوش مصنوعی به کار می‌برند، مثلاً برای پیشنهاد تغییری در معماری یا داده‌ی یک مدل دیگر. اما یاد دادن این مهارت با یادگیری تقویتی گران است: باید ده‌ها هزار پیشنهاد را امتحان کرد و هر امتحان می‌تواند یک دور کامل آموزش مدل با

Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning

خلاصه‌ی فارسی هنوز نوشته نشده است.

MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering

آموزش یک مدل ایجنتی برای مهندسی یادگیری ماشین، با پاداش دادن به «پنجره»های بین دو آزمایش

وقتی یک ایجنت خودش کار مهندسی یادگیری ماشین را انجام می‌دهد (داده آماده کند، مدل بسازد، آزمایش اجرا کند و از نتیجه یاد بگیرد)، هر آزمایش گران است و نتیجه‌اش حاصل چند تصمیم قبلی است. یک اجرای طولانی پر از این آزمایش‌های پرهزینه است. پس سخت است بفهمیم کدام تصمیم

KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents

پاداش دادن به ایجنت جست‌وجو بر اساس دانسته‌هایی که هر قدم واقعاً به دست آورده

ایجنت‌های جست‌وجوی عمیق برای جواب دادن به سؤال‌های پیچیده ده‌ها بار جست‌وجو می‌کنند و صفحه می‌خوانند. در یادگیری تقویتی معمول، کل این مسیر فقط یک پاداش نهایی می‌گیرد، پس معلوم نیست کدام جست‌وجو مفید بوده. روش‌های نظارت بر فرایند هم اعتبار هر قدم را به وضعیت ظا

Learning to Steer LLM Agents and Multi-Agent Systems

ایجنت ناظری که وسط کار تشخیص می‌دهد سیستم از هدف دور شده و آن را برمی‌گرداند

ایجنت‌ها و سیستم‌های چندایجنتی در کارهای طولانی با ابزار، کم‌کم از هدف اصلی دور می‌شوند؛ مثلاً در یک جست‌وجو آن‌قدر دنبال یک جزئیات فرعی می‌روند که سؤال اصلی فراموش می‌شود. به این «رانش هدف» می‌گویند و هم منابع را هدر می‌دهد و هم نتیجه را خراب می‌کند. برنامه‌ر

Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries

ایجنت کتابدار: پیش از رسیدن سؤال‌ها، اسناد را به یک فضای کاری مرتب از فایل‌ها تبدیل کن

استدلال روی اسناد طولانی برای مدل‌های زبانی هنوز سخت است. روش‌های بازیابی معمول واکنشی‌اند: فقط بعد از رسیدن سؤال دنبال تکه‌های مرتبط می‌گردند، پس سؤال‌هایی که به ترکیب چند سند نیاز دارند گیر می‌کنند. ساختارهای ازپیش‌ساخته مثل گراف دانش هم با قاعده‌های خشک ساخ

Training-Free On-Policy Distillation

ادغام چند مدل متخصص در یک مدل، فقط با چند ساعت محاسبه‌ی رو به جلو و بدون آموزش

برای این‌که مهارت چند مدل متخصص (مثلاً یکی برای ریاضی و یکی برای کد) در یک مدل جمع شود، معمولاً از تقطیر روی سیاست استفاده می‌کنند: مدل شاگرد پاسخ تولید می‌کند و از هر معلم بازخورد می‌گیرد. این کار برای هر معلم اجرای مدل، محاسبه‌ی معلم و قدم‌های آموزش لازم دار

OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents

ایجنتی که برای کار با کامپیوتر هم روی رابط گرافیکی کلیک می‌کند و هم کد اجرا می‌کند، و یاد گرفته کِی کدام

خودکارسازی واقعی دسکتاپ نه کاملاً تصویری است و نه کاملاً برنامه‌نویسی. ایجنت باید رابط کاربری را بفهمد و در عین حال فایل‌ها، اسکریپت‌ها و وضعیت سیستم را سریع دست‌کاری کند؛ مثلاً برای تغییر نام صد فایل، یک اسکریپت از صد بار کلیک بهتر است. آزمایش‌های اولیه‌ی نوی

Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing

مدل کوچکی که فقط کارش نوشتن در حافظه‌ی بلندمدت است و در چند سیستم حافظه کار می‌کند

سیستم‌های حافظه‌ی بیرونی برنامه‌های مدل زبانی را از محدودیت پنجره‌ی کانتکست فراتر می‌برند، اما کیفیتشان به مدلی بستگی دارد که در حافظه می‌نویسد: چه چیزی نگه داشته شود، با چه دقتی و شواهد تازه چطور وضعیت قبلی را به‌روز کند. معمولاً یک مدل زبانی عمومی بزرگ با پر

Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine

ایجنت ترمینالی که به نوبت مسیرهای موفقش را بازنویسی می‌کند و سیاستش را بهتر می‌کند

ایجنت‌هایی که در ترمینال کار می‌کنند باید دو چیز را یاد بگیرند: نتیجه‌ی یک بررسی‌کننده (موفق یا ناموفق) را به به‌روزرسانی مفید مدل تبدیل کنند، و پیشرفت ناقص را به حل کامل تسک برسانند. مثلاً ایجنتی که نصف یک باگ را درست کرده، باید بفهمد چه چیزی کم است. روش Term

Mosaic: Multi-Session Agentic Reinforcement Learning

یادگیری تقویتی برای ایجنت‌هایی که کارشان در چند سشن جدا انجام می‌شود، مثل کامپکشن یا ساب‌ایجنت

بیشتر روش‌های یادگیری تقویتی برای ایجنت‌ها فرض می‌کنند کل مسیر در یک سشن و یک کانتکست پیوسته انجام می‌شود. اما در عمل، تکنیک‌هایی مثل کامپکشن کانتکست و ساختن ساب‌ایجنت مسیر را به چند سشن تقسیم می‌کنند. روش رایج این است که پاداش کل مسیر را به همه‌ی سشن‌ها یکسان

Data World: Scaling Data Environments from Scratch

ساختن محیط‌های تمرین برای ایجنت‌های تحلیل داده از صفر: اول دنیای پشت فایل‌ها، بعد خود فایل‌ها

ایجنت‌های داده با کدنویسی فایل‌های ناهمگون را پردازش می‌کنند و از آن‌ها نتیجه‌ی تحلیلی می‌گیرند. آموزش این ایجنت‌ها در مقیاس بزرگ سخت است: ساختن محیط گران است، داده‌ی واقعی محدودیت حریم خصوصی و مالکیت دارد، و بررسی درستی یافته‌های باز وقتی حقیقت پشت داده معلوم

Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

تقطیر تغییرات یادگیری تقویتی از معلم به شاگرد، فقط در جاهایی که جهت تغییر ثابت مانده

یکی از راه‌های انتقال اثر یادگیری تقویتی از یک مدل معلم به شاگرد این است که تفاوت احتمال‌های معلم قبل و بعد از یادگیری تقویتی را روی پاسخ‌های خود شاگرد به عنوان نظارت به کار ببریم. اما این تفاوت نهایی نشان نمی‌دهد که ترجیح‌ها در طول آموزش معلم پیوسته عوض شده‌ا

OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents

یاد دادن به ایجنت کدنویسی که از اطلاعاتی که همین الان در کانتکستش هست استفاده کند

کدنویسی قابل اعتماد در سطح ریپو یعنی ایجنت نه فقط کد درست بنویسد، بلکه محدودیت‌ها را در طول تعامل طولانی رعایت کند و به بازخورد ابزارها واکنش نشان دهد. تحلیل نویسنده‌ها نشان داد ایجنت‌ها اغلب به اطلاعاتی که همین حالا در کانتکست دارند عمل نمی‌کنند؛ مثلاً پیام خ

Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL

در آموزش با چند پاداش، هر پاداش فقط به توکن‌هایی برسد که واقعاً به آن مربوط‌اند

مدل‌های زبانی بیشتر و بیشتر با چند پاداش قابل بررسی هم‌زمان آموزش می‌بینند؛ مثلاً درستی و قالب یک فراخوانی ابزار، یا هر کدام از محدودیت‌های یک دستور پیچیده. روش GDPO هر پاداش را جدا نرمال می‌کند، اما سیگنال هر پاداش را به طور یکسان روی کل پاسخ پخش می‌کند، در ح

All-in-One Memory: Process-Rewarded Reinforcement Learning for Memory Agents

یک سیاست واحد برای جست‌وجو، نوشتن و توقف در حافظه، با پاداش برای هر قدم

مدل‌های زبانی برای جواب دادن بر اساس تاریخچه‌های طولانی، مثل گفت‌وگوهای چندسشنی یا اسناد بلند، به حافظه‌ی بیرونی تکیه می‌کنند. اما روش‌های موجود بازیابی و ساختن حافظه را جدا بهینه می‌کنند و فضای پاداش مشترکی ندارند که بشود با آن تصمیم‌های جست‌وجو، نوشتن و توقف

MemComposer: Learning to Assemble Memories for LLM Agents via Reinforcement Learning

یاد گرفتن این‌که کدام تجربه‌ها، چند تا و به چه ترتیبی در حافظه‌ی ایجنت به او نشان داده شوند

حافظه به ایجنت اجازه می‌دهد بدون تغییر وزن‌هایش از تجربه‌های گذشته استفاده کند. اما شباهت معنایی به‌تنهایی مفید بودن یک خاطره را تضمین نمی‌کند: نتیجه به این بستگی دارد که خاطره‌ها چطور انتخاب و به ایجنت نشان داده شوند. مثلاً پنج تجربه‌ی شبیه هم ممکن است کمتر ا

Athanor: An Agent-Native System for Autonomous Post-Training Research

چهار ایجنت کلاد یک مدل پایه‌ی خام را خودشان پس‌آموزش دادند و به سطح نسخه‌ی رسمی رساندند

«خودبهبودی بازگشتی»، یعنی ساخته شدن سیستم‌های قوی‌تر هوش مصنوعی به دست خود هوش مصنوعی، را هنوز نمی‌شود مستقیم اندازه گرفت. نویسنده‌ها نسخه‌ی ضعیف‌تر و قابل سنجشی را بررسی می‌کنند: آیا ایجنت‌های پیشرو می‌توانند یک مدل پایه‌ی کوچک و خام را فقط با داده‌ی عمومی پس

MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments

پلتفرم بازی برای ارزیابی و آموزش ایجنت‌های رابط گرافیکی در موبایل، کامپیوتر و وب

یادگیری تقویتی برخط با پاداش قابل بررسی، در ریاضی، کدنویسی و کار با ابزار پیشرفت سریعی آورده، اما گسترش آن به ایجنت‌های رابط گرافیکی سخت است: محیط‌های تعاملی گران‌اند و تسک‌های آموزشی واقع‌گرا کم‌اند. کارهای قبلی اپ و تسک تازه ساخته‌اند ولی نه کد آموزش را منتش

Co-Evolving Acting and Forecasting for Language Agents

آموزش هم‌زمان اقدام و پیش‌بینی چند قدم بعدی، برای استفاده‌ی بهتر از مسیرهای موفق ایجنت

آموزش ایجنت‌های زبانی به خاطر هزینه‌ی بالای اجراهای طولانی محدود است، ولی یادگیری تقویتی معمول فقط از یک پاداش پایانی یاد می‌گیرد و نظارت قدم‌های میانی را هدر می‌دهد. روش‌های قبلی یا هدف ارزش برای هر قدم می‌سازند، که همه از همان یک پاداش می‌آیند، یا هدف مشاهده

Recovering Reliable Supervision via Critique-Guided On-Policy Distillation

وقتی شاگرد اشتباه می‌کند، معلم دنبالش می‌رود: بازگرداندن نظارت قابل اعتماد با نقد معلم

تقطیر روی سیاست، مدل شاگرد را روی پاسخ‌های خودش با نظارت توکن به توکن از معلم آموزش می‌دهد و فرض می‌کند معلم از هر شروعی که شاگرد نوشته به پاسخ درست می‌رسد. نویسنده‌ها این ویژگی را «بازیابی‌پذیری معلم» می‌نامند و نشان می‌دهند روی پاسخ‌های غلط از کار می‌افتد: م

More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning

بررسی واقعیت خودتقطیری در یادگیری تقویتی ایجنتی: هیچ روشی همیشه از GRPO بهتر نیست

تعداد روش‌های خودتقطیری در یادگیری تقویتی ایجنتی رو به افزایش است، اما ارزیابی‌های موجود اغلب عدد پایه‌های منتشرشده را زیر شرایط آزمایشی متفاوت دوباره استفاده می‌کنند، مقایسه‌ی مستقیم کمی بین روش‌های هم‌زمان دارند و به پایداری آموزش و هزینه‌ی محاسبه کم توجه می

SERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learning

یادگیری از ادامه‌ی واقعی یک «اوراکل» از همان وضعیتی که ایجنت به آن رسیده

یادگیری تقویتی برای کارهای طولانی محدود به آینده‌هایی است که سیاست فعلی می‌بیند. اگر اجراها هیچ‌وقت به رفتار مفید نرسند، هیچ روش تقسیم اعتباری نمی‌تواند برای وضعیت‌ها و عمل‌هایی که اصلاً دیده نشده‌اند نظارت بدهد. روش‌های تقطیر روی سیاست راهنمایی معلم را روی وض

Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards

ساخت محیط‌های طولانی با پاداش پیشرفت متراکم، از روی یک «جهان پنهان» کاملاً مشخص

ایجنت‌های طولانی‌مدت که ساعت‌ها تا روزها روی کار ارزشمند کار می‌کنند، توجه زیادی گرفته‌اند، ولی مدل‌های متن‌باز در این کارها ضعیف‌اند، عمدتاً به خاطر نبود داده‌ی آموزشی و دستور آموزش کارآمد. تسک‌های طولانی و پیچیده سخت ساخته و تأیید می‌شوند و پاداششان پراکنده

SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection

تزریق انتخابی اسکیل در یادگیری تقویتی ایجنتی، فقط وقتی برآورد شود واقعاً کمک می‌کند

اسکیل‌های متنی می‌توانند با تقطیر تعامل‌های قبلی به راهنمای قابل استفاده‌ی دوباره، کاوش ایجنت را در یادگیری تقویتی بهتر کنند. اما روش‌های موجود یا فرض می‌کنند تزریق اسکیل همیشه مفید است یا برای سنجش سودش به بازخورد غیرمستقیم یا اجراهای پرهزینه تکیه می‌کنند. آز

PreciseCoder: Faithful and Generalizable Debugging Beyond Unit-Test Rewards

پاداش تست واحد به مدل یاد می‌دهد زیادی ویرایش کند و باگ خیالی بسازد؛ راه‌حل، پاداش برای ویرایش دقیق

یادگیری تقویتی با تست واحد دستور رایج پس‌آموزش مدل‌های کد است، اما تست واحد فقط می‌پرسد برنامه‌ی نهایی پاس می‌شود یا نه. نویسنده‌ها دیدند این پاداش در اشکال‌زدایی نرخ پاس را بالا می‌برد، ولی هم‌زمان به مدل یاد می‌دهد بیشتر از لازم ویرایش کند و در کدی که درست ا

Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments

داورهای فراخوانی ابزار به مرجع متنی تکیه می‌کنند و مقدار درستی را که منبعش دیده نمی‌شود رد می‌کنند

داورهای فراخوانی ابزار مقدار آرگومان‌هایی را که ایجنت پیشنهاد داده ارزیابی می‌کنند. نویسنده‌ها دیدند وقتی در ورودی داور هیچ متنی نیست که بگوید مقدار باید چه باشد، داور مقدار درست را کمتر می‌پذیرد. این در سه حالت پیش می‌آید: مقدار پیش‌فرض طرح‌واره‌ی تابع است که

TextualRL: Textual Reinforcement Learning for Context Management

یادگیری تقویتی متنی: بهبود کانتکست ایجنت با مقایسه‌ی گروهی اجراهای موفق و ناموفق، بدون گرادیان

ایجنت‌ها می‌توانند با بازنویسی کانتکست متنی‌ای که رفتارشان را هدایت می‌کند، بدون تغییر پارامترها به بازخورد تسک واکنش نشان دهند. اما تبدیل پاداش اجرا به به‌روزرسانی قابل استفاده‌ی دوباره سخت است: یک مسیر تنها شواهد مقایسه‌ای کمی درباره‌ی این‌که چه چیزی باید عو

Agent-Reflex: Teaching Language Agents to Act Reflectively

آموزش بازتاب پیشگیرانه به ایجنت‌ها، برای کنار آمدن با بازخورد پرنویز ابزارها و اصلاح کاربر

در استقرار واقعی، سرویس‌های ابزاری MCP ممکن است بازخورد پرنویز برگردانند و کاربر ممکن است برای اصلاح ایجنت دخالت کند؛ مثلاً یک API خطای مبهم برمی‌گرداند یا کاربر وسط کار می‌گوید «نه، فایل دیگر را منظور داشتم». روش‌های موجود نظارت کمی برای یادگیری بازتاب و بازی

DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter

سنجه‌ی پیشرفت «توکن تا پایان» برای پخش پاداش پایانی بین قدم‌های ایجنت چندنوبتی

یادگیری تقویتی با پاداش قابل تأیید برای ایجنت‌های چندنوبتی به پاداش پایانی پراکنده تکیه دارد که درباره‌ی تک‌تک قدم‌ها چیز زیادی نمی‌گوید. مقایسه‌ی قدم‌ها درون یک گروه به تطبیق قابل اعتماد وضعیت و نتیجه‌های متنوع نیاز دارد، و امتیازدهی مستقیم به قدم‌ها ممکن است

EdgeWise: Bringing Long-Horizon Agents to the Edge via Selective Cloud Delegation

ایجنت کدنویسی روی دستگاه محلی با یک مدل کوچک، که فقط قدم‌های کلیدی را به مدل ابری می‌سپارد

کارهای پیچیده و طولانی ایجنتی معمولاً به مدل‌های پیشرو در ابر تکیه دارند. اما اجرای این مدل‌ها در همه‌ی قدم‌های یک مسیر طولانی هزینه‌ی زیادی دارد، در حالی که همه‌ی قدم‌ها به یک اندازه توانایی لازم ندارند؛ مثلاً خواندن یک فایل به اندازه‌ی طراحی یک راه‌حل سخت نی

Scalable Weak-to-Strong Verifier Hardening for Agent Environments

مقاوم کردن خودکار بررسی‌کننده‌های محیط‌های ایجنتی در برابر تقلب، با حلقه‌ی هکر و ترمیم‌کار

محیط‌های ایجنتی با بررسی‌کننده‌های برنامه‌ای، نتیجه‌های پیچیده را به پاداش تبدیل می‌کنند. اما می‌شود به این بررسی‌کننده‌ها حمله کرد تا به ایجنتی که تسک را انجام نداده و تقلب کرده نمره‌ی کامل بدهند؛ مثلاً ایجنت به جای درست کردن کد، فایل تست را عوض کند. این هم ا

ANTE: Anticipate, Then Execute -- Learning Internal World Models for Coding Agents from Verified Beliefs

ایجنت کدنویسی که پیش از هر اقدام نتیجه‌اش را پیش‌بینی می‌کند و از درستیِ پیش‌بینی‌اش پاداش می‌گیرد

بیشتر ایجنت‌های کدنویسی پیش‌بینی نمی‌کنند هر اقدامشان چه نتیجه‌ای دارد. پاداش پایانی هم شکست را به قدم مشخصی نسبت نمی‌دهد، پس یک ویرایش اشتباه می‌تواند پیش از رسیدن هر سیگنالی وضعیت ریپو را خراب کند؛ مثلاً ویرایشی که تست هدف را پاس می‌کند ولی تستی را که قبلاً

PEARL: Process-Experience Aware Reinforcement Learning for Multi-Turn Agents

یادگیری تقویتی آگاه از تجربه‌ی فرایند: تقویت انتخابی جریمه برای الگوهای تصمیم تکرارشونده‌ی ناموفق

پاداش پایانی آموزش ایجنت‌های چندنوبتی را بدون برچسب قدم‌به‌قدم ممکن می‌کند، اما مزیت نسبی گروهی راهنمایی کمی درباره‌ی این‌که کدام تصمیم میانی باید عوض شود می‌دهد. مسیرهای ناموفق هم اقدام‌های معقول دارند، و الگوهای تصمیم نامطلوب ممکن است در طول آموزش تکرار شوند

Matched-Context Group Policy Optimization for LLM Agent Training

بهینه‌سازی سیاست گروهی با کانتکست منطبق: مقایسه‌ی اقدام‌ها فقط در وضعیت‌های واقعاً مشابه

آموزش ایجنت‌های طولانی‌مدت نیاز دارد از بازخورد پایانی پراکنده، به تصمیم‌های میانی اعتبار داده شود. در یک گروه محدود از اجراهای هم‌نژاد، مقایسه‌ی مفید اقدام‌ها به کانتکست آن‌ها، شواهد برای هر دو گزینه و نحوه‌ی ورود این شواهد به یادگیری بستگی دارد؛ مقایسه‌ی دو

MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

یادگیری از شکست با مداخله‌ی آموزشی زنده: مربی چندایجنتی برای فرار از فروپاشی پاداش صفر

یادگیری تقویتی با پاداش قابل تأیید محرک اصلی مدل‌های استدلالی است، اما در برابر «فروپاشی پاداش صفر» آسیب‌پذیر است: وقتی سختی تسک ناگهان بالا می‌رود، همه‌ی تلاش‌ها شکست می‌خورند و سیگنال یادگیری از بین می‌رود. روش معمول مسیرهای ناموفق را دور می‌ریزد، در حالی که

Branching On-Policy Distillation

تقطیر روی سیاست با انشعاب در نقطه‌های تصمیم نامطمئن، برای پوشش بیشتر با همان بودجه

تقطیر روی سیاست روی مسیرهای تولیدشده‌ی شاگرد نظارت معلم می‌دهد، اما یک مسیر در هر تصمیم فقط یک ادامه را نشان می‌دهد و با بودجه‌ی نمونه‌برداری محدود، پوشش نظارت کم است. روش BranchOPD نقطه‌های تصمیم پراطلاعات را با عدم اطمینان شاگرد و اختلاف معلم و شاگرد انتخاب

Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits

مداخله در زمان اجرا: تبدیل مسیرهای ناموفق به موفق با معیارهای ارزیابی، برای یادگیری فراتر از حد سیاست

روش‌های یادگیری تقویتی ایجنتی با یک گلوگاه بنیادی روبه‌رو هستند: وقتی تسک‌ها از مرز توانایی فعلی مدل فراتر می‌روند، مسیرهای موفق خیلی کمیاب می‌شوند و آموزش اغلب فرو می‌پاشد، چون مدل چیزی برای یادگرفتن ندارد. روش RTI در زمان اجرا از شواهد سمت پاداش، یعنی معیاره

State-OPD: State-Grounded On-Policy Distillation for Multi-Turn Agents

تقطیر روی سیاست بر پایه‌ی وضعیت تعامل برای ایجنت‌های چندنوبتی: استدلال قبلی شاگرد نظارت معلم را خراب می‌کند

تقطیر روی سیاست راهی قوی برای انتقال توانایی استدلال از مدل‌های پیشرو به مدل‌های کوچک‌تر است، اما گسترش آن به محیط‌های ایجنتی چندنوبتی سخت است. معلم وقتی تاریخچه‌ی کامل شاگرد، شامل استدلال‌های قبلی‌اش، را می‌بیند، ممکن است با همان استدلال‌های غلط همراه شود. نو

Travel Back To Move Forward: Retrospective Exploration and Evolving for Long Horizon Agents

ایجنتی که محیط را به عقب برمی‌گرداند ولی دانسته‌هایش را با خود جلو می‌برد

ایجنت‌های مدل زبانی در محیط‌های طولانی کار می‌کنند و یک اشتباه زودهنگام می‌تواند زنجیره‌ای از شکست بسازد و ایجنت را در مسیری بن‌بست گیر بیندازد. مثلاً در بازی Sokoban یک جعبه که به گوشه رانده شد دیگر قابل جابه‌جایی نیست و ادامه دادن بی‌فایده است. ایجنت باید بت

Reward Hacking as a Transmissible Strategy in Multi-Agent Coding Systems

هک پاداش به عنوان یک راهبرد مسری در سیستم‌های چندایجنتی کدنویسی

سیستم‌های چندایجنتی با هماهنگی ایجنت‌هایی که کد و برنامه را به اشتراک می‌گذارند تسک‌های کدنویسی را حل می‌کنند و اغلب با یادگیری تقویتی و ارزیاب خودکار بهینه می‌شوند. دور زدن ارزیاب می‌تواند بدون راه‌حل واقعی پاداش بگیرد؛ مثلاً کدی که تست را دستکاری می‌کند تا ه

MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis

فرار از «تله‌ی مزیت صفر» در یادگیری تقویتی با پاداش قابل تأیید، با ساخت بازگشتی مسئله‌های تازه

بزرگ کردن داده‌محور یادگیری تقویتی با پاداش قابل تأیید روی جمع‌آوری یا تولید مسئله‌های آموزشی متمرکز بوده، اما اندازه‌ی مجموعه به تنهایی تعیین نمی‌کند که داده برای یک سیاست هدف سیگنال یادگیری مفید می‌دهد. نویسنده‌ها نشان دادند یک مجموعه‌ی بزرگ ریاضی متن‌باز تق

Beyond Binary Verifiable Rewards: Behavioral Self-Rewarding for SWE Agents

خودپاداش‌دهی رفتاری برای ایجنت‌های مهندسی نرم‌افزار: فراتر از پاداش دودویی قبول یا رد تست

یادگیری تقویتی با پاداش قابل تأیید با تست‌های اجرایی نظارت قابل اعتمادی به ایجنت‌های مهندسی نرم‌افزار می‌دهد، اما پاداش دودویی بین مسیرهایی که کیفیت اشکال‌زدایی‌شان خیلی متفاوت است فرقی نمی‌گذارد. مثلاً دو مسیری که هر دو تست را رد می‌کنند، یکی ممکن است تا نزدی

HarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments

هارنس‌اس‌کیوال: آموزش ایجنت‌های پایگاه داده درون همان هارنسی که در استقرار با آن کار می‌کنند

مدل‌های تبدیل متن به SQL معمولاً آموزش می‌بینند که پرسش را مستقیم به یک کوئری ایستا تبدیل کنند، اما ایجنت‌های واقعی پایگاه داده با تعامل چندنوبتی و وضعیت‌دار با پایگاه داده‌ی زنده کار می‌کنند: شِما را بررسی می‌کنند، کوئری آزمایشی اجرا می‌کنند، خطا را تشخیص می‌

When Should Agents Think? Adaptive Reasoning via Cross-Turn Estimation

ایجنت کِی باید فکر کند؟ استدلال تطبیقی با برآورد پشتیبانی استدلال در نوبت‌های بعدی

ایجنت‌های مدل زبانی معمولاً پیش از هر اقدام در طول مسیر استدلال می‌کنند. اما استدلال در هر نوبت لازم نیست، چون استدلال قبلی می‌تواند اقدام‌های بعدی را هم پشتیبانی کند؛ مثلاً وقتی ایجنت یک‌بار برنامه‌ی مرور چند صفحه را چیده، لازم نیست پیش از باز کردن هر صفحه دو

TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation

تریس: تشخیص شکنندگی تأییدکننده در ارزیابی ایجنت‌ها، تا معلوم شود تغییر امتیاز از ایجنت است یا از سنجش

امتیاز تأییدکننده‌ها هم معیار بنچمارک است و هم پاداش آموزشی ایجنت‌ها، و تغییر امتیاز معمولاً تغییر توانایی خوانده می‌شود. اما ممکن است فقط تغییر در خود ارزیابی باشد؛ مثلاً اگر فقط نام ابزارها عوض شود و امتیاز افت کند، ممکن است قاعده‌ی امتیازدهی به نام‌ها حساس

When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better

کِی به تقطیر درون سیاست نیاز داریم؟ تقطیر روی اجراهای آفلاین دانش‌آموز اغلب بهتر است

تقطیر درون سیاست برای انتقال توانایی معلم به مدل دانش‌آموز رایج شده است: دانش‌آموز مدام پاسخ تازه تولید می‌کند و معلم آن‌ها را اصلاح می‌کند. سؤال این است که آیا نمونه‌گیری درون سیاست برای هر جفت معلم و دانش‌آموز مفید است، یا هزینه‌ی تولید مداوم پاسخ تازه گاهی

On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents

سر وقت: به سوی ایجنت‌هایی که بودجه‌ی زمانی را هم رعایت کنند و هم از آن بهره‌ی مفید ببرند

سؤال این است که آیا ایجنت‌های کوچک می‌توانند زیر بودجه‌ی صریح زمان واقعی کار کنند، یعنی هم زمان تخصیص‌یافته را رعایت کنند و هم از زمان موجود برای بهتر کردن نتیجه استفاده کنند. مثلاً ایجنتی که ۱۵ دقیقه برای یک مسابقه‌ی یادگیری ماشین وقت دارد، نباید پس از ۲ دقیق

FC-SWE: Failure-Conditioned RL for Long-Horizon Software Engineering Agents

یادگیری تقویتی مشروط به شکست برای ایجنت‌های مهندسی نرم‌افزار بلندمدت

مهندسی نرم‌افزار در سطح مخزن یک تنظیم بلندمدت چالش‌برانگیز است. کارهای اخیر ایجنت‌ها را با روش‌هایی مثل GRPO آموزش می‌دهند که چند مسیر مستقل برای هر مسئله نمونه‌گیری و پاداش پایانی را در یک گروه ثابت مقایسه می‌کنند. اما این روش بازخورد تأییدکننده از وصله‌های ش

CLIFT: Conformal Self-Verification for Web Agent Training and Test-Time Scaling

کلیفت: خودتأییدی هم‌دیس برای آموزش ایجنت‌های وب و مقیاس دادن زمان آزمون

ایجنت‌های وب متن‌باز حالا برای اجرای تسک‌های واقعی مرورگر به اندازه‌ی کافی قوی‌اند، اما آموزششان با یادگیری تقویتی هنوز به نظارت ضعیف وابسته است: موفقیت دودویی تسک برای اعتباردهی بیش از حد پراکنده است و داورهای مدل پیشرو برای هر گام گران‌اند و در استقرار هم در

Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps

پس‌نگری آینده‌نگر: یادگیری تقویتی خودکالیبره با فاصله‌ی پیش‌بینی و واقعیت

یادگیری تقویتی برای ایجنت‌های بلندمدت فقط به سیگنال‌های گذشته‌نگر تکیه دارد: اعتبار فقط پس از مشاهده‌ی پیامد محیط تخصیص می‌یابد و باور ایجنت در لحظه‌ی عمل برای گرادیان نامرئی می‌ماند. در نتیجه ایجنت ممکن است با اطمینان زیاد شکست بخورد یا با تردید موفق شود و آم

AutoCompact: Learning When to Compact Context in Long-Horizon Coding Agents

اتوکامپکت: آموزش ایجنت کدنویسی برای تصمیم درباره‌ی زمان فشرده‌سازی کانتکست

ایجنت‌های کدنویسی تسک‌های مهندسی نرم‌افزار در سطح مخزن را با مسیرهای طولانی بررسی کد، جست‌وجو، ویرایش و تست حل می‌کنند. با پیشرفت تسک، کاوش‌های قبلی کهنه می‌شوند، پس مدیریت کانتکست فقط جلوگیری از سرریز نیست: ایجنت باید تصمیم بگیرد کِی فشرده کند، کدام وضعیت کار

Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics

امتیاز بیشتر، پاسخ بدتر: کاهش تقلب در پاداش در یادگیری تقویتی روبریک‌محور با روبریک‌های سطح پروتکل

یادگیری تقویتی روبریک‌محور مدل‌ها را جایی آموزش می‌دهد که تأییدکننده‌ای وجود ندارد: یک داور هر معیار روبریک را بررسی می‌کند و حکم‌ها معمولاً با جمع وزن‌دار به پاداش تبدیل می‌شوند. در جمع، معیارها یکدیگر را جبران می‌کنند: سیاستی که تنها تصمیم مهم را از دست بدهد

PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning

پی‌آر-اوپی‌دی: خودتقطیری روی سیاست با بازنمایی ممتاز برای یادگیری تقویتی ایجنتی

ایجنت‌های زبانی معمولاً با یک پاداش در هر اپیزود آموزش می‌بینند، و خودتقطیری ممتاز با این‌که همان سیاست با در اختیار داشتن یک مهارت، نسخه‌ی بدون مهارت خودش را از طریق احتمال توکن‌ها آموزش دهد، این سیگنال را غنی می‌کند. نویسنده‌ها دو پدیده یافتند که این کانال ر

Pistis Technical Report

گزارش فنی پیستیس: خانواده‌ی مدل‌های چندرسانه‌ای با تقطیر و یادگیری تقویتی درهم

پس‌آموزش مدل‌های چندرسانه‌ای برای استدلال عمیق و کار ایجنتی بلندمدت معمولاً تقطیر و یادگیری تقویتی را جدا یا با یک تابع زیان ترکیبی ثابت بهینه می‌کند، که می‌تواند به ناپایداری، تخصیص اعتبار ضعیف در مسیرهای طولانی و مبادله‌ی توانایی‌ها منجر شود؛ مثلاً بهتر شدن

Multi-Harness Reinforcement Learning for Coding Agents: Training Gains and Harness Dependence

یادگیری تقویتی چندهارنسی برای ایجنت‌های کدنویسی: سود آموزش در برابر وابستگی به هارنس

سیستم‌های اخیر ایجنت‌های کدنویسی را با یادگیری تقویتی روی مسیرهای جمع‌آوری‌شده از چند هارنس اجرا آموزش می‌دهند. اما بهبود زیر هارنس‌های آموزشی این پرسش را باز می‌گذارد که آیا به رابط‌های دیده‌نشده منتقل می‌شود و چطور به نرمال‌سازی پاداش وابسته است. نویسنده‌ها

SWE-MeM: Learning Adaptive Memory Management for Long-Horizon Coding Agents

سوئی-مم: یادگیری مدیریت تطبیقی حافظه برای ایجنت‌های کدنویسی بلندمدت

ایجنت‌های مهندسی نرم‌افزار بلندمدت باید تاریخچه‌ی طولانی و پرنویز تعامل را با بودجه‌ی محدود کانتکست مدیریت کنند. روش‌های موجود به گردش‌کارهای فشرده‌سازی ایستا تکیه دارند یا قیدهای سختی بر زمان و دانه‌بندی فشرده‌سازی می‌گذارند، و مدیریت حافظه و حل مشکل را با هم

PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents

پکت: هم‌آموزی با ردپای ممتاز برای ایجنت‌های چندنوبتی استفاده از ابزار

ایجنت‌های چندنوبتی ابزار باید در چند نوبت استدلال کنند، ابزار فرا بخوانند و با مشاهده‌ها تطبیق یابند. پس‌آموزش آن‌ها سخت است: یادگیری تقویتی با وجود هم‌خوانی با حالت استنتاج از پاداش پراکنده و تخصیص اعتبار ضعیف رنج می‌برد، و تنظیم دقیق نظارت‌شده روی ردپاهای مت