آموزش یک مدل زبانی برای پیشنهاد دادن بهبودهای واقعی به مدلهای زبانی دیگر، بدون هزینهی سرسامآور آزمایش
مدلهای زبانی را برای خودکار کردن پژوهش هوش مصنوعی به کار میبرند، مثلاً برای پیشنهاد تغییری در معماری یا دادهی یک مدل دیگر. اما یاد دادن این مهارت با یادگیری تقویتی گران است: باید دهها هزار پیشنهاد را امتحان کرد و هر امتحان میتواند یک دور کامل آموزش مدل با
مقالهی OfficeTown: Generative Organizations for Evolving Agent Intelligence (16 Oct 2026، مایکروسافت ریسرچ آسیا؛ Hongchen Wei، Daohong Ying و همکاران) مسئله: بیشتر بنچمارکهای ایجنت هر کار را جدا و از صفر میدهند. در یک شرکت واقعی کار اینطور پیش نمیرود: درخ
ایجنت کدنویسی که هم هارنسش را خودش بهتر میکند و هم مدلش را، به نوبت
کارایی یک ایجنت کدنویسی به دو چیز بستگی دارد: مدل (سیاست) و هارنس، یعنی پرامپتها، ابزارها و قاعدههایی که تعامل مدل با محیط را شکل میدهند. این دو به هم وابستهاند. هارنسی که برای یک نسخه از مدل تنظیم شده، ممکن است ضعفهای نسخهی بعدی را هدف نگیرد؛ و مدلی که
ایجنت ناظری که وسط کار تشخیص میدهد سیستم از هدف دور شده و آن را برمیگرداند
ایجنتها و سیستمهای چندایجنتی در کارهای طولانی با ابزار، کمکم از هدف اصلی دور میشوند؛ مثلاً در یک جستوجو آنقدر دنبال یک جزئیات فرعی میروند که سؤال اصلی فراموش میشود. به این «رانش هدف» میگویند و هم منابع را هدر میدهد و هم نتیجه را خراب میکند. برنامهر
یک پشتهی کاملاً باز برای ایجنتهایی که با کامپیوتر کار میکنند، با ترکیب کلیک و کد
ایجنتهای کار با کامپیوتر دارند از تعامل صرفاً گرافیکی (دیدن صفحه و کلیک) به سیستمهایی میرسند که هم از رابط تصویری و هم از رابط برنامهنویسی استفاده میکنند. اما پیادهسازیهای پیشرو، مثل سیستم کار با کامپیوتر GPT-6 Astra، بستهاند و نمیشود طراحیشان را به
یادگیری تقویتی برای ایجنتهایی که کارشان در چند سشن جدا انجام میشود، مثل کامپکشن یا سابایجنت
بیشتر روشهای یادگیری تقویتی برای ایجنتها فرض میکنند کل مسیر در یک سشن و یک کانتکست پیوسته انجام میشود. اما در عمل، تکنیکهایی مثل کامپکشن کانتکست و ساختن سابایجنت مسیر را به چند سشن تقسیم میکنند. روش رایج این است که پاداش کل مسیر را به همهی سشنها یکسان
ساختن محیطهای تمرین برای ایجنتهای تحلیل داده از صفر: اول دنیای پشت فایلها، بعد خود فایلها
ایجنتهای داده با کدنویسی فایلهای ناهمگون را پردازش میکنند و از آنها نتیجهی تحلیلی میگیرند. آموزش این ایجنتها در مقیاس بزرگ سخت است: ساختن محیط گران است، دادهی واقعی محدودیت حریم خصوصی و مالکیت دارد، و بررسی درستی یافتههای باز وقتی حقیقت پشت داده معلوم
یاد دادن به ایجنت کدنویسی که از اطلاعاتی که همین الان در کانتکستش هست استفاده کند
کدنویسی قابل اعتماد در سطح ریپو یعنی ایجنت نه فقط کد درست بنویسد، بلکه محدودیتها را در طول تعامل طولانی رعایت کند و به بازخورد ابزارها واکنش نشان دهد. تحلیل نویسندهها نشان داد ایجنتها اغلب به اطلاعاتی که همین حالا در کانتکست دارند عمل نمیکنند؛ مثلاً پیام خ
ارزیابی ایجنتهای دارای وضعیت با یک پروندهی ارزیابی که شواهدش قابل بازرسی است
تمام شدن یک تسک بهتنهایی نشان نمیدهد ایجنتی که وضعیت را تغییر میدهد (مثلاً سفارش ثبت میکند یا پول برمیگرداند) همهی تعهداتش را انجام داده است. یک حکم ثبتشده هم تضمین نمیکند شواهد پشتش هنوز معتبر باشد؛ مثلاً ممکن است دادهای که ارزیابی بر آن تکیه کرده بع
پلتفرم بازی برای ارزیابی و آموزش ایجنتهای رابط گرافیکی در موبایل، کامپیوتر و وب
یادگیری تقویتی برخط با پاداش قابل بررسی، در ریاضی، کدنویسی و کار با ابزار پیشرفت سریعی آورده، اما گسترش آن به ایجنتهای رابط گرافیکی سخت است: محیطهای تعاملی گراناند و تسکهای آموزشی واقعگرا کماند. کارهای قبلی اپ و تسک تازه ساختهاند ولی نه کد آموزش را منتش
آموزش مدل برای قواعد اجرایی هارنس، نه فقط برای اقدامها
استقرار یک مدل عمومی به عنوان ایجنت یعنی اجرای آن داخل هارنس خاص یک محصول، که تعیین میکند کدام اقدامها اجراشدنیاند، وضعیت چطور پیش میرود و حلقه کِی میتواند تمام شود. نظارت معمولی روی مسیرها نشان میدهد کدام اقدام انجام شده، ولی قواعد اجرایی پشت آن را پنها
فشردهسازی شفاف کانتکست، که متن گفتوگو را دستنخورده نگه میدارد، حافظهی ایجنتهای کدنویسی سبک را بهتر میکند
جلسههای طولانی ایجنت کدنویسی از پنجرهی کانتکست مدل بزرگتر میشوند، پس ایجنت تاریخچهی قدیمی را با چیز کوتاهتری، معمولاً خلاصهای که خود مدل نوشته، عوض میکند. خلاصه انتخاب میکند و بازنویسی میکند، و ایجنت نمیبیند چه چیزی از دست رفته؛ مثلاً قاعدهای که کا
پاداش تست واحد به مدل یاد میدهد زیادی ویرایش کند و باگ خیالی بسازد؛ راهحل، پاداش برای ویرایش دقیق
یادگیری تقویتی با تست واحد دستور رایج پسآموزش مدلهای کد است، اما تست واحد فقط میپرسد برنامهی نهایی پاس میشود یا نه. نویسندهها دیدند این پاداش در اشکالزدایی نرخ پاس را بالا میبرد، ولی همزمان به مدل یاد میدهد بیشتر از لازم ویرایش کند و در کدی که درست ا
داورهای فراخوانی ابزار به مرجع متنی تکیه میکنند و مقدار درستی را که منبعش دیده نمیشود رد میکنند
داورهای فراخوانی ابزار مقدار آرگومانهایی را که ایجنت پیشنهاد داده ارزیابی میکنند. نویسندهها دیدند وقتی در ورودی داور هیچ متنی نیست که بگوید مقدار باید چه باشد، داور مقدار درست را کمتر میپذیرد. این در سه حالت پیش میآید: مقدار پیشفرض طرحوارهی تابع است که
آموزش بازیابی از خطا برای ایجنتهای ترمینال، با انشعاب از وضعیتهای شکست خود ایجنت
ایجنتهای ترمینال در کارهای کدنویسی پیچیده توانا هستند، اما اغلب در اجرای طولانی نمیتوانند از خطا بازیابی شوند، مثلاً از یک دستور غلط یا پیادهسازی معیوب، و در نهایت تسک شکست میخورد. ایجنت ReTerm با یادگرفتن بازیابی از تسکهای ناموفق خودش بهتر میشود. یک خط
یادگیری تقویتی متنی: بهبود کانتکست ایجنت با مقایسهی گروهی اجراهای موفق و ناموفق، بدون گرادیان
ایجنتها میتوانند با بازنویسی کانتکست متنیای که رفتارشان را هدایت میکند، بدون تغییر پارامترها به بازخورد تسک واکنش نشان دهند. اما تبدیل پاداش اجرا به بهروزرسانی قابل استفادهی دوباره سخت است: یک مسیر تنها شواهد مقایسهای کمی دربارهی اینکه چه چیزی باید عو
حافظهی متنی یا تصویری؟ ایجنت رابط گرافیکی باید در هر قدم انتخاب کند
ایجنتهای رابط گرافیکی مبتنی بر مدل بینایی-زبان برای استفاده از تجربههای قبلی به حافظه مجهز میشوند، اما معمولاً یک نوع نمایش ثابت دارند و تجربهی بازیابیشده را همیشه به یک شکل، مثلاً فقط متن یا فقط تصویر صفحه، میدهند. معلوم نیست یک نوع حافظه همیشه بهترین ا
ساخت ۶۵ هزار محیط کاری تعاملی برای آموزش ایجنتهایی که کنار کاربر روی فایلها و ابزارها کار میکنند
ایجنتهای همکار باید وابستگی بین ابزارها و فایلها را مدیریت کنند و همزمان با تغییر نیازهای کاربر و ویرایشهایی که او در فضای کاری مشترک انجام میدهد سازگار شوند. ساختن چنین محیطهایی در مقیاس بزرگ سخت است، چون هدف تسک، منابع اجرایی، رفتار کاربر و معیار موفقی
ایجنت کدنویسی روی دستگاه محلی با یک مدل کوچک، که فقط قدمهای کلیدی را به مدل ابری میسپارد
کارهای پیچیده و طولانی ایجنتی معمولاً به مدلهای پیشرو در ابر تکیه دارند. اما اجرای این مدلها در همهی قدمهای یک مسیر طولانی هزینهی زیادی دارد، در حالی که همهی قدمها به یک اندازه توانایی لازم ندارند؛ مثلاً خواندن یک فایل به اندازهی طراحی یک راهحل سخت نی
رفتار کاربران به عنوان نظارت: تبدیل تاریخچهی رفتار واقعی کاربران به تسکهای آموزشی مدل زبانی
مدلهای زبانی بیشتر در کاربردهایی به کار میروند که روی تاریخچهی بلندمدت رفتار کاربر عمل میکنند، از دستیار شخصی تا سیستمهای توصیه و تبلیغات. این کاربردها نیاز دارند مدل ترجیح، قصد و اقدامهای احتمالی آیندهی یک نفر را از هفتهها تا سالها دادهی رفتاری بفهم
خودکارسازی چرخهی داده با ایجنتهای ترمینال: ایجنتی که محیط آموزشی برای خودش میسازد
ایجنتهای ترمینال تسکهای مهندسی نرمافزار و پژوهش علمی را با اجرای دستور در ترمینال حل میکنند. آموزششان با یادگیری تقویتی به محیطهای متنوع و قابل تأیید نیاز دارد، اما این محیطها هنوز بیشتر به دست پژوهشگران انسانی طراحی میشوند و عرضهشان فقط به سرعت کار آن
حلقهی خودبهبودی برای ایجنتهای هارنس، بدون مدل معلم بیرونی
ایجنتهای مدل زبانی امروز در هارنسهای عمومی کار میکنند و مستقیم با فایلها و شل سروکار دارند. خط لولههای پسآموزش این ایجنتها کماند و بیشترشان یکباره و وابسته به معلماند: یک مدل قویتر بیرونی تسک و مسیر میسازد، مدل هدف یک بار آموزش میبیند و نتیجهی ار
همهی پچهای درست یکسان اجرا نمیشوند: کارایی زمان اجرای پچهای ایجنتها در رفع مسئلههای ریپو
بنچمارکهایی مثل SWE-bench پچها را فقط با پاس شدن تستهای درستی ارزیابی میکنند و کارایی زمان اجرای پچهای درست تقریباً بررسی نشده است؛ دو پچ ممکن است هر دو تست را پاس کنند ولی یکی ده برابر کندتر باشد. طراحی بار کاری کارایی برای هر نمونه گران است. نویسندهها
هک پاداش به عنوان یک راهبرد مسری در سیستمهای چندایجنتی کدنویسی
سیستمهای چندایجنتی با هماهنگی ایجنتهایی که کد و برنامه را به اشتراک میگذارند تسکهای کدنویسی را حل میکنند و اغلب با یادگیری تقویتی و ارزیاب خودکار بهینه میشوند. دور زدن ارزیاب میتواند بدون راهحل واقعی پاداش بگیرد؛ مثلاً کدی که تست را دستکاری میکند تا ه
ساخت خودکار ۱۸۲ نرمافزار دسکتاپ تستشده برای آموزش ایجنتهای کار با کامپیوتر
ایجنتهای کار با کامپیوتر سریع بهتر میشوند، اما ساختن محیطهای نرمافزاری متنوع و قابل اعتماد در مقیاس سخت است. محیطهای برنامهی واقعی تلاش ساخت و یکپارچهسازی زیادی میخواهند و پوشش برنامهها را محدود میکنند و خطر بیشبرازش روی برنامههای خاص را بالا میبر
کدام مهارت را تقطیر کنیم؟ انتخاب یک بانک مهارت فشرده برای همتکاملی مدل و مهارت
مهارتها، یعنی راهنمایی رویهای قابل استفادهی مجدد که در زمان استنتاج اضافه میشود، میتوانند کارایی مدل زبانی را خیلی بالا ببرند. کارهای قبلی مهارتها را با ربط معنایی از یک بانک بازیابی میکنند و برای وصلهی زمان استنتاج یا تقطیر به کار میبرند، اما سودمندی
خودبهبودی بازگشتی با خودنظارتی چندایجنتی: مدلی که گردشکارهای چندایجنتی خودش را میسازد و از آنها یاد میگیرد
خودبهبودی بازگشتی یک مدل روی تسکهای غیرقابل تأیید مثل پژوهش باز، با گلوگاه نظارت روبهروست: وقتی خروجیها از توان ارزیابی متخصصان انسانی فراتر میروند، بهترین بهینهساز و ارزیاب در دسترس خود مدل است. اما یک نمونهی واحد از مدل در این حلقهی همگن بهسختی استدل
ایجنت کِی باید فکر کند؟ استدلال تطبیقی با برآورد پشتیبانی استدلال در نوبتهای بعدی
ایجنتهای مدل زبانی معمولاً پیش از هر اقدام در طول مسیر استدلال میکنند. اما استدلال در هر نوبت لازم نیست، چون استدلال قبلی میتواند اقدامهای بعدی را هم پشتیبانی کند؛ مثلاً وقتی ایجنت یکبار برنامهی مرور چند صفحه را چیده، لازم نیست پیش از باز کردن هر صفحه دو
تکامل هارنس به سقف میرسد: کِی باید آموزش وزنها شروع شود
برای بهتر کردن یک ایجنت بلندمدت دو راه هست: تکامل هارنس دور یک مدل منجمد یا آموزش وزنها. معلوم نیست کدام سود را مدل آموزشدیده نگه میدارد و کدام هنوز به زمان اجرا نیاز دارد، و کِی باید از یکی به دیگری رفت. نویسندهها ابتدا یک هارنس خودتکامل را گذاشتند سیستم
سر وقت: به سوی ایجنتهایی که بودجهی زمانی را هم رعایت کنند و هم از آن بهرهی مفید ببرند
سؤال این است که آیا ایجنتهای کوچک میتوانند زیر بودجهی صریح زمان واقعی کار کنند، یعنی هم زمان تخصیصیافته را رعایت کنند و هم از زمان موجود برای بهتر کردن نتیجه استفاده کنند. مثلاً ایجنتی که ۱۵ دقیقه برای یک مسابقهی یادگیری ماشین وقت دارد، نباید پس از ۲ دقیق
کوتریس: دستورالعمل داده برای آموزش ایجنتهای ترمینال با همتکاملی هارنس و مدل
توانایی ایجنت ترمینال هم به وزنهای مدل بستگی دارد و هم به هارنسی که پرامپت را قالببندی، ابزارها را متصل و خطاها را بازیابی میکند. روشهای همتکاملی هر دو را بهتر میکنند، اما مسیرهای تولیدشده در جستوجوی هارنس را اغلب یک بافر بازپخش یکپارچه میبینند و نادید
بهینهسازی هارنس ایجنت بدنمند از روی ردپاهای تجربه، با مدل منجمد
بهبود ایجنتهای بدنمند معمولاً روی آموزش مدل زیربنایی تمرکز دارد، در حالی که هارنس پیرامونی که برنامهریزی، کانتکست و استفاده از ابزار را کنترل میکند معمولاً دستی مهندسی میشود. سؤال این است که آیا هارنس میتواند مستقیم از ردپاهای تجربه و با بازخورد پراکنده
یادگیری تقویتی مشروط به شکست برای ایجنتهای مهندسی نرمافزار بلندمدت
مهندسی نرمافزار در سطح مخزن یک تنظیم بلندمدت چالشبرانگیز است. کارهای اخیر ایجنتها را با روشهایی مثل GRPO آموزش میدهند که چند مسیر مستقل برای هر مسئله نمونهگیری و پاداش پایانی را در یک گروه ثابت مقایسه میکنند. اما این روش بازخورد تأییدکننده از وصلههای ش
امبر: آموزش ایجنتهای وب بلندمدت با حافظهی فقطافزودنی
ایجنتها در مسیرهای طولانی تعامل دارند که تاریخچهشان سریع از بودجهی کانتکست فراتر میرود. برای قابلیت اطمینان باید اطلاعات واقعی را نگه دارند، خطاهای اجرا و بازخورد اصلاحی را به یاد بسپارند و پیشرفت را پیگیری کنند. حافظهی بازنویسیشونده در اصل میتواند هر چ
ممپایلوت: هماهنگی گزینش حافظهی چندوجهی بر حسب نیاز برای ایجنتها با تعادل کارایی، هزینه و تأخیر
بیشتر سیستمهای حافظهی ایجنت، حافظه را مستقل از پرسش میسازند، که میتواند پیشپردازش بیفایده داشته باشد و جزئیاتی را دور بریزد که بعداً ضروری میشوند؛ مثلاً خلاصهی یک تصویر رنگ یک شیء را حذف کند که بعداً پرسیده میشود. مطالعههای اخیر پردازش حافظه را به زم
اسنت: آموزش آنلاین زمان آزمون ایجنتهای بلندمدت با خودتقطیری تجربهی تأییدشده
ایجنتها تسکهای بلندمدت را در نوبتهای زیاد استدلال و اقدام حل میکنند و فقط یک سیگنال تأیید در پایان میگیرند. ایجنتهای مستقر با جریانی از تسکهای مرتبط روبهرو میشوند، پس مسیرهایشان منبع طبیعی بهبود است. ایجنتهای تطبیق درون کانتکست بازتابها، حافظهها یا
مشهارنس: هارنسهای خودبهبود با تکامل ترکیبی ماژولها به هدایت الگوریتم راهزن
هارنس ایجنت کدی است که کانتکست را سازمان میدهد، وضعیت را نگه میدارد و فراخوانی ابزارها را هماهنگ میکند. سؤال این است که چطور میشود هارنس را با بودجهی ارزیابی محدود و وزنهای ثابت مدل بهتر کرد، وقتی فضای ترکیبهای ممکن بسیار بزرگ است. روش MESH-Harness هر ه
مقیاس دادن محیطهای قابل تأیید برای ایجنتهای کاری بلندمدت با ساخت از منابع واقعی
ایجنتهای کاری روی اسناد دیجیتال کار دانشی حرفهای انجام میدهند و به محیطهای آموزشی با تعامل طولانی و تأیید قابل اعتماد نیاز دارند. محیطهای دستی هزینهی مهندسی سنگینی دارند که مقیاس را محدود میکند، و روشهای مصنوعی پیچیدگی، واقعگرایی یا قابلیت تأیید مستند
شارپ: هرس هارنسهای ایجنت بر اساس برجستگی ماژولها
هارنسهای ایجنت برای رفع نیازها و شکستها معمولاً با افزودن و وصله کردن دستورها، ابزارها و گردشکارها مرحله به مرحله پیچیدهتر میشوند. معلوم نیست برخی از ماژولهای حاصل زائد هستند یا نه، یعنی سربار توکن زیادی بدون بهبود محسوس اضافه میکنند. روش SHarP با الهام
پیوتاوپیدی: یادگیری بازیابی از اشتباههای محوری در ایجنتهای چندنوبتی
تقطیر روی سیاست برای آموزش ایجنتهای زبانی امیدوارکننده است و نظارت متراکم معلم را روی مسیرهای تولیدی دانشآموز میدهد. اما در تعامل چندنوبتی یک کنش نادرست وضعیتهای بعدی را تغییر میدهد و خطاها انباشته میشوند. در آزمایشهای اولیه با سه مدل Qwen3 از ۸ تا ۲۳۵
اپرا: چارچوب منتقد کلامی برای ایجنتهای کدنویسی بلندمدت که اصلاحها را تا حل مشکل دنبال میکند
ایجنتهای کدنویسی بلندمدت به اصلاح بهموقع نیاز دارند، اما بازخورد وقتی کار جاری را اشتباه ارزیابی کند یا به مشکل اصلی نپردازد، بیاثر یا حتی مضر است. منتقدهای موجود روی ارزیابی مسیر و تولید بازخورد تمرکز دارند اما به ندرت دنبال میکنند پس از رساندن بازخورد چه