مقالهی OfficeTown: Generative Organizations for Evolving Agent Intelligence (16 Oct 2026، مایکروسافت ریسرچ آسیا؛ Hongchen Wei، Daohong Ying و همکاران) مسئله: بیشتر بنچمارکهای ایجنت هر کار را جدا و از صفر میدهند. در یک شرکت واقعی کار اینطور پیش نمیرود: درخ
بنچمارکی برای «آخرین مایل» تحویل هوش مصنوعی: کار واقعی با مشتری، نه تسک خوشتعریف
بنچمارکهای ایجنت معمولاً تسکهای خوشتعریف دارند: یک ایشو، یک مشخصات یا یک تیکت. اما تحویل یک سیستم به مشتری واقعی فرق دارد. مهندسی که در محل مشتری کار میکند باید نیازهای مبهم را روشن کند، روی سیستم زنده کار کند و محدودیتهایی را پیدا کند که کسی به زبان نیاو
یک پشتهی کاملاً باز برای ایجنتهایی که با کامپیوتر کار میکنند، با ترکیب کلیک و کد
ایجنتهای کار با کامپیوتر دارند از تعامل صرفاً گرافیکی (دیدن صفحه و کلیک) به سیستمهایی میرسند که هم از رابط تصویری و هم از رابط برنامهنویسی استفاده میکنند. اما پیادهسازیهای پیشرو، مثل سیستم کار با کامپیوتر GPT-6 Astra، بستهاند و نمیشود طراحیشان را به
مدل کوچکی که فقط کارش نوشتن در حافظهی بلندمدت است و در چند سیستم حافظه کار میکند
سیستمهای حافظهی بیرونی برنامههای مدل زبانی را از محدودیت پنجرهی کانتکست فراتر میبرند، اما کیفیتشان به مدلی بستگی دارد که در حافظه مینویسد: چه چیزی نگه داشته شود، با چه دقتی و شواهد تازه چطور وضعیت قبلی را بهروز کند. معمولاً یک مدل زبانی عمومی بزرگ با پر
مقالهی Skip the Compressor: Coding Agents Fix More Issues When They Pick Whole Files (15 Oct 2026، دانشگاه ایلینوی اربانا-شمپین؛ Xiaocong Yang، Rishit Chatterjee و همکاران) مسئله: یک ریپوی واقعی خیلی بزرگتر از پنجرهی کانتکست ایجنت است، پس باید تصمیم گرفت کد
چهار ایجنت کلاد یک مدل پایهی خام را خودشان پسآموزش دادند و به سطح نسخهی رسمی رساندند
«خودبهبودی بازگشتی»، یعنی ساخته شدن سیستمهای قویتر هوش مصنوعی به دست خود هوش مصنوعی، را هنوز نمیشود مستقیم اندازه گرفت. نویسندهها نسخهی ضعیفتر و قابل سنجشی را بررسی میکنند: آیا ایجنتهای پیشرو میتوانند یک مدل پایهی کوچک و خام را فقط با دادهی عمومی پس
یک تکنیک مهندسی کانتکست برای یک ایجنت نجاتبخش است و برای ایجنت دیگر مضر
جواب دادن به سؤال روی دادههای ناهمگون یعنی ترکیب شواهد از فایلها، پایگاه داده، اسناد و وب. ایجنتهای داده این کار را خودکار میکنند و موفقیتشان به کانتکست بستگی دارد. سه تکنیک مهندسی کانتکست رایجاند: «لایهی معنایی» که داده را توصیف میکند، «ارکستراسیون» که
ساخت محیطهای طولانی با پاداش پیشرفت متراکم، از روی یک «جهان پنهان» کاملاً مشخص
ایجنتهای طولانیمدت که ساعتها تا روزها روی کار ارزشمند کار میکنند، توجه زیادی گرفتهاند، ولی مدلهای متنباز در این کارها ضعیفاند، عمدتاً به خاطر نبود دادهی آموزشی و دستور آموزش کارآمد. تسکهای طولانی و پیچیده سخت ساخته و تأیید میشوند و پاداششان پراکنده
کانتکست شیءگرا برای ایجنتهای طولانی: پیشرفت قابل استفادهی دوباره را حمل کن، نه تاریخچه را
ایجنتهای طولانیمدت پیشرفتشان را در وضعیت پایدار تسک انباشته میکنند، اما مدام تاریخچهی تعاملهایی را پردازش میکنند که توضیح میدهد این پیشرفت چطور به دست آمده. مثلاً ایجنتی که سه فایل را درست کرده، به جای دانستن «سه فایل درست شده»، کل گفتوگوی درست کردنشان
یک دهه در یک روز: ساخت رابطهای بومی ایجنت از روی تکامل نرمافزارهای انسانمحور
ایجنتهای مدل زبانی کاربران تازهی مهمی برای برنامههای دسکتاپ شدهاند، اما رابطهای دسکتاپ برای کاربر انسانی یا توسعهدهنده طراحی شدهاند و ایجنت باید کنترلهای بصری را تفسیر کند یا عملیات سطح پایین نرمافزار را کشف و ترکیب کند. معلوم نیست کدام ویژگیهای رابط
آیا کارخانهی نرمافزار میتواند بدون ناظر انسانی کار کند؟ سنجش ایجنتهای بازبینی کد در یافتن باگ
با پیشرفت ایجنتهای کدنویسی، برنامهنویسها بیشتر وقتشان را صرف بازبینی کد میکنند تا نوشتن آن. چون سرعت بازبینی انسان از تولید کد عقب افتاده، وسوسهی ساختن ایجنتهای بازبینی خودکار و «کارخانهی چراغخاموش» بدون نظارت انسانی وجود دارد. سؤال این است که این ایده
همهی پچهای درست یکسان اجرا نمیشوند: کارایی زمان اجرای پچهای ایجنتها در رفع مسئلههای ریپو
بنچمارکهایی مثل SWE-bench پچها را فقط با پاس شدن تستهای درستی ارزیابی میکنند و کارایی زمان اجرای پچهای درست تقریباً بررسی نشده است؛ دو پچ ممکن است هر دو تست را پاس کنند ولی یکی ده برابر کندتر باشد. طراحی بار کاری کارایی برای هر نمونه گران است. نویسندهها
هک پاداش به عنوان یک راهبرد مسری در سیستمهای چندایجنتی کدنویسی
سیستمهای چندایجنتی با هماهنگی ایجنتهایی که کد و برنامه را به اشتراک میگذارند تسکهای کدنویسی را حل میکنند و اغلب با یادگیری تقویتی و ارزیاب خودکار بهینه میشوند. دور زدن ارزیاب میتواند بدون راهحل واقعی پاداش بگیرد؛ مثلاً کدی که تست را دستکاری میکند تا ه
میدان دوئل مهندسی نرمافزار: بنچمارکی خودمقیاس که در آن ایجنتهای کدنویسی برای هم باگ میکارند و رفع میکنند
بنچمارکهای ثابت کدنویسی در لحظهی انتشار منجمد میشوند؛ با گذر زمان تسکهایشان به دادهی آموزشی نشت میکند و ایجنتهای قویتر اشباعشان میکنند. نویسندهها استدلال میکنند بنچمارک باید خودمقیاس باشد: تسکها و داورها در زمان ارزیابی ساخته شوند تا چیزی از قبل بر
آیا ایجنتها میتوانند با یادگیری به صدر برسند؟ سنجش یادگیری اکتشافی در یک رقابت بلندمدت بازیهای رقابتی
بازیهای رقابتی پیشرفت از جستوجوی اکتشافی تا یادگیری تقویتی را پیش بردهاند، اما یادگیری و تطبیق راهبرد از نمونههای محدود هنوز سخت است. ایجنتها جایگزینی پیشنهاد میکنند: تجربهی بازی را به بازنگری در سیاستهای اجرایی، یعنی کد بازیکن، تبدیل کنند. نویسندهها
ممنتو ۳: خودبهبودی بازگشتی مدلمحور با دفترچهی قاعدهی بازتابی که به کد اجرایی کامپایل میشود
عمل در محیط ناآشنا نیاز دارد ایجنت بفهمد جهان چطور کار میکند و با شواهد تازه این فهم را اصلاح کند. اما مشاهدههای محدود میتوانند از چند مدل جهان پشتیبانی کنند که گذشته را توضیح میدهند ولی در وضعیتهای دیدهنشده پیشبینی متفاوت دارند. سیستم Memento ۳ به ایجن
تریس: تشخیص شکنندگی تأییدکننده در ارزیابی ایجنتها، تا معلوم شود تغییر امتیاز از ایجنت است یا از سنجش
امتیاز تأییدکنندهها هم معیار بنچمارک است و هم پاداش آموزشی ایجنتها، و تغییر امتیاز معمولاً تغییر توانایی خوانده میشود. اما ممکن است فقط تغییر در خود ارزیابی باشد؛ مثلاً اگر فقط نام ابزارها عوض شود و امتیاز افت کند، ممکن است قاعدهی امتیازدهی به نامها حساس
ایجنتها در شروع هر جلسه یک فایل کانتکست ثابت مثل AGENTS.md بارگذاری میکنند. هر توکن این فایل در هر دور بعدی جلسه دوباره هزینه دارد و فایلها با بزرگ شدن کارایی را کم میکنند. اما در عمل، گزینشگرهای انسانی یا خودکار معمولاً فقط به این فایلها اضافه میکنند. ن
پیش از آنکه بتوانند حل کنند: پیشبینی کارایی ایجنت کدنویسی پس از آموزش، از روی مدل پایه
کدام نسخهی پایه ارزش یک دور گران پسآموزش ایجنتی را دارد؟ معیار سرتاسری pass@K میسنجد آیا رفتار موفق در توزیع مدل پایه هست، اما برای کدنویسی ایجنتی مناسب نیست، چون بسیاری از مدلهای پایه حتی نمیتوانند فراخوانی ابزار درستقالب تولید کنند. تسکهای تکمرحلهای
رباتورلد: سنجش ایجنتهای چندوجهی در بهکارگیری ربات در تسکها و بدنههای متنوع
ایجنتهای همهمنظوره بیش از پیش کد مینویسند، از ابزار استفاده میکنند و کارهای دیجیتال پیچیده انجام میدهند. سؤال این است که این تواناییها تا کجا به دنیای فیزیکی منتقل میشوند، یعنی آیا ایجنت میتواند دستور و مشاهده را از طریق رابطهای ربات به اجرای فیزیکی ت
ایجنت در بطری: آیا ایجنتها میتوانند تواناییشان را به ابزارهای ارزان و مقیاسپذیر تبدیل کنند؟
مدلهای زبانی بسیاری از تسکهای محدود را حل میکنند، اما پرسیدن جداگانه برای میلیونها نمونهی مشابه میتواند بهشدت گران باشد؛ مثلاً دستهبندی ربط میلیونها جفت پرسش و محصول در یک فروشگاه. سؤال این است که آیا ایجنت میتواند خودش راهحل ارزانتری برای چنین بار
بنچمارک یادبگیر و بازی کن: ایجنتها در محیطهای ناآشنا چقدر خوب از تجربه یاد میگیرند؟
یادگیری از تجربه برای سازگاری ایجنتها با محیطهای ناآشنا و پویا ضروری است. بنچمارکهای موجود عمدتاً تسکهایی را میسنجند که قاعدههایشان در دستور آمده یا برای مدل پیشآموزشدیده آشناست، پس نمیشود یادگیری از تعامل را از استدلال با دانش موجود جدا کرد؛ مثلاً ای
ساخت بررسیکنندهی تحلیل ایستا نیاز دارد ایجنت مشخصهی یک نقص را تفسیر کند، مخزن را بررسی کند، منطق ویژهی تحلیلگر را پیاده کند و بررسیکننده را با بازخورد مکرر کامپایل و تحلیل بهتر کند. بنچمارکهای موجود روی تولید وصله یا تشخیص آسیبپذیری تمرکز دارند و بهند
کلیفت: خودتأییدی همدیس برای آموزش ایجنتهای وب و مقیاس دادن زمان آزمون
ایجنتهای وب متنباز حالا برای اجرای تسکهای واقعی مرورگر به اندازهی کافی قویاند، اما آموزششان با یادگیری تقویتی هنوز به نظارت ضعیف وابسته است: موفقیت دودویی تسک برای اعتباردهی بیش از حد پراکنده است و داورهای مدل پیشرو برای هر گام گراناند و در استقرار هم در
مشهارنس: هارنسهای خودبهبود با تکامل ترکیبی ماژولها به هدایت الگوریتم راهزن
هارنس ایجنت کدی است که کانتکست را سازمان میدهد، وضعیت را نگه میدارد و فراخوانی ابزارها را هماهنگ میکند. سؤال این است که چطور میشود هارنس را با بودجهی ارزیابی محدود و وزنهای ثابت مدل بهتر کرد، وقتی فضای ترکیبهای ممکن بسیار بزرگ است. روش MESH-Harness هر ه
رکوریس: تکامل بازگشتی حافظهی تجربی و کاری برای هارنسهای ایجنت بلندمدت
خودبهبودی بازگشتی در تسکهای بلندمدت سخت است، چون تاریخچهی رو به رشد وضعیت تسک را مبهم میکند و فراخوانی مهارتها را نابجا میکند؛ مثلاً ایجنت مهارتی را که برای دستور اولیه مناسب بود، بعد از عوض شدن وضعیت هم دوباره فرا میخواند. معماری Recuris دو حافظه را جفت