مقاله‌ی arXiv:2610.15924 · در صف خبرنامه
Scalable Weak-to-Strong Verifier Hardening for Agent Environments
مقاوم کردن خودکار بررسی‌کننده‌های محیط‌های ایجنتی در برابر تقلب، با حلقه‌ی هکر و ترمیم‌کار
- تاریخ
- (۱۹ مهر ۱۴۰۵) 2026-10-11 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Chong Zeng, Ziqian Zhong, Kexun Zhang, Ivan Bercovich, Ivgeni Segal, Yuzhen Mao, Shashwat Saxena, Aditi Raghunathan
- نهاد نویسنده‌ها
- Stanford University, Carnegie Mellon University, Fewshot Corp
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
محیط‌های ایجنتی با بررسی‌کننده‌های برنامه‌ای، نتیجه‌های پیچیده را به پاداش تبدیل می‌کنند. اما می‌شود به این بررسی‌کننده‌ها حمله کرد تا به ایجنتی که تسک را انجام نداده و تقلب کرده نمره‌ی کامل بدهند؛ مثلاً ایجنت به جای درست کردن کد، فایل تست را عوض کند. این هم ارزیابی را غلط می‌کند و هم در آموزش رفتار نادرست یاد می‌دهد. با زیاد و سخت‌تر شدن محیط‌ها، ترمیم بررسی‌کننده‌های آسیب‌پذیر هم باید مقیاس‌پذیر شود.
روش
سؤال این است که آیا مدل‌های امروز با محاسبه‌ی بیشتر می‌توانند محیط‌ها را در برابر تقلب مدل‌های احتمالاً قوی‌تر آینده مقاوم کنند. روش کاملاً خودکار: اول یک محیط ایزوله برای بررسی‌کننده ساخته می‌شود که ایجنت نمی‌تواند مستقیم تغییرش دهد، بعد یک حلقه‌ی «هکر و ترمیم‌کار» آسیب‌پذیری‌های باقی‌مانده را پیدا و ترمیم می‌کند.
یافته‌ها
- روی Terminal Bench، KernelBench و SETA، موفقیت حمله را به‌طور چشمگیری کم کرد، حتی برای ایجنت‌هایی قوی‌تر از مدلی که مقاوم‌سازی را انجام داد.
- طراحی تکراری با بودجه بزرگ می‌شود: هرچه دورهای حلقه بیشتر باشد، دفاع قوی‌تر می‌شود و از روش ایستا و غیرتکراری بهتر است.
- نسخه‌ی اولیه‌ی این حلقه در ریپوی رسمی Terminal Bench برای ممیزی تقلب‌ها به کار گرفته شده است.
محدودیت‌ها
نویسنده‌ها می‌گویند مقاوم‌سازی به توانایی و بودجه‌ی هکر محدود است و تضمین نمی‌کند همه‌ی راه‌های تقلب پیدا شوند. محیط‌های مقاوم‌شده هنوز حمله‌ی موفق را می‌پذیرند و «مقاوم» فقط یک نتیجه‌ی تجربی است، نه تضمین امنیتی.
چرا مهم است
هک کردن پاداش یکی از جدی‌ترین مشکلات آموزش ایجنت‌هاست. این کار نشان می‌دهد مدل‌های امروز می‌توانند به‌طور خودکار و در مقیاس، محیط‌ها را برای مدل‌های قوی‌تر فردا امن‌تر کنند.