مقاله‌ی arXiv:2609.32391 · در صف خبرنامه
SCLATE: a Substrate for Continual-Learning Agent Training and Evaluation
اسکلیت: بستری برای آموزش و ارزیابی ایجنت‌های یادگیری پیوسته در افق‌های چندجلسه‌ای
- تاریخ
- (۴ مهر ۱۴۰۵) 2026-09-26 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Youngmok Jung, Sirajul Salekin, Henry Tran, Javier Movellan, Zhao Huang, Manjot Bilkhu
- نهاد نویسنده‌ها
- Apple
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
ایجنت‌های یادگیری پیوسته سیستم‌هایی از مدل، هارنس و حافظه‌اند که در افق‌های طولانی چندجلسه‌ای کار می‌کنند. ارزیابی و آموزششان نیاز دارد تسک‌ها با رویدادهای سمت ایجنت مثل توقف و شروع جلسه، کارهای زمان‌بندی‌شده و یکپارچه‌سازی حافظه درهم اجرا شوند. اما بنچمارک‌ها و چارچوب‌های آموزشی موجود فقط رویدادهای خود بنچمارک را زمان‌بندی می‌کنند و هر جفت بنچمارک و ایجنت باید حلقه‌ی زمان‌بندی خودش را بسازد.
روش
بستر اجرایی SCLATE به بنچمارک‌ها و ایجنت‌های بدون تغییر اجازه می‌دهد هر کدام رویدادهایشان را از طریق یک آداپتور به یک زمان‌بند رویداد باز اضافه کنند. یک ساعت شبیه‌سازی ترکیبی این رویدادها را روی یک خط زمانی مشترک اجرا می‌کند: وقتی ایجنت کار می‌کند زمان واقعی جریان دارد و فاصله‌های بیکار پرش می‌شوند، که یک سناریوی یک‌ماهه را به چند ساعت فشرده می‌کند. بستر به عنوان موتور اجرا هم توکن‌ها و احتمال‌های لگاریتمی هر فراخوانی مدل را از طریق یک پروکسی درون کانتینر ثبت می‌کند.
یافته‌ها
- هفت بنچمارک منتقل شد و ده پیکربندی هارنس و حافظه روی ده مدل مقایسه شد؛ یک سیستم حافظه‌ی افزوده همیشه از حافظه‌ی بومی هارنس بهتر نبود و مدل‌ها در استفاده از همان هارنس و حافظه بسیار متفاوت بودند.
- پس‌آموزش Qwen3.5-4B از طریق هارنس‌ها و حافظه‌های بدون تغییر باعث شد مدل ۶٫۸ برابر خطوط فایل کمتری بخواند و نرخ پاس SWE-bench Verified ۱۶٫۷ امتیاز بالاتر برود.
- دقت کنارگذاشته‌ی MetaClaw تا ۱۱٫۸ امتیاز بالا رفت و مدل سوابق حافظه‌ی غنی‌تری نوشت.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد.
چرا مهم است
ایجنت‌هایی که هفته‌ها با کاربر کار می‌کنند را نمی‌شود با بنچمارک‌های تک‌جلسه‌ای سنجید. این کار زیرساختی برای ارزیابی و آموزش آن‌ها در خط زمانی واقعی می‌دهد.