مقاله‌ی arXiv:2610.08775 · در صف خبرنامه
Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?
ایجنت در بطری: آیا ایجنت‌ها می‌توانند توانایی‌شان را به ابزارهای ارزان و مقیاس‌پذیر تبدیل کنند؟
- تاریخ
- (۱۴ مهر ۱۴۰۵) 2026-10-06 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Ankit Sonthalia, Haritz Puerto, Alexander Rubinstein, Martin Gubri, Seong Joon Oh
- نهاد نویسنده‌ها
- University of Tübingen; ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems, Tübingen AI Center; École Polytechnique, Institut Polytechnique de Paris, CNRS; KAIST AI
- برچسب لابراتوار
خلاصه‌ی فارسی
مسئله
مدل‌های زبانی بسیاری از تسک‌های محدود را حل می‌کنند، اما پرسیدن جداگانه برای میلیون‌ها نمونه‌ی مشابه می‌تواند به‌شدت گران باشد؛ مثلاً دسته‌بندی ربط میلیون‌ها جفت پرسش و محصول در یک فروشگاه. سؤال این است که آیا ایجنت می‌تواند خودش راه‌حل ارزان‌تری برای چنین بارهایی بسازد.
روش
نویسنده‌ها این توانایی را «بطری کردن» نامیدند: تبدیل توانایی عمومی به راه‌حل ویژه‌ی تسک که کیفیت پاسخ و هزینه‌ی سرشکن را متعادل کند. در بنچمارک BOTTLED ایجنت کل بار کاری بی‌برچسب را می‌گیرد و باید آن را زیر بودجه‌ی ثابت زمان، محاسبه و فراخوانی مدل کامل کند؛ روش با خود ایجنت است، مثلاً آموزش یک مدل کوچک یا نوشتن یک برنامه‌ی قابل استفاده‌ی مجدد.
یافته‌ها
- در ده مدل و سه تسک، کارایی قوی بدون آموزش به‌طور قابل اعتماد به توانایی بطری کردن تبدیل نمی‌شود: ۴۸ اجرا از ۶۰ اجرا زیر کران پایین بازه‌ی اطمینان ۹۵ درصد کارایی بدون آموزش همان مدل بودند و ۳۱ اجرا از قوی‌تر از دو پایه‌ی تقطیر مدل کوچک با همان بودجه‌ی توکن بدتر بودند.
- بطری کردن می‌تواند صرفه‌جویی بزرگی بدهد: در دسته‌بندی ربط پرسش و محصول، Opus ۵ حدود ۸۲ درصد امتیاز بدون آموزش خود را با هزینه‌ی گزارش‌شده‌ی حدود ۶۵۷ برابر کمتر حفظ کرد.
- در همان تسک، Opus ۵ حدود ۹۴ درصد امتیاز Jev، مدلی که مخصوص استنتاج ارزان و تکراری ساخته شده، را با یک‌چهارم هزینه‌ی پیش‌بینی‌شده‌ی کل بار کاری آن بازیابی کرد.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ ارزیابی فقط روی سه تسک انجام شده است.
چرا مهم است
بسیاری از کاربردهای تجاری مدل‌ها تکراری و پرحجم‌اند. ایجنتی که بتواند توانش را در یک ابزار ارزان «بطری کند»، هزینه را صدها برابر کم می‌کند، اما این توانایی هنوز در بیشتر مدل‌ها ضعیف است.