مقاله‌ی arXiv:2610.12183 · در صف خبرنامه
A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization
نگاهی دقیق‌تر به بهینه‌سازی جعبه‌سیاه ایجنتی: بنچمارکی میان‌دامنه‌ای برای ایجنت‌های بهینه‌ساز
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Ming Chen, Rong-Xi Tan, Ke Xue, Yu-Jie Zhou, Taiye Lu, Zhi-Xuan Gao, Peng Xie, Zijun Shen, Chen Lu, Haopu Shang, Chao Qian
- نهاد نویسنده‌ها
- State Key Laboratory of Novel Software Technology, Nanjing University; School of Artificial Intelligence, Nanjing University
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
بهینه‌سازی جعبه‌سیاه در بسیاری از مسئله‌های علمی و مهندسی پیش می‌آید که هر ارزیابی هدف گران و محدود است، مثل تنظیم پایگاه داده یا طراحی تراشه. ایجنت‌های مدل زبانی با ترکیب معنای تسک، محاسبه، ابزارهای بهینه‌سازی و تصمیم‌گیری مبتنی بر بازخورد راه تازه‌ای پیشنهاد می‌کنند، اما مطالعه‌های موجود دامنه‌ها و پیکربندی‌های متفاوتی دارند و نتیجه‌هایشان قابل مقایسه نیست.
روش
بنچمارک AgenticBBO-Bench پنج دامنه را با یک پروتکل یکسان بودجه‌ی محدود پوشش می‌دهد: تابع‌های مصنوعی، بهینه‌سازی ابرپارامتر، تنظیم پایگاه داده، طراحی تراشه و طراحی مولکول. سه عامل بررسی شد: ابزارهای بهینه‌سازی، اطلاعات تسک و دانش قبلی، و نقش مدل زبانی در جست‌وجو. یک چالش مرزی پنج‌تسکی هم برای هفت مدل زیر هارنس Codex اضافه شد.
یافته‌ها
- بهینه‌سازی ایجنتی در هر پنج دامنه میانگین امتیاز بالاتری از روش‌های مستقیم مبتنی بر مدل زبانی داشت و در چهار دامنه از بهترین بهینه‌سازهای عددی بهتر بود.
- ابزارهای عددی اضافه همیشه کمک نکردند، معنای تسک به‌طور کلی مفید بود اما دانش قبلی خاص‌تر کمتر قابل اعتماد بود، و بهینه‌سازهای عددی توانستند سود مسیرهای جست‌وجوی ساخته‌ی ایجنت را جذب کنند.
- در چالش مرزی، GPT-6 Astra و DeepSeek-V4.1-Flash روی مرز بهینه‌ی کارایی و هزینه قرار گرفتند.
محدودیت‌ها
نویسنده‌ها درباره‌ی یکی از آزمایش‌ها می‌گویند با فقط سه جلسه برای هر خانواده، نتیجه باید شاهد توصیفی دیده شود نه ادعای علّی؛ مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد.
چرا مهم است
بهینه‌سازی گران در علم و صنعت همه‌جا هست و ایجنت‌ها امید تازه‌ای برایش هستند. این بنچمارک امکان مقایسه‌ی منصفانه را فراهم می‌کند و نشان می‌دهد ایجنت‌ها واقعاً رقیب جدی بهینه‌سازهای کلاسیک‌اند.