مقاله‌ی arXiv:2610.12794 · در صف خبرنامه
Meta-Reflective Evolution Effectively Improves Production AI Systems
تکامل با فراتأمل: بهینه‌ساز تکاملی که کل تاریخچه‌ی جست‌وجو را می‌خواند و سیستم زنده را کاوش می‌کند
- تاریخ
- (۱۶ مهر ۱۴۰۵) 2026-10-08 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Seung Won Wilson Yoo, Chang Zeng, Aditi Somayajula, Sahithi Ankireddy, Rohan Kosalge, Avishree Khare, John Mitchell, Aditya G. Parameswaran, Rajhans Samdani, Anupam Datta
- نهاد نویسنده‌ها
- Snowflake; UMass Amherst; Stanford; UC Berkeley; UPenn
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
بهینه‌سازی تکاملی با هدایت مدل زبانی پرامپت‌ها، برنامه‌ها و حتی کل سیستم‌های هوش مصنوعی را بهتر کرده است. بیشتر روش‌ها یک نامزد را از مرز جست‌وجو انتخاب می‌کنند و فقط بر اساس شکست‌هایش آن را در یک گذر مدل جهش می‌دهند. این تمرکز روی مرز در سیستم‌های تولیدی متوقف می‌شود، چون شکست‌های منفرد چیز کمی درباره‌ی تعامل‌های پیچیده و پنهان نشان می‌دهند.
روش
بهینه‌ساز CoCoEvolve حول «فراتأمل» ساخته شده: یک جهش‌دهنده‌ی ایجنتی (Cortex Code) به‌طور انتخابی شواهد را از کل تاریخچه‌ی تکاملی بازیابی می‌کند و سیستم زنده را پیش از تأیید و پیشنهاد جهش کاوش می‌کند. روی سه دسته سیستم تولیدی آزموده شد: ایجنت‌های داده، خط لوله‌های داده‌ی مبتنی بر مدل زبانی و گردش‌کارهای مهندسی داده.
یافته‌ها
- روی DABStep صدرنشین جدول عمومی شد، با دقت ۹۲٫۸ درصد روی بخش سخت کنارگذاشته، در برابر ۷۸٫۴ برای روش متاهارنس و ۳۰٫۴ برای GEPA در شرایط برابر.
- در شش بار کاری خط لوله‌ی داده از همه‌ی پایه‌ها بهتر بود و روی data-eng-bench نرخ حل مجموعه‌ی آزمون را از ۵۹٫۱ به ۷۷٫۴ درصد رساند، بالاتر از بهترین پایه با ۷۳٫۶.
- روی HotpotQA ۱۱ واحد درصد دقیق‌تر از GEPA بود و روی بنچمارک‌های ریاضی و سیستمی رقابتی ماند؛ آزمایش‌های حذفی سهم هر جزء را تأیید کردند.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ جهش‌دهنده یک ایجنت اختصاصی شرکت است.
چرا مهم است
بهینه کردن سیستم‌های هوش مصنوعی واقعی سخت‌تر از بهینه کردن یک پرامپت است. این کار نشان می‌دهد ایجنتی که کل تاریخچه را می‌بیند و سیستم را آزمایش می‌کند، از بهینه‌سازهای رایج خیلی جلوتر است.