Initialization Improves LLM-Driven Discovery

مسئله

مدل‌های زبانی با هارنس‌هایی که آن‌ها را برای بهینه‌سازی مکرر یک هدف پرامپت می‌کنند، برای کشف الگوریتم، قضیه، دارو و کارهای دیگر به کار رفته‌اند. اما رابطه‌ی جمعیت تکرارهای قبلی با موفقیت نهایی کشف روشن نیست، و معلوم نیست چرا یک اجرا به نتیجه‌ی خوب می‌رسد و اجرای دیگر نه.

روش

نویسنده‌ها کارهای قبلی طراحی هارنس را تعمیم دادند و مجموعه‌ای از ۱۲ هارنس به نام Modular ساختند و کارایی‌شان را روی ۵ تسک کشف متنوع سنجیدند. سپس بر اساس یافته‌ها یک مداخله‌ی عمومی پیشنهاد دادند: یک مرحله‌ی اولیه‌ی کاوش موازی که بهینه‌سازی تکراری بعدی را مقداردهی اولیه می‌کند.

یافته‌ها

• موفقیت کشف شکننده و حساس به طراحی هارنس است.
• فروپاشی حالت، یعنی افت شدید تنوع تکرارها، یک حالت شکست رایج است و هارنس‌های پیشرفته‌ی محبوب و مداخله‌های افزایش تنوع که می‌خواهند این فروپاشی را عقب بیندازند، بهبود ناپایداری می‌دهند.
• کارایی کشف‌های اولیه موفقیت نهایی را پیش‌بینی می‌کند، و مداخله‌ی کاوش موازی اولیه در بسیاری از هارنس‌ها و کاربردها بهبود پیوسته داد.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده اندازه‌ی عددی بهبود را نمی‌گوید.