Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting

مسئله

بهینه‌سازی پرامپت جایگزین جذابی برای یادگیری تقویتی در تطبیق ایجنت‌هاست، چون ارزان است و خروجی خوانا می‌دهد. اما در تسک‌های واقعیت‌محور یک خطر دارد: بهینه‌سازی که نمونه‌های آموزشی را می‌خواند می‌تواند پاسخ‌هایشان را در پرامپت بنویسد، پس بهبود درون توزیع ممکن است حفظ کردن باشد نه رفتار قابل انتقال.

روش

نویسنده‌ها تکامل بازتابی پرامپت (GEPA) را روی دو پرامپت سیستم یک ایجنت چندایجنتی پژوهش عمیق اعمال کردند و آن را با تقسیم موضوع‌جدا سنجیدند، که هیچ موضوعی بین آموزش، اعتبارسنجی و آزمون مشترک نیست. با چند بذر، حذف کنترل‌شده‌ی محتوای حفظ‌شده و تغییر نوع تأییدکننده، منبع بهبود را جدا کردند.

یافته‌ها

• پاداش استناد روی داده‌ی کنارگذاشته ۰٫۰۷۹ بالا رفت، از ۰٫۷۰۲ به ۰٫۷۸۱، با بازه‌ی اطمینان ۹۵ درصد بین ۰٫۰۵۱ و ۰٫۱۰۷، و بهبود در سه بذر تکرار شد.
• تقریباً نیمی از پرامپت برنده یک کلید پاسخ حفظ‌شده بود، اما حذف کنترل‌شده نشان داد این محتوا حتی روی همان پرسش‌های آموزشی پاداشی نمی‌گیرد؛ فاصله‌ی بزرگ اعتبارسنجی و آزمون از انتخاب با نمونه‌ی کوچک زیر داور پرنویز است.
• بازخورد تجزیه‌شده به ابعاد مختلف عامل علّی بهبود است و تبدیل آن به یک پاداش عددی، انتقال را منفی می‌کند؛ نسخه‌ی دست‌نوشته‌ی دستور کشف‌شده هم بیشتر بهبود را بازتولید کرد.

محدودیت‌ها

نویسنده‌ها می‌گویند پاداش یک داور مدل زبانی است که فقط در مقیاس کوچک تأیید شده؛ بررسی ۴۸ جفت نشان داد داورها با انسان هم‌نظرند، قوی‌تر از همه روی پشتیبانی واقعی با ضریب توافق ۰٫۶۰.