Open-Endedness Bench: Measuring Epistemic Process from Agent Records

مسئله

ایجنت‌ها روزبه‌روز بیشتر تسک‌های پژوهشی باز می‌گیرند: کشف یک قانون تجربی با آزمایش‌های خودطراحی، بهبود یک روش ابتکاری که بهینه‌اش را کسی نمی‌داند، یا شکستن یک رکورد. گزارش اجرا همه‌ی گام‌ها را ثبت می‌کند، اما اجراها هنوز فقط با امتیاز نتیجه قضاوت می‌شوند، که نشان نمی‌دهد ادعاهای ایجنت از آزمایش‌های اجراشده نتیجه می‌شوند یا نه.

روش

روش OEB فقط گزارش اجرای ایجنت را می‌خواند و هرگز پاسخ مرجع یا امتیاز نتیجه را نمی‌بیند. گزارش به یک گراف رویداد معرفتی تبدیل می‌شود که گزاره‌های بیان‌شده را به کنش‌های اجراشده‌ای که آن‌ها را می‌آزمایند وصل می‌کند و هر گره یک نقل دقیق دارد که کد با گزارش تطبیق می‌دهد. اصل امتیازدهی این است که نثر می‌تواند گزاره بگوید اما فقط شاهد برگشتی از کنش اجراشده می‌تواند آن را تأیید یا رد کند. از گراف، چهار محور شایستگی، یعنی شاهد، آزمایش، بازنگری و نبود تقلب در پاداش، و شش ویژگی شخصیتی عادت‌های پژوهشی سنجیده می‌شود.

یافته‌ها

• ۱۱۹ اجرای موجود روی ۱۲ تسک از سه بنچمارک پس‌آموزش مدل زبانی، طراحی تراشه و رکورد سرعت آموزش امتیازدهی شد.
• در مقایسه با نتایج ثبت‌شده، فقط ۱۶ تا ۲۹ درصد بهبودهایی که ایجنت‌ها ادعا می‌کنند واقعی بود.
• در ۹ تسک از ۱۰، بهترین اجرا در نیمه‌ی دوم ایده‌های جدید بیشتری از بدترین اجرا امتحان کرد.
• ویژگی‌های شخصیتی بیشتر به مدل وابسته بود تا تسک: مدل اجراکننده با میانه‌ی ۴۳ درصد در برابر ۷ درصد تسک، واریانس هر ویژگی را توضیح داد.

محدودیت‌ها

نویسنده‌ها می‌گویند در جست‌وجوی خالص ابرپارامتر مدل‌ها فقط از طریق مقادیر تغییریافته استدلال می‌کنند و گزاره‌ی کمتری استخراج می‌شود، وقتی ایجنت استدلالش را ننویسد ابزار نمی‌تواند استدلال نانوشته را از استدلال رخ‌نداده تشخیص دهد، و هنوز آزموده نشده که ایجنتی که علیه این امتیازها بهینه شود چقدر می‌تواند آن‌ها را جابه‌جا کند.