PhantomEnvironments: Training LLM Agents in Fictional Worlds

مسئله

آموزش ایجنت‌ها با یادگیری تقویتی گلوگاهی به نام محیط دارد: محیط باید پاداش قابل تأیید بدهد، تعامل طولانی را پشتیبانی کند و ارزان مقیاس یابد. روش‌های موجود به داده‌ی پرهزینه‌ی گزینش‌شده توسط انسان یا محیط‌های تولیدشده با مدل زبانی تکیه دارند که خطر توهم و آلودگی بنچمارک دارند.

روش

نویسنده‌ها PhantomEnvironments را ساختند: محیط‌های چندنوبتی یادگیری تقویتی از جهان‌های خیالی که کاملاً با قاعده و بدون هیچ مدل زبانی و با هزینه‌ی حاشیه‌ای صفر تولید می‌شوند. ایجنت باید در مجموعه‌ای از مقاله‌های قالبی جست‌وجو کند تا به پرسش‌های چندمرحله‌ای پاسخ دهد؛ مثلاً «پایتخت کشوری که بنیان‌گذار فلان شهر خیالی در آن به دنیا آمده کجاست؟».

یافته‌ها

• با این‌که هیچ واقعیت مشترکی با جهان واقعی ندارند، ایجنت‌های آموزش‌دیده به بنچمارک‌های جست‌وجوی چندمرحله‌ای واقعی منتقل شدند و روی بنچمارک‌های جدیدتر اغلب از آموزش با داده‌ی واقعی بهتر بودند.
• ایجنت‌ها به جهان‌های خیالی دیده‌نشده تعمیم یافتند و مدل‌های Qwen یاد گرفتند بودجه‌ی جست‌وجو را تقریباً خطی با دشواری پرسش افزایش دهند.
• آزمایش حذفی پیچیدگی محیط نشان داد تعداد مراحل بیش از قیدها یا مقایسه‌ها انتقال را پیش می‌برد.

محدودیت‌ها

نویسنده‌ها می‌گویند این محیط‌ها در بنچمارک‌های درون‌حوزه‌ای که حفظ دانش کمک می‌کند عقب‌اند، باید طوری طراحی شوند که میان‌بر پاداش نداشته باشند، و به دلیل بودجه‌ی محاسباتی مدل‌های بزرگ‌تر و بنچمارک‌های وب باز و کانتکست طولانی آزموده نشده‌اند.