Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?

مسئله

یادگیری از تجربه برای سازگاری ایجنت‌ها با محیط‌های ناآشنا و پویا ضروری است. بنچمارک‌های موجود عمدتاً تسک‌هایی را می‌سنجند که قاعده‌هایشان در دستور آمده یا برای مدل پیش‌آموزش‌دیده آشناست، پس نمی‌شود یادگیری از تعامل را از استدلال با دانش موجود جدا کرد؛ مثلاً ایجنتی که شطرنج را خوب بازی می‌کند ممکن است فقط قواعد از پیش دانسته را به کار ببرد.

روش

بنچمارک Learn2Play شامل بازی‌های متنی تازه‌طراحی‌شده است که قاعده‌هایشان نو یا خلاف شهود است، پس ایجنت باید دانش را از تعامل به دست آورد. بازی‌ها بازخورد قابل بازتولید و امتیازدهی خودکار دارند تا یادگیری در تلاش‌های تکراری کنترل‌شده سنجیده شود، و نمونه‌های بازی تغییر می‌کنند تا انتقال آموخته‌ها به موقعیت تازه آزموده شود. اثر مدل پایه، روش‌های خودتکامل و هارنس ایجنت بر یادگیری بررسی شد.

یافته‌ها

• نگه داشتن رکورد کامل اقدام‌ها و بازخوردها می‌تواند از خلاصه کردن تجربه به قاعده یا راهبرد مؤثرتر باشد.
• بهترین بازیکنان انسانی به امتیاز بیشینه‌ی بالاتری از ایجنت‌های ارزیابی‌شده رسیدند؛ انسان‌ها راهبردهای متنوع‌تری را کاوش می‌کنند و اقدام‌ها را کمتر تکرار می‌کنند.
• با مدل پایه‌ی ثابت، تغییر هارنس می‌تواند کارایی را بهتر و هزینه‌ی تخمینی استنتاج را کمتر کند.

محدودیت‌ها

مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد و چکیده عدد مشخصی برای فاصله‌ی انسان و ایجنت نمی‌دهد.