مقاله‌ی arXiv:2610.22760 · نگه‌داشته برای بعد
Between Spoilers and Guesswork: Avoiding Over-Specification in Coding Benchmarks
راهنمایی‌هایی که به بنچمارک‌های کدنویسی اضافه می‌شوند، گاهی جواب را لو می‌دهند
- تاریخ
- (۲۴ مهر ۱۴۰۵) 2026-10-16 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Yuanzhe Liu, Bastian Lipka, Avraham Shinnar, Jatin Ganhotra, Yao Ma, Martin Hirzel
- نهاد نویسنده‌ها
- Rensselaer Polytechnic Institute, IBM
- برچسب لابراتوار
خلاصه‌ی فارسی
مسئله
بنچمارک‌ها مسیر پیشرفت هوش مصنوعی را تعیین می‌کنند، اما تعریف تسک در آن‌ها دو جور خراب می‌شود. اگر تسک ناقص تعریف شده باشد، راه‌حل باید حدس بزند (مثلاً اسم تابعی را که تست‌ها انتظار دارند نمی‌داند) یا حتی به تقلب و دور زدن پاداش رو بیاورد. اگر بیش از حد تعریف شده باشد، جواب لو می‌رود و راه‌حل می‌تواند از همان قدم‌های سختی که قرار بود سنجیده شوند رد شود. بنچمارک‌های کدنویسی در سطح ریپو مثل SWE-bench Pro و Multi-SWE-bench برای حل مشکل اول، از روی راه‌حل اصلی راهنمایی به متن تسک اضافه کرده‌اند.
روش
نویسنده‌ها نشان می‌دهند این راهنمایی‌ها در بعضی بنچمارک‌ها اطلاعات راه‌حل اصلی را نشت می‌دهند. بعد سطح‌های مختلف راهنمایی را آزموده‌اند: کدام شناسه‌ها (اسم تابع‌ها و کلاس‌ها) گفته شود و با چه جزئیاتی، مثلاً فقط امضای تابع یا بیشتر. هدف پیدا کردن کمترین راهنمایی است که حدس زدن را حذف کند ولی جواب را لو ندهد.
یافته‌ها
- نشت اطلاعات راه‌حل اصلی در متن تسک، در بعضی از این بنچمارک‌ها باعث لو رفتن جواب می‌شود و نرخ حل اندازه‌گیری‌شده را بالا می‌برد.
- سیاست راهنمایی هم بر نرخ حل اثر دارد و هم بر مقدار اطلاعاتی که از راه‌حل به ایجنت می‌رسد.
- پیشنهاد نویسنده‌ها این است: فقط شناسه‌هایی را بگو که تست‌ها واقعاً از آن‌ها استفاده می‌کنند و فقط در حد امضای اعلان، نه جزئیات پیاده‌سازی.
محدودیت‌ها
در متن مقاله یک بند محدودیت هست، اما چکیده و نتیجه‌گیری بیشتر روی پیشنهادها تمرکز دارند؛ نتایج به همین چند بنچمارک کدنویسی محدود است.
چرا مهم است
وقتی می‌خوانیم یک ایجنت کدنویسی فلان درصد از تسک‌های یک بنچمارک را حل کرده، باید بدانیم متن تسک چقدر از جواب را از قبل گفته است. این کار به سازنده‌های بنچمارک یادآوری می‌کند که راهنمایی را با «چه چیزی را لو می‌دهد» هم بسنجند، نه فقط با «چقدر نمره را بالا می‌برد».