Acquiring and Verifying Repository Norms for Coding Agents

مسئله

تغییرهایی که ایجنت‌های کدنویسی تولید می‌کنند ممکن است تست‌های کارکردی را پاس کنند اما الزام‌های مشارکت در مخزن را برآورده نکنند؛ مثلاً به‌روزرسانی فایل تغییرات، افزودن تست برای هر ویژگی تازه یا قالب خاص پیام کامیت. پیروی از هنجارهای ویژه‌ی مخزن نیاز دارد راهنمایی پراکنده در منابع مخزن پیدا و شرط‌ها و استثناهایش تفسیر شود. روش‌های بازیابی و مستندسازی کانتکست عمومی می‌دهند، اما ایجنت باید هنوز تشخیص دهد کدام هنجار اعمال می‌شود.

روش

سیستم RepoNorm هنجارهای صریح و ضمنی مخزن را مستقل از تسک‌های کدنویسی کسب می‌کند. محتوا و کاربردپذیری هر هنجار را با شواهد مخزن بررسی می‌کند، در صورت نیاز به تاریخچه‌ی git رجوع می‌کند و بسته‌های هنجار را به ایجنت‌های کدنویسی موجود تحویل می‌دهد. ارزیابی با سه مدل کدنویسی و ۱۲۱ تسک از RepoNormBench انجام شد.

یافته‌ها

• نسبت به پایه‌ی بدون راهنمایی اضافه، بهبود نسبی ۷٫۴۲ تا ۱۰٫۷۷ درصد در نرخ کلی انطباق با هنجار، ۳۱٫۶۴ تا ۴۵٫۴۴ درصد در انطباق با هنجارهای مشارکت و ۱۱٫۳۴ تا ۱۷٫۶۹ درصد در هنجارهایی که در پرامپت نیامده‌اند به دست آمد.
• هر سه مدل با این روش از مستندات CodeWiki هم بهتر عمل کردند.
• نرخ موفقیت کارکردی ۵٫۷۹ تا ۹٫۰۹ واحد درصد بالا رفت، اما مقایسه‌های جفتی به آستانه‌ی معناداری نرسید؛ دقت نمونه‌گیری‌شده‌ی هنجارها ۸۶ درصد بود.

محدودیت‌ها

نویسنده‌ها می‌گویند بررسی هنجارهای مستندسازی فقط وجود تغییر را به عنوان جانشین تحویل می‌سنجد و درستی محتوا را تضمین نمی‌کند، و بهبود موفقیت کارکردی از نظر آماری معنادار نبود.