Frustratingly Easy Agentic RAG via Portable Skills: A Case Study in Customer Support

مسئله

خودکارسازی کار سازمانی معمولاً نیاز دارد مجموعه‌ی کامل و دقیقی از اطلاعات مرتبط از اسناد عملیاتی بزرگ بازیابی شود. در پشتیبانی مشتری، متخصص باید برای هر پرونده ترتیب درست قدم‌های حل را از روی اسناد سیاستی پیدا کند. رسیدن به این دقت در تولید معمولاً خط لوله‌ی پیچیده‌ای از تکه‌تکه کردن سند، نمایه‌سازی، بازرتبه‌بندی و بازنویسی پرسش لازم دارد.

روش

جایگزین ساده‌تر یک اسکیل قابل حمل است: یک دستور به زبان طبیعی، چند ابزار سبک (یک API بازیابی و اسکریپت‌های بررسی قالب) و یک لایه‌ی راهنمای «شبیه ویکی‌پدیا» که مدل زبانی روی اسناد ساخته است. پیاده‌سازی‌اش ۱ تا ۲ روز کار یک مهندس است و در هارنس‌های ایجنتی مثل Claude Code قابل حمل است.

یافته‌ها

• در تولید گردش کار حل پرونده، به ۹۹٫۲ درصد هم‌ارزی رویه‌ای با پاسخ مرجع تأییدشده‌ی انسانی و ۸۳٫۳ درصد کفایت شواهد رسید.
• برای هر پرونده تقریباً یک مرتبه کندتر از دستیار تولیدی فعلی است (حدود ۹۰ ثانیه در برابر ۸ تا ۹ ثانیه)، و نویسنده‌ها هیچ برتری در تأخیر ادعا نمی‌کنند.
• نگهداری به ویرایش متن و داده تبدیل شد، نه آموزش دوباره‌ی مدل.

محدودیت‌ها

نویسنده‌ها می‌گویند این یک مطالعه‌ی موردی روی یک استقرار است: ۱۳۲ پرونده‌ی واقعی روی یک مجموعه‌ی سند بالغ و خوب نگهداری‌شده، در گردش کاری که تأخیر را تحمل می‌کند و هر پرونده را انسان بازبینی می‌کند. مجموعه‌های جوان‌تر شاید مهندسی بازیابی بیشتری لازم داشته باشند.