مقاله‌ی arXiv:2609.28554 · منتشرشده در کانال
Pistis Technical Report
گزارش فنی پیستیس: خانواده‌ی مدل‌های چندرسانه‌ای با تقطیر و یادگیری تقویتی درهم
- تاریخ
- (۱ مهر ۱۴۰۵) 2026-09-23 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Heyun Chen, Xiaohan Lan, Jiaxi Li, Zhilin Lu, Qi She, Weiwen Xu, Fei Yu, Yujie Zhong, Jinghuan Chen, Zijian Feng, Siyu Jiao, Yiheng Lin, Xinhao Wang, Sihan Yang, Jieyu You, Changbin Zhang, Hengyu Zhang, Xudong Zhang, Yunqing Zhao, Shuai Zheng
- نهاد نویسنده‌ها
- Pistis Team, ByteDance
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مسئله
پس‌آموزش مدل‌های چندرسانه‌ای برای استدلال عمیق و کار ایجنتی بلندمدت معمولاً تقطیر و یادگیری تقویتی را جدا یا با یک تابع زیان ترکیبی ثابت بهینه می‌کند، که می‌تواند به ناپایداری، تخصیص اعتبار ضعیف در مسیرهای طولانی و مبادله‌ی توانایی‌ها منجر شود؛ مثلاً بهتر شدن در جست‌وجو به قیمت افت استدلال.
روش
خانواده‌ی Pistis شامل مدل‌های ۲۷ و ۹ میلیاردی بر پایه‌ی Qwen3.6 و Qwen3.5 است. پس از تنظیم دقیق نظارت‌شده‌ی چندرسانه‌ای بزرگ‌مقیاس، روش IDRL تقطیر روی سیاست و یادگیری تقویتی را در یک حلقه‌ی آموزشی به تناوب اجرا می‌کند. در هر مقیاس دو نسخه ساخته شد: Pistis-Thinking برای استدلال چندرسانه‌ای عمیق و Pistis-Agentic با داده‌ی مسیر ایجنتی برای برنامه‌ریزی بلندمدت و استفاده از ابزار. روش PAH هم هارنس استنتاج را با بهینه‌سازی تکراری خودکار بهتر می‌کند.
یافته‌ها
- هر دو مقیاس از مدل‌های پایه‌ی متناظرشان بهتر بودند و نسخه‌ی ایجنتی به‌ویژه در جست‌وجوی چندرسانه‌ای قوی بود.
- روش PAH کارایی را بدون به‌روزرسانی پارامترها یا افزایش بودجه‌ی تعامل بهتر کرد.
محدودیت‌ها
نویسنده‌ها می‌گویند هارنس بهینه‌شده هنوز ممکن است به یک گزینه‌ی اولیه بیش از حد متعهد شود چون آزمون چالشگر مبتنی بر شواهد ندارد، تنوع منابع ممکن است بیش از واقع نشان داده شود، و پایان آگاه از بودجه گاهی جلوی آخرین تأیید تعیین‌کننده را می‌گیرد. چکیده عدد مشخصی نمی‌دهد.
چرا مهم است
ساخت مدلی که هم خوب استدلال کند و هم خوب ابزار به کار ببرد، چالش اصلی پس‌آموزش امروز است. این گزارش یک دستورالعمل عملی برای ترکیب تقطیر و یادگیری تقویتی و بهبود هارنس بدون آموزش دوباره ارائه می‌دهد.