مقاله‌ی arXiv:2610.02202 · منتشرشده در کانال
ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
اسکالرکاتالیست: بنچمارک بازیابی مقاله‌هایی که الهام‌بخش پژوهش جدیدند
- تاریخ
- (۹ مهر ۱۴۰۵) 2026-10-01 تأییدشده از روی تاریخ ارسال نسخه‌ی اول در آرکایو
- نویسنده‌ها
- Sohyeon Kim, Yoonho Lee, Bo Liu, Dayoon Ko, Rulin Shao, Seungone Kim, Graham Neubig, Pang Wei Koh, Aakanksha Chowdhery, Akari Asai, Omar Khattab, Yejin Choi, Gunhee Kim, Chelsea Finn
- نهاد نویسنده‌ها
- Stanford University; Seoul National University; University of Washington; Carnegie Mellon University; Allen Institute for AI; MIT
خلاصه‌ی فارسی
مسئله
حتی با پیشرفت هوش مصنوعی روی مسائل باز، دانشمندان هنوز در تشخیص این‌که یک مسئله‌ی جدید به کدام ایده‌ی قبلی، مدفون در آرشیو رو به رشد پژوهش، نیاز دارد بسیار جلوترند؛ مثلاً مقاله‌ای که با نشان دادن یک محدودیت، یک پرسش مبهم را به مسئله‌ای مشخص تبدیل می‌کند.
روش
نویسنده‌ها از پژوهشگرانی کمک گرفتند که از نزدیک می‌دانند کدام کار قبلی پروژه‌ی تمام‌شده‌شان را پیش برد. با یک خط‌لوله‌ی خودکار که برچسب‌زنی نویسنده‌ها را مقیاس‌پذیر می‌کند، ۱۸۴ نویسنده‌ی اصلی ۲۰۷ مقاله‌ی اخیر علوم کامپیوتر مشخص کردند کدام نامزدها پروژه‌شان را پیش بردند یا می‌توانستند ببرند، هر کدام با توضیح مفصل. تسک بازیابی این است: از روی پرسش پژوهشی اولیه، این مقاله‌ها را فقط از ادبیات موجود در زمان شروع پروژه بازیابی کن.
یافته‌ها
- جست‌وجوی ایجنتی بهتر از بازیابی بردار جاسازی نبود (۰٫۴۲ در برابر ۰٫۴۸ معیار Recall@۲۰)، با این‌که همان بازیاب را به عنوان ابزار فرا می‌خواند.
- حتی ایجنتی بر پایه‌ی Claude Fable ۵٫۱ که ممکن است مقاله‌های تمام‌شده را در آموزش دیده باشد، فقط به ۰٫۵۱ رسید.
محدودیت‌ها
مقاله بخش جداگانه‌ای برای محدودیت‌ها ندارد؛ بنچمارک به مقاله‌های علوم کامپیوتر محدود است.
چرا مهم است
یافتن ایده‌ی قبلی مناسب یکی از توانایی‌های تعیین‌کننده‌ی پژوهشگران خوب است. این بنچمارک نشان می‌دهد ایجنت‌های فعلی در این کار هنوز ضعیف‌اند و به روش‌های آموزشی جدید نیاز است.