مقاله‌ی arXiv:2610.23194 · در صف خبرنامه
OfficeTown: Generative Organizations for Evolving Agent Intelligence
- تاریخ
- (۲۴ مهر ۱۴۰۵) 2026-10-16
- نویسنده‌ها
- Hongchen Wei, Daohong Ying, Zhi Hong, Aidan Wu, Bei Liu, Ruichun Ma, Yifan Yang, Qi Dai, Kai Qiu, Rui Xu, Dongdong Chen, Zhenzhong Chen, Chong Luo
- برچسب لابراتوار
- موضوع‌ها
خلاصه‌ی فارسی
مقاله‌ی OfficeTown: Generative Organizations for Evolving Agent Intelligence (16 Oct 2026، مایکروسافت ریسرچ آسیا؛ Hongchen Wei، Daohong Ying و همکاران)
مسئله: بیشتر بنچمارک‌های ایجنت هر کار را جدا و از صفر می‌دهند. در یک شرکت واقعی کار این‌طور پیش نمی‌رود: درخواست امروز به پیش‌نویس هفته‌ی پیش، تصمیمی که دیروز گرفته شده و بازخوردی که مدیر روی نسخه‌ی قبلی داده وابسته است. هر کس هم فقط بخشی از فایل‌ها را می‌بیند. بنچمارکی که این پیوستگی و این مرزهای دسترسی را نداشته باشد، نمی‌گوید ایجنت در یک تیم واقعی چقدر به درد می‌خورد.
روش:
- آفیس‌تاون از یک توصیف متنی درباره‌ی هدف و کارهای یک سازمان، یک سازمان شبیه‌سازی‌شده با چند نقش می‌سازد.
- آدم‌های این سازمان کار را بین خودشان هماهنگ می‌کنند، تکه‌های مشخصی از کار را به ایجنت دستیار می‌سپارند و خروجی دستیار را بازبینی می‌کنند.
- پیش‌نویس‌ها، تصمیم‌ها و کارهای نیمه‌تمام از بین نمی‌روند و روی کار بعدی اثر می‌گذارند. هر نقش هم فقط فایل‌هایی را می‌بیند که بر اساس سمت و اشتراک‌گذاری اجازه‌اش را دارد. برای نمونه، یکی از این سازمان‌ها در ۱۸۱ روز شبیه‌سازی‌شده از ۲۷ فایل اولیه به ۴۷۰ خروجی تازه رسید.
- از دل همین جریان کار، ۴۰۶ وظیفه از ۲۳ سازمان در هشت حوزه (از جمله حقوقی، مالی، بالینی و نرم‌افزار) ساخته‌اند، هر کدام با فایل‌ها و زمینه‌ای که در همان لحظه در سازمان وجود داشته، و در مجموع ۴۸۳۶ معیار ارزیابی که با بازخورد متخصص هر حوزه تنظیم شده.
یافته‌ها:
- تحویل کامل هنوز سخت است. یک وظیفه فقط وقتی «قبول» حساب می‌شود که همه‌ی معیارهای لازمش برآورده شود. بهترین مدل، GPT-6 Astra، حدود سه‌چهارم وظیفه‌ها را کامل تحویل داد و کلاد اپوس ۵.۵ حدود نیمی را.
- نمره‌ی میانگین بالا به معنی تحویل کامل نیست. کلاد وظیفه‌های بیشتری از GPT-5.6 Terra را کامل تمام کرد، ولی وقتی فقط می‌پرسیم «چه سهمی از معیارها را پوشش داد»، نمره‌ی Terra بالاتر بود. یعنی Terra بیشتر کارها را تا حد زیادی، ولی نه کامل، انجام می‌داد.
- هارنس از «فکر کردن بیشتر» اثر بزرگ‌تری داشت. با یک مدل ثابت (دیپ‌سیک V4-Flash)، بالا بردن سطح تلاش مدل تقریباً هیچ فرقی در نمره نداد، اما عوض کردن فریم‌ورکی که مدل در آن اجرا می‌شد نمره را خیلی جابه‌جا کرد: اجراکننده‌ی خود آفیس‌تاون به‌وضوح از Pi و اوپن‌کد جلوتر بود.
- ساختار «اصلی و دستیار»، یعنی یک نقش که کار را تقسیم و بازبینی می‌کند و ایجنت دستیاری که اجرا می‌کند، از چیدمان‌های تک‌ایجنت و چندایجنتی که امتحان کردند بهتر بود.
- آموزش روی داده‌ی آفیس‌تاون مدل کوچک Qwen3.5-9B را بیرون از خود این بنچمارک هم بهتر کرد. در ۷۹ وظیفه‌ی مشترک با GDPval (بنچمارک کارهای حرفه‌ای OpenAI)، نمره‌ی روبریک مدل از حدود ۶۶ به حدود ۷۴ از ۱۰۰ رسید.
محدودیت: خود نویسنده‌ها می‌گویند مقایسه‌ی فریم‌ورک‌ها با پرامپت و ابزار پیش‌فرض هر کدام اجرا شده و از نظر مصرف توکن هم‌اندازه نبوده، پس آن بخش را با احتیاط بخوانید. سازمان‌ها هم شبیه‌سازی‌شده‌اند، نه داده‌ی یک شرکت واقعی.
چرا مهم است: اگر ایجنت قرار است عضو یک تیم باشد، باید بداند هفته‌ی پیش چه تصمیمی گرفته شده، کدام نسخه آخرین نسخه است و چه چیزی را اجازه ندارد ببیند. آفیس‌تاون همین حافظه‌ی سازمانی و مرزهای دسترسی را وارد ارزیابی می‌کند. پیام عملی‌اش برای هارنس‌سازها هم روشن است: این‌که چه کسی کار را تقسیم می‌کند و چه کسی بازبینی می‌کند، به اندازه‌ی انتخاب مدل در نتیجه اثر دارد.