BrickBench: Evaluating Agentic Brick Design

مسئله

طراحی یک مجموعه‌ی لگو از روی متن فقط شبیه کردن ظاهر نیست: ایجنت باید از یک کتابخانه‌ی گسسته‌ی قطعه‌ها انتخاب کند و هم‌زمان قیدهای محلی و سراسری را رعایت کند تا سازه از نظر فیزیکی ساختنی باشد. مثلاً «یک گاوچران سوار اسب کنار کاکتوس» باید هم شبیه توصیف باشد و هم قطعه‌هایش واقعاً به هم وصل شوند.

روش

بنچمارک BrickBench طراحی ایجنتی مجموعه‌های لگو از روی متن را در سه تنظیم با مقیاس و دسترسی متفاوت به قطعه‌ها می‌سنجد و اعتبار فیزیکی، هم‌راستایی با توصیف و کیفیت طراحی را امتیاز می‌دهد. محیط BrickAgent به ایجنت‌های کدنویسی اجازه می‌دهد طرح‌هایشان را بسازند، بررسی و اعتبارسنجی کنند.

یافته‌ها

• ایجنت‌های پیشرو بیشتر الزام‌های فیزیکی و معنایی قابل تأیید را برآورده می‌کنند؛ بهترین ایجنت ۹۵ درصد پرسش‌های بصری را پاس می‌کند، پس هم‌راستایی اشباع شده و فاصله در کیفیت طراحی است.
• یک ایجنت کدنویسی عمومی از مدل‌های داده‌محور مخصوص این کار، حتی روی بنچمارک خود آن‌ها، بهتر است، اما هزینه‌اش خیلی بیشتر است: ۴٫۰۶ دلار برای هر سازه در برابر کسری از یک سنت.
• همان مدل با BrickAgent سازه‌های ساختنی و بدون آن سازه‌های ناساختنی تولید می‌کند، و انسان‌های آشنا با طراحی لگو در نه مورد از ده مورد سازه‌ی ایجنت را از سازه‌ی انسانی تشخیص دادند.

محدودیت‌ها

نویسنده‌ها می‌گویند شبیه‌ساز اعتبار فیزیکی فقط یک جانشین است و پایداری سازه را کامل نمی‌سنجد، مثلاً استحکام اتصال‌ها آزموده نمی‌شود.