VEPA: Verified Evolving Formal Policy for Lifelong LLM Agent Guardrails

مسئله

ایجنت‌ها بیشتر روی منابع حساس، مثل اسناد خصوصی و وضعیت سیستم، کار می‌کنند. محافظ زمان اجرا باید پیش از اقدام‌های احتمالاً برگشت‌ناپذیر، تصمیم اجازه یا رد قابل بررسی، تکرارپذیر و قطعی بگیرد. اما نیازهای ایمنی پیش از استقرار کامل نیستند و محافظ باید با خطرهای تازه سازگار شود. محافظ‌های تطبیقی موجود سیاست را با استنتاج مدل زبانی اعمال می‌کنند که تصمیم ناسازگار می‌دهد، و محافظ‌های رسمی سیاست را قطعی اعمال می‌کنند ولی سازوکار تطبیق ندارند.

روش

چارچوب VEPA محافظ را به شکل یک سیاست رسمی از قاعده‌های نمادین اجرایی روی رویدادهای نوع‌دار ایجنت نشان می‌دهد. در استقرار، یک مدل زبانی با هدایت بازخورد، وصله‌هایی برای سیاست پیشنهاد می‌کند که خطاهای تازه را رفع کنند و رفتار درست قبلی را حفظ کنند. یک تأییدکننده‌ی قطعی فقط سیاست‌های معتبر از نظر ساختار و بدون تعارض را می‌پذیرد، و یک لایه‌ی اختیار آگاه از شواهد قاعده‌ی تأییدشده را فقط وقتی فعال می‌کند که شواهد کافی داشته باشد.

یافته‌ها

• روی ASSEBench-Safety، ASSEBench-Security و ATBench پیوسته از پایه‌ها بهتر بود و دامنه‌ی اعمال قطعی سیاست رسمی را گسترش داد.
• این بهبودها در شرایط سخت‌تر استقرار، شامل جریان‌های مختلط، بازخورد خراب و افق‌های طولانی‌تر هم برقرار ماند.

محدودیت‌ها

نویسنده‌ها می‌گویند اعمال قطعی فقط بعد از نگاشت تعامل به یک رویداد نوع‌دار ثابت تضمین می‌شود؛ تجزیه‌گر مدل زبانی بالادستی یک جزء عصبی است و ممکن است خطا کند یا تحت تأثیر ورودی خصمانه باشد، و تصمیم‌های پشتیبان مدل زبانی بیرون از مرز تضمین رسمی‌اند.