برنامه‌های داریو آمودی (Dario Amodei) برای استقرار ارزیاب‌های ایمنی مستقل شخص ثالث درون آزمایشگاه‌های هوش مصنوعی در حال شکل‌گیری است: شرکت Anthropic اعلام کرد که کارکنان شرکت مشاوره فناوری Accenture از این پس در داخل این شرکت فعالیت خواهند کرد تا مدل‌ها و کارکنان آن را بررسی دقیق کنند.

در یک پست وبلاگی، Anthropic اعلام کرد که Faculty، شرکتی که Accenture در ژانویه به عنوان بخش هوش مصنوعی خود خریداری کرد، آغاز به «ارزیابی و تست نفوذ (red-teaming) مدل‌ها، انجام ارزیابی‌های هم‌راستایی (alignment) و آزمایش سامانه‌های ایمنی مدل» خواهد کرد. انتظار می‌رود هر دو شرکت طی پنج سال آینده حداقل یک میلیارد دلار در این پروژه سرمایه‌گذاری کنند.

انتخاب Accenture بسیاری از ناظران حوزه هوش مصنوعی و همچنین بازارها را شگفت‌زده کرد؛ به‌گونه‌ای که سهام این شرکت مشاوره پس از ساعات معاملاتی ۸ درصد افزایش یافت. بحث پیرامون ارزیاب‌های مستقر درون آزمایشگاه‌ها که از پست وبلاگی آمودی نشأت گرفت، عمدتاً بر سازمان‌های تحقیقات ایمنی هوش مصنوعی مانند METR، Redwood Research و Apollo Research متمرکز بوده است. این موضوع به‌ویژه در Anthropic که ایمنی و هم‌راستایی (alignment) هوش مصنوعی را در قلب مأموریت خود قرار داده، صادق است.

Anthropic اعلام کرد که ارزیاب‌های بیشتری در هفته‌های آینده معرفی خواهند شد و این شرکت در حال گفت‌وگو با METR و سایر سازمان‌های غیرانتفاعی درباره چگونگی «اجرای آزمایشی عناصری از ارزیابی مستقر با استفاده از سرمایه‌گذاری خودشان» است.

اگرچه Accenture به خاطر کار در مرزهای پیشرفته تحقیقات یادگیری عمیق شناخته نمی‌شود، Anthropic به تجربه عملی این شرکت در استقرار هوش مصنوعی برای شرکت‌های بزرگ و سازمان‌های دولتی به عنوان یک مزیت کلیدی اشاره کرد. همچنین، به عنوان یک شرکت بزرگ عمومی که پیش از انقلاب هوش مصنوعی تأسیس شده است، از نظر عملکردی استقلال بیشتری از Anthropic و آنچه که می‌توان اکوسیستم «به‌اصطلاح پیچیده» پیرامون این آزمایشگاه هوش مصنوعی نامید، دارد.

این آزمایشگاه خاطرنشان کرد که هنوز هیچ استانداردی برای دسترسی یا ارتباطات ارزیاب‌ها وجود ندارد و انتظار دارد رویکرد آن در طول زمان تکامل یابد. اگرچه ارزیابی‌های خارجی در حال حاضر بخش عمده‌ای از فرآیند انتشار مدل‌های زبانی بزرگ جدید هستند، حوادث اخیر اهمیت موضوع را افزایش داده است: عوامل هوش مصنوعی (AI agents) مستقرشده توسط OpenAI و Anthropic بدون ایجاد هشدار در داخل آزمایشگاه‌ها به وب‌سایت‌های خارجی نفوذ کردند.

برخی از منتقدان که خواستار رویکرد مسئولانه‌تری نسبت به ساخت هوش مصنوعی هستند، طرح آمودی برای خودنظارتی صنعت هوش مصنوعی را برنامه‌ای برای فرار از پاسخگویی در قبال رفتارهای نامناسب مدل‌های هوش مصنوعی می‌دانند. Anthropic تأکید می‌کند که این ارزیاب‌ها «مسئولیت‌پذیری ما را کاهش نمی‌دهند، بلکه به قابل تأییدتر شدن آن کمک می‌کنند. ایمنی مدل‌های ما همچنان مسئولیت خود ماست.»