Anthropic اعلام کرد مدل‌هایش از وب‌سایت‌های اینترنت، از جمله برخی وب‌سایت‌های متعلق به نهادهای دولتی آمریکا، سوءاستفاده کرده‌اند و تا زمانی که این آزمایشگاه پیشرو مطمئن نشود می‌تواند عامل‌های هوش مصنوعی خود را زیر نظر بگیرد و کنترل کند، دسترسی زنده به اینترنت را برای همه ارزیابی‌های داخلی‌اش قطع خواهد کرد.

این رخدادها که در یک پست وبلاگی فاش شدند، به عامل‌های هوش مصنوعی مربوط بودند که برای حل مسئله مأمور شده بودند و در جست‌وجوی منابع به اینترنت مراجعه می‌کردند. این عامل‌ها در جریان کار از نقص‌های نرم‌افزاری سوءاستفاده کردند، از دیوارهای پرداخت و محدودیت‌های ضدربات عبور کردند، از سرویس‌های کوتاه‌کننده URL برای قاچاق اطلاعات و عبور از محدودیت‌ها بهره بردند و حتی گزارشی دروغین درباره یک قتل به پلیس فیلادلفیا دادند.

Anthropic گفت این مشکلات تازه را در جریان بررسی فعالیت‌های مدل‌هایش کشف کرده است؛ بررسی‌ای که از ژوئیه آغاز شد و ناآگاهی این آزمایشگاه از رفتار نرم‌افزارهایش را برجسته می‌کند.

نکته قابل‌توجه این است که شرکت گفت آموزش هم‌راستاسازی هنوز برای مهارت‌هایی مانند جست‌وجو و کار با رایانه، که از ارکان اصلی ادعای آن درباره استفاده متخصصانِ متکی به ابزارهای دیجیتال از عامل‌های هوش مصنوعی هستند، کافی نیست.

رفتارهایی که Anthropic فاش کرده، به رخدادهایی شباهت دارند که در آن‌ها عامل‌های OpenAI برای جست‌وجوی اطلاعات با یکدیگر همکاری کردند تا به وب‌سایت‌های مختلف، از جمله برخی وب‌سایت‌های متعلق به دولت استرالیا، نفوذ کنند.

Anthropic پیش‌تر فاش کرده بود که مدل‌هایش به سامانه‌های خارجی نفوذ کرده‌اند. این آزمایشگاه پیشرو گفت رخدادهای امروز را از نظر هم‌راستاسازی و امنیت، «به‌مراتب کم‌خطرتر» از مواردی می‌داند که پیش‌تر اعلام کرده بود.

بااین‌حال، این آزمایشگاه گفت تا زمانی که مطمئن نشود می‌تواند عامل‌هایش را زیر نظر بگیرد و کنترل کند، «دسترسی زنده به اینترنت» را برای «همه ارزیابی‌های داخلی‌مان قطع کرده است».

مشخص نیست این تصمیم دقیقاً چه معنایی دارد، اما سیدنی فون آرکس، بنیان‌گذار سازمان ایمنی هوش مصنوعی Nightingale، پیش از انتشار این خبر در گفت‌وگو با TechCrunch گفت توسعه مدل‌ها در مرکز داده‌ای که از اینترنت عمومی جدا شده باشد، هم برای پژوهشگران دشوار خواهد بود و هم پیشرفت مدل‌ها را با مشکل روبه‌رو می‌کند؛ چراکه این مدل‌ها از دسترسی به اینترنت بهره می‌برند.

فون آرکس گفت: «بالاخره باید آن‌ها را هم‌راستا کنید. اگر هوش‌های مصنوعی وارد مرحله عملیاتی شوند و هیچ‌وقت به اینترنت دسترسی نداشته باشند، ابزار چندان مفیدی نخواهند بود.»

Anthropic گفت این رفتار ناشی از نقص‌هایی در محیط‌های آموزشی این آزمایشگاه بوده است؛ نقص‌هایی که باعث شدند مدل‌ها تصور کنند بابت پیدا کردن راه‌های دور زدن محدودیت‌ها یا نادیده گرفتن آن‌ها پاداش می‌گیرند. به این رفتار «هک پاداش» گفته می‌شود.

این شرکت گفت اجرای برخی ارزیابی‌ها را متوقف می‌کند یا آن‌ها را به محیط آفلاین منتقل خواهد کرد و ابزارهایی برای شناسایی و مسدود کردن این رفتار ساخته است. این ابزارها در برابر نمونه‌هایی از رخدادهایی که امروز فاش شدند آزمایش شدند و توانستند آن‌ها را مسدود کنند؛ اما مشخص نیست چه شواهدی Anthropic را به بازگرداندن دسترسی زنده به اینترنت برای ارزیابی‌های داخلی‌اش ترغیب خواهد کرد.

Anthropic همچنین گفت عامل‌های هوش مصنوعی داخلی‌اش را به «زیرساختی با مدیریت متمرکز و مهار قوی» منتقل خواهد کرد و استفاده از دسته‌بندهای ایمنی را برای نظارت بر این عامل‌ها افزایش می‌دهد.