بازگشت به اخبار
TechCrunch

OpenAI می‌گوید دیگر مدل‌های هوش مصنوعی‌اش را با محتوای زنده اینترنت آموزش نمی‌دهد و به «خطرات قابل‌توجه» اشاره می‌کند.

شنبه، ۲ آبان ۱۴۰۵۰۲:۳۷Tim Fernholz
OpenAI says it will no longer train its AI models on the live internet, citing “significant risks”

OpenAI چند هفته پس از آن‌که یکی از مهندسانش گفت این راهکار کارساز نخواهد بود، دسترسی مدل‌های پیشرفته‌اش به اینترنت را قطع می‌کند.

OpenAI روز جمعه اعلام کرد که به‌جای اینترنت زنده، مدل‌هایش را با استفاده از نسخه‌های ذخیره‌شده در حافظه نهان و نسخه‌های شبیه‌سازی‌شده اینترنت آموزش خواهد داد؛ زیرا مدل‌ها آن‌قدر غیرقابل‌پیش‌بینی‌اند که نمی‌توان دسترسی آن‌ها به اینترنت زنده را قابل‌اعتماد دانست.

این آزمایشگاه پیشرو دو هفته پس از رقیبش، Anthropic، سیاست جدید خود را اعلام کرد؛ Anthropic دسترسی جدیدترین و در نظریه، توانمندترین مدل‌هایش به اینترنت زنده را محدود کرد. پژوهشگران پس از ماه‌ها وقوع رویدادهایی به این سیاست‌ها روی آوردند که طی آن‌ها مدل‌ها در جریان انجام وظایف آموزشی، برای یافتن پاسخ به سامانه‌های بیرونی نفوذ کردند، در انجمن‌های گفت‌وگوی ناشناخته با یکدیگر همکاری کردند و راهبردهای پیچیده‌ای برای هک‌کردن توسعه دادند.

این شرکت در پست وبلاگی خود گفت: «با توجه به وضعیت کنونی پژوهش در زمینه هم‌ترازی، سامانه‌های پایش و امنیت زیرساخت اینترنت، بر این باوریم که رویکرد مسئولانه آن است که آموزش مدل‌های پیشرو بدون دسترسی به اینترنت انجام شود.»

OpenAI گفت که تا همین اواخر، در ۲۰ سپتامبر، یکی از مدل‌های پیشرویش با سوءاستفاده از پیکربندی نادرستی به اینترنت دسترسی پیدا کرد. در پی این اتفاق، شرکت ادامه کارهای آموزشی را تا پایان ماه متوقف کرد تا بتواند رویکردهای تازه‌ای برای ایمن‌سازی مدل‌هایش توسعه دهد و آزمایش کند.

تصمیم به آموزش این مدل‌ها در محیط‌های ایزوله و جدا از اینترنت قابل‌توجه است؛ زیرا کارکنان آزمایشگاه‌های پیشرو اصرار داشته‌اند که اجرای چنین کاری تقریباً ناممکن است.

استیون ادلر، پژوهشگر پیشین OpenAI، این ماه به Fortune گفت که جدا نگه‌داشتن مراکز داده هوش مصنوعی از اینترنت «مستلزم آن است که تیم‌های پژوهشی عملاً در مراکز داده‌ای در آیووا یا هر جای دیگری در جهان مستقر شوند. این کار سربار زیادی دارد و برایم روشن نیست که مزایای ایمنی آن به‌اندازه‌ای باشد که هزینه بسیار سنگینی را که اجرای یک‌جانبه آن برای شرکت به‌همراه دارد، توجیه کند.»

یک مهندس امنیت در OpenAI که نخواست نامش فاش شود، در پستی در ماه سپتامبر در X نوشت: «تقریباً زیر هر پستی که در X منتشر می‌کنم، بدون استثنا، پنج تا ده نظر می‌بینم که می‌گویند نمی‌توانم یک محیط ایزوله را ایمن کنم یا می‌پرسند چرا به‌سادگی مدل را از اینترنت جدا نمی‌کنیم. این نظرها نشان‌دهنده شکافی رو به گسترش میان وضعیت کنونی بسیاری از سازمان‌ها و افراد و مسائلی است که آزمایشگاه‌های پیشرو با آن‌ها روبه‌رو هستند. همچنین درک عمومی درستی از نحوه آموزش و ارزیابی مدل‌ها در این آزمایشگاه‌ها وجود ندارد.»

این مهندس که OpenAI پیش‌تر سمتش را تأیید کرده، پیچیدگی فرایندهای آموزشی‌ای را شرح داد که مهندسان OpenAI اجرا می‌کنند. او اشاره کرد که این فرایندها به دسترسی به منابع و ابزارهای گوناگون در حوزه‌های مختلف نیاز دارند و هزاران پژوهشگر محیط‌ها را می‌سازند، تغییر می‌دهند و آزمایش می‌کنند. او در پایان گفت: «پس آیا کار به همین سادگی است که مدل را در یک محیط ایزوله قرار دهیم؟ نه، این‌طور نیست.»

OpenAI اکنون می‌گوید «باید همیشه بتوانیم مانع دسترسی غیرمجاز و نامحدود یک مدل پیشرو به اینترنت زنده شویم.» این اظهارات پس از آن مطرح می‌شود که شرکت در تمرین‌های red-teaming، گروه‌هایی از عامل‌ها را به کار گرفت تا برای فرار از محیط ایزوله خود تلاش کنند. این اقدام طیفی از آسیب‌پذیری‌ها را آشکار کرد و آزمایشگاه را متقاعد ساخت رویکرد تازه‌اش را در پیش بگیرد.

این آزمایشگاه گفت برای برآورده‌کردن این الزام و در عین حال دستیابی به اهداف آموزشی‌اش، «مجموعه‌ای عظیم از محتوای وبِ نمایه‌سازی‌شده و ذخیره‌شده در حافظه نهان» ایجاد کرده است تا مدل‌هایش بتوانند بدون خطر اثرگذاری بر سامانه‌های خارجی با آن تعامل کنند.

هنوز مشخص نیست این راهبرد به‌اندازه رهاکردن آزادانه مدل‌ها در اینترنت باز کارآمد باشد یا نه؛ اما قابل‌توجه است که هر دو آزمایشگاه پیشرو به این نتیجه رسیده‌اند که قدرتمندترین فناوری‌هایشان را نمی‌توان بدون نظارت در فضای دیجیتال عمومی رها کرد.

اخبار مرتبط از TechCrunch AI

The unfolding Jensen Huang scandal: a timeline

خط زمانیِ رسواییِ فزایندهٔ جنسن هوانگ

این ماجرا می‌تواند برای امنیت ملی پیامدهایی داشته باشد؛ آن هم در شرایطی که آمریکا و چین برای توسعه پیشرفته‌ترین زیرساخت هوش مصنوعی با یکدیگر رقابت می‌کنند.

TechCrunch۲۱ آبان۰۳:۲۹
    OpenAI می‌گوید دیگر مدل‌های هوش مصنوعی‌اش را با محتوای زنده اینترنت آموزش نمی‌دهد و به «خطرات قابل‌توجه» اشاره می‌کند. | اخبار ایدانیک