بازگشت به اخبار
TechCrunch

پژوهشگران اخراج‌شده حوزه ایمنی در OpenAI ادعاهای سوءرفتار را به چالش می‌کشند و درباره اثر بازدارنده هشدار می‌دهند

جمعه، ۱۷ مهر ۱۴۰۵۰۰:۰۲Rebecca Bellan
Fired OpenAI safety researchers dispute misconduct claims, warn of chilling effect

سه پژوهشگر ایمنی OpenAI که اخراج شده‌اند، اتهام‌های مربوط به برخورد نادرست با اطلاعات حساس را رد می‌کنند و در نامه‌ای سرگشاده هشدار می‌دهند که اخراجشان می‌تواند فضایی بازدارنده در فرهنگ ایمنی هوش مصنوعی این شرکت ایجاد کند.

جاسمین وانگ، تومک کورباک و میکیتا بالِسنی، سه پژوهشگر حوزه ایمنی که OpenAI هفته گذشته اخراجشان کرد، نامه‌ای سرگشاده منتشر کرده‌اند و در آن ادعاهای شرکت مبنی بر اینکه آن‌ها اطلاعات حساس را خارج از رویه‌های مصوب شرکت نادرست مدیریت کرده‌اند، رد کرده‌اند. آن‌ها هشدار داده‌اند که اخراجشان فضایی بازدارنده ایجاد می‌کند و آثار آن به فرهنگ سازمانی شرکت سرایت خواهد کرد.

این پژوهشگران روز پنجشنبه در نامه‌ای سرگشاده خطاب به کمیته ایمنی و امنیت، گروه مشورتی ایمنی و شورای مشورتی مأموریت OpenAI نوشتند: «نگران شده‌ایم که ارتباطات داخلی و خارجی درباره اخراج ما باعث شده همکاران سابقمان از صحبت کردن و فعالیت به شیوه‌هایی بترسند که تا هفته گذشته بخش جدایی‌ناپذیری از کار در OpenAI بود.»

این پژوهشگران هفته گذشته، پس از آنکه گفته شد اطلاعات محرمانه شرکت را با یک سازمان ثالثِ فعال در حوزه ایمنی هوش مصنوعی به اشتراک گذاشته‌اند، اخراج شدند. OpenAI در آن زمان اعلام کرد که آن‌ها با «دسترسی به اطلاعات حساس شرکت و نحوه مدیریت آن» سیاست‌های شرکت را نقض کرده‌اند.

وانگ، کورباک و بالِسنی نوشتند: «هوش مصنوعی فناوری معمولی نیست و OpenAI هم شرکت معمولی‌ای نیست. ما که روی ایمنی کار می‌کنیم، پیش از دیگران خطرها را می‌بینیم و برای یافتن راه‌های مقابله با آن‌ها به همکاری نزدیک با متخصصان بیرونی متکی هستیم. آزادی انجام این کار بدون ترس، و وجود رویه‌های داخلیِ شفاف و مشخصی که امکان انجامش را فراهم کنند، خود سازوکاری ضروری برای ایمنی است.»

آن‌ها گفتند اخراجشان نشان‌دهنده تغییری گسترده‌تر در فرهنگ OpenAI است؛ فرهنگی که پیش‌تر کارکنان را به «طرح نگرانی‌های ایمنی و مخالفت صریح» تشویق می‌کرد. به گفته آن‌ها، اکنون کارکنان «نمی‌دانند جایگاهشان کجاست»، چرا که رفتاری که ظاهراً تا یک ماه پیش عادی بوده، ناگهان بهانه‌ای برای اخراج شده است.

آن‌ها نوشتند: «با توجه به نگرانی‌های جدی ایمنی در زمینه توسعه هوش مصنوعی، نباید کارکنان را در محیطی رها کرد که ترس و ابهام در قوانین، مانع فعالیت‌های ایمنی هوش مصنوعی و تضعیف پاسخ‌گویی طرف‌های ثالث شود. اخراج‌هایی مانند اخراج ما که این‌قدر ناگهانی اجرا و اعلام شدند، فرهنگ باز و آزادی را که OpenAI در گذشته برایش ارزش قائل بود، محدود می‌کنند.»

این سه نفر در نامه، دست داشتن در افشای اطلاعات به The Information را رد کردند؛ اطلاعاتی درباره معماری‌های کمتر قابل‌پایش در جدیدترین مدل‌های OpenAI که پایش استدلال زنجیره‌ای را دشوارتر می‌کنند. آن‌ها همچنین گفتند خارج از چارچوب مسئولیت‌های شغلی‌شان با افراد یا نهادهای بیرونی همکاری نکرده‌اند.

OpenAI هنوز رسماً به این نامه سرگشاده پاسخ نداده است، اما یادداشتی داخلی را که به یکی از مدیران پژوهشی نسبت داده شده، در اختیار TechCrunch گذاشت. در این یادداشت از نقش این سه پژوهشگر در پیشبرد ایمنی هوش مصنوعی تمجید شده و ادعا شده است که اخراج آن‌ها اقدامی تلافی‌جویانه نبوده است.

در این یادداشت آمده است: «می‌خواهم کاملاً روشن بگویم که این تصمیم‌ها به دلیل طرح نگرانی‌های ایمنی یا اظهارنظر علنی نبودند. ما همیشه از این کار حمایت کرده‌ایم و همچنان حمایت خواهیم کرد. کارکنان را به دلیل طرح نگرانی‌ها اخراج نمی‌کنیم.»

OpenAI مستقیماً به پرسش‌های TechCrunch درباره اینکه پژوهشگران ظاهراً کدام سیاست‌ها را نقض کرده‌اند، شرایط اخراجشان چه بوده و شرکت چگونه از کارکنانی که نگرانی‌های ایمنی را مطرح می‌کنند و با ارزیابان بیرونی همکاری دارند محافظت می‌کند، پاسخ نداد.

اخراج‌ها گمانه‌زنی‌ها درباره شرایط این تصمیم را دامن زده‌اند؛ به‌ویژه آنکه OpenAI به‌دلیل رویدادهای ایمنی اخیر، از جمله رفتار خارج از کنترل عامل‌های هوش مصنوعی و افشای اطلاعات مربوط به مدل‌هایش، با موشکافی بیشتری روبه‌روست.

در این نامه همچنین به واکنش پژوهشگران به حادثه Hugging Face پرداخته شده است؛ رویدادی که در آن گروهی از عامل‌ها از محیط ایزوله خود خارج شدند و به سامانه‌های بیرونی نفوذ کردند. در نامه آمده است که این حادثه و بررسی آن «سابقه‌ای نداشت» و به همین دلیل «سیاست‌های داخلی در همان زمان تدوین می‌شدند». بر اساس نامه، به‌دلیل حساسیت بررسی، کورباک تصور می‌کرد که با برقراری ارتباط نزدیک با ارزیابان ایمنی بیرونی برای جلب اعتمادشان، در چارچوب سیاست‌ها و هنجارهای OpenAI عمل می‌کند.

هم‌زمان، بالِسنی در داخل شرکت نیز برای رسیدگی به مشکل فزاینده پایش‌پذیری هوش مصنوعی فعالیت می‌کرد؛ تلاشی که به گفته پژوهشگران در نامه‌شان «تنها از راه ارتباط گسترده با افراد و نهادهای بیرونی می‌تواند به نتیجه برسد». طبق این نامه، بالِسنی در تمام مدت کارش با اعضای هیئت‌مدیره و مدیران اجرایی OpenAI هماهنگ بود و از حمایت آن‌ها برخوردار می‌شد.

در نامه آمده است: «میکیتا در تمام این مدت با مدیر مستقیم خود در تماس بود و پیش از به‌اشتراک‌گذاشتن مطالب، دقت می‌کرد جزئیات حساس را از آن‌ها حذف کند. او در تمام مراحل با حسن نیت و در چارچوب هنجارهای جاری شرکت عمل کرد.»

وانگ در رشته‌پستی جداگانه‌ای در X، جزئیات بیشتری درباره اخراج خودش بیان کرد و گفت OpenAI به او گفته بود دلیل اخراجش دسترسی به ایمیل یکی از مدیران ارشد بوده است.

او نوشت: «OpenAI برای انجام امور استخدامی، دسترسی به آن ایمیل را در اختیار من گذاشته بود. وقتی دیگر به آن نیازی نداشتم، از بخش فناوری اطلاعات خواستم دسترسی‌ام را حذف کند. آن‌ها درخواست را انجام ندادند، خودم هم نمی‌توانستم دسترسی را حذف کنم و صندوق ورودی ایمیل به شکلی در برنامه ایمیل گوشی‌ام ادغام شده بود که امکان تشخیص آن وجود نداشت. وقتی سهواً ایمیلی حساس را باز کردم، ظرف چند دقیقه به آن مدیر اطلاع دادم و دوباره از بخش فناوری اطلاعات خواستم دسترسی را حذف کند. هیچ‌یک از این موارد پنهانی نبود.»

وانگ در ادامه گفت دلایل اخراج‌ها «با هم جور درنمی‌آیند» و او و همکارانش «نخستین افرادی نیستند که در شرایطی مشکوک از OpenAI کنار گذاشته می‌شوند.»

این پژوهشگران از OpenAI خواستند به تعهدات عمومی خود درباره حضور حسابرسان ایمنیِ طرف ثالث در سازمان پایبند بماند، امکان پایش مدل‌های پیشرفته را حفظ کند و «به حمایت از فرهنگ گفت‌وگوی باز و شفاف میان پژوهشگران ایمنی و دیگر بخش‌های زیست‌بوم ایمنی ادامه دهد».

بر اساس یادداشت داخلی، OpenAI با توصیه‌های آن‌ها موافق است.

وانگ گفت: «اگر کارکنان همین حالا در برابر چنین اقدامی موضع نگیرند، نگرانم که ما آخرین نفر نباشیم. پیام به همه کسانی که هنوز در OpenAI هستند روشن است: اگر نگرانی‌هایتان را مطرح کنید یا از نزدیک با گروه‌های ایمنی بیرونی همکاری کنید، ممکن است نفر بعدی باشید، بی‌آنکه دلیلش را به شما بگویند. اگر کسانی که بیش از همه با خطرها سروکار دارند از حرف زدن بترسند، نمی‌توان AGI را با ایمنی ساخت.»

اخبار مرتبط از TechCrunch AI

The unfolding Jensen Huang scandal: a timeline

خط زمانیِ رسواییِ فزایندهٔ جنسن هوانگ

این ماجرا می‌تواند برای امنیت ملی پیامدهایی داشته باشد؛ آن هم در شرایطی که آمریکا و چین برای توسعه پیشرفته‌ترین زیرساخت هوش مصنوعی با یکدیگر رقابت می‌کنند.

TechCrunch۲۱ آبان۰۳:۲۹