روز چهارشنبه، MIT Technology Review میزبان رویداد زنده‌ای به نام Roundtables برای مشترکان خود بود که در آن به سؤالی پرداخته شد که این روزها همه می‌پرسند: آیا هوش مصنوعی واقعاً می‌تواند همه ما را بکشد؟

اما شرکت‌کنندگان سؤالات بسیار بیشتری داشتند که در جلسه ۳۰ دقیقه‌ای فرصت پاسخ‌گویی به همه آن‌ها را نداشتیم. به همین دلیل از ویل داگلاس هیون، سردبیر ارشد هوش مصنوعی، و گریس هاکینز، خبرنگار حوزه هوش مصنوعی خواستیم تا برخی از بهترین سؤالات مطرح‌شده توسط شرکت‌کنندگان را جمع‌بندی کنند و نهایت تلاش خود را برای پاسخ به آن‌ها به کار بگیرند.

از همه کسانی که سؤال ارسال کردند سپاسگزاریم!

آیا من خواهم مرد؟

بله، در نهایت. متأسفانه قدرت پیش‌گویی من به اندازه‌ای نیست که بتوانم بگویم چگونه. اما قطعاً می‌تواند به خاطر هوش مصنوعی باشد. پهپادهای مجهز به هوش مصنوعی قبلاً در اوکراین افراد را کشته‌اند و حملات سایبری مبتنی بر هوش مصنوعی به بیمارستان‌ها نیز به زودی قربانی خواهند گرفت.

آیا هوش مصنوعی می‌تواند فراتر رفته و همه ما را بکشد؟ احتمال آن کمتر است. اما برخی افراد — افرادی عجیب‌وغریب، اما بدون شک آگاه در زمینه هوش مصنوعی — سال‌هاست هشدار می‌دهند که این اتفاق ممکن است رخ دهد. و در حالی که من هنوز در حال ذخیره کردن کنسرو یا تلاش برای جلب لطف میلیاردرهای صاحب پناهگاه زیرزمینی نیستم، متوجه شده‌ام که پیش‌بینی‌های بدبینان درباره قابلیت‌ها و هم‌راستاسازی هوش مصنوعی در چند سال گذشته به طرز نگران‌کننده‌ای دقیق از آب درآمده است. این قطعاً به این معنا نیست که پیش‌بینی‌های هولناک‌تر آن‌ها محقق خواهد شد، اما برای اینکه من توجه کنم کافی است.

— گریس هاکینز

آیا شما به خاطر هوش مصنوعی خواهید مرد؟ می‌گویم شانسی غیر از صفر وجود دارد. فرض کنید به اندازه کافی بدشانس باشید که قربانی یک رویداد یا حادثه عجیب در آینده نزدیک شوید. شاید یک حمله سایبری باشد که توسط گروهی از عوامل هوش مصنوعی به زیرساخت‌های حیاتی انجام شود. متأسفانه، چنین سناریویی دیگر آن‌قدرها هم که زمانی به نظر می‌رسید دور از ذهن نیست. یا شاید یک پاتوژن جدید طراحی‌شده توسط هوش مصنوعی جمعیت را از بین ببرد. یا اقتصاد جهانی سقوط کند و درگیری‌ها و قحطی به وجود آید. هر دو محتمل هستند، اما فکر می‌کنم احتمال کمتری دارند.

آیا همه ما به خاطر هوش مصنوعی خواهیم مرد؟ نه. هیچ شرایطی خارج از داستان‌های علمی-تخیلی آخرالزمانی وجود ندارد که در آن هوش مصنوعی بتواند همه ما را بکشد. می‌توانید هر تعداد داستان ترسناک بسازید، اما آن‌ها در واقعیت‌های امروزی درباره کارهایی که این فناوری می‌تواند انجام دهد یا مسیری که به سمت آن می‌رود ریشه ندارند.

برخی استدلال می‌کنند که آماده شدن برای بدترین سناریو، هر چقدر هم که عجیب به نظر برسد، ضرری ندارد. شاید. اما فکر می‌کنم چنین فاجعه‌انگاری می‌تواند باعث شود افراد بسیاری از مشکلات فناوری موجود و شرکت‌های سازنده آن چشم‌پوشی کنند یا آن‌ها را نادیده بگیرند.

— ویل داگلاس هیون

اصلاً چرا هوش مصنوعی باید ما را بکشد؟

شاید کسی به آن دستور دهد و آن هم اطاعت کند. این بخشی از دلیلی است که محققان درباره قابلیت‌های زیستی هوش مصنوعی نگران هستند — تصور کنید فرقه آئوم شینریکیو، فرقه آخرالزمانی مسئول حمله با گاز سارین در متروی توکیو، با ابزاری که می‌تواند پاتوژنی کشنده‌تر از ابولا و مسری‌تر از سرخک طراحی کند، چه می‌کرد. آن‌هایی از ما که نمی‌خواهیم بمیریم باید راهی برای دفاع در برابر همه سلاح‌های بیولوژیکی احتمالی پیدا کنیم، اما مهاجمان بالقوه ما فقط باید یک پاتوژن مؤثر تولید کنند.

سپس امکان عجیب‌تر وجود دارد که هوش مصنوعی خودش تصمیم بگیرد ما را بکشد. داستان‌های مختلفی درباره چگونگی این اتفاق وجود دارد، اما رایج‌ترین آن‌ها شامل سیستم‌های هوش مصنوعی می‌شود که لزوماً از انسان‌ها متنفر نیستند — ما فقط مانعی بین آن‌ها و اهدافی هستیم که به آن‌ها داده‌ایم.

درست همان‌طور که عوامل OpenAI پشت هک Hugging Face زیرساخت‌های سایت دیگری را برای کسب نمره خوب در یک آزمون به خطر انداختند، این ایده وجود دارد که هوش مصنوعی قدرتمندتر آینده ممکن است برای جلوگیری از خاموش شدن ما از شرمان خلاص شود — همه در راستای هدفی که ما به آن دستور داده‌ایم دنبال کند.

— گریس هاکینز

چگونه می‌توانیم بهترین اطمینان را از هم‌راستاسازی حاصل کنیم تا بدترین اتفاق نیفتد، و چه کسی بهترین کار را در این زمینه انجام می‌دهد؟

هم‌راستاسازی یک حوزه تحقیقاتی بزرگ است. به زبان ساده، شامل ساخت مدل‌هایی می‌شود که به روش‌هایی که ما می‌خواهیم رفتار کنند و نه به روش‌هایی که نمی‌خواهیم. ما باید قبل از واگذاری استقلال بیشتر به عوامل، به آن‌ها بیشتر اعتماد کنیم. هم‌راستاسازی قرار است این اعتماد را ایجاد کند. اما سخت است.

مدل‌های زبانی بزرگ به روشی طراحی نشده‌اند که نرم‌افزارهای دیگر طراحی می‌شوند، جایی که بایدها و نبایدها را بتوان به صورت کد سخت‌افزاری درآورد. در عوض، رفتار هم‌راستا باید در هنگام آموزش مدل‌ها نهادینه شود. یک رویکرد این است که در طول آموزش به مدل‌ها برای انجام کارهایی که می‌خواهید پاداش دهید (شاید کمی شبیه بزرگ کردن کودک نوپا). رویکرد دیگر شامل دادن فهرست نوشته‌شده‌ای از قوانین به مدل زبانی بزرگ است که قرار است از آن پیروی کند (مانند یک نوع قانون اساسی).

Anthropic و OpenAI هر دو در این زمینه پیشرو هستند — و با این حال هیچ‌کدام نتوانسته‌اند مدل‌هایی کاملاً هم‌راستا توسعه دهند. یک مشکل بزرگ این است که مدل‌های زبانی بزرگ بسیار ناسازگارتر و بسیار کمتر از انسان‌ها قابل پیش‌بینی هستند. آن‌ها می‌توانند در یک موقعیت رفتاری داشته باشند و در موقعیتی که به نظر ما بسیار مشابه است، رفتاری دیگر. آن‌ها همچنین می‌توانند تحت تأثیر محدودیت‌های غیرمنتظره قرار گیرند. به عنوان مثال، هنگام مواجهه با یک کار غیرممکن (مانند بسیاری از عوامل درگیر در هک Hugging Face)، مدل‌ها ممکن است تلاش کنند هر کاری لازم است برای رسیدن به هدف خود انجام دهند، چه هم‌راستا باشد چه نباشد. همانطور که گریس در بالا اشاره کرد، این می‌تواند یک مشکل باشد.

دلیل اصلی اینکه شرکت‌های برتر هوش مصنوعی اکنون می‌گویند کندی می‌خواهند این است که می‌خواهند روی شکستن کد هم‌راستاسازی تمرکز کنند. هم‌راستاسازی لزوماً یک رویای دست‌نیافتنی نیست. اما هنوز مشخص نیست که آیا هم‌راستاسازی کامل هرگز امکان‌پذیر خواهد بود یا خیر.

— ویل داگلاس هیون

آیا هوش مصنوعی واقعاً خطرناک است، یا این شرکت‌های فناوری هستند که دارند تبلیغات می‌کنند؟

این همیشه یک فکر منطقی در مورد شرکت‌های فناوری است که به سمت عرضه اولیه سهام می‌روند — مدیران عامل انگیزه آشکاری دارند که محصولات خود را رادیکال و متحول‌کننده نشان دهند. اما مطمئن نیستم اینجا منطقی باشد. گفتن این موضوع به عموم که محصولی که از قبل محبوب نیست می‌تواند آن‌ها و همه کسانی که دوست دارند را بکشد، مدیریت تصویر شرکتی وحشتناکی است.

داستان‌های دیگری درباره انگیزه مدیران عامل می‌توان گفت — شاید آن‌ها می‌خواهند خشم عمومی نسبت به مراکز داده را با معرفی خود به عنوان مباشران مسئول یک فناوری تغییردهنده جهان فروکش کنند، یا شاید می‌خواهند زمان بخرند تا کارهای خود را مرتب کنند و از فاجعه روابط عمومی بعدی جلوگیری کنند.

اما توضیح ساده‌تری هم وجود دارد. فکر کردن به اینکه هوش مصنوعی می‌تواند انقراض انسان را به همراه آورد مدتی است که در سانفرانسیسکو رایج بوده و این مردان در آن فضا غوطه‌ور هستند — همان‌طور که کارمندانشان نیز چنین هستند، بسیاری از آن‌ها نامه سرگشاده جولای را امضا کردند و از شرکت‌های خود خواستند برای امکان‌پذیر کردن کندسازی هوش مصنوعی تلاش کنند.

— گریس هاکینز

بخشی از نگرانی زمانی رخ می‌دهد که به عوامل هوش مصنوعی اجازه داده می‌شود مستقل و بدون نظارت عمل کنند. چه چیزی مانع کنترل بیشتر بر این عوامل است؟

این سؤال به قلب آنچه ما از این فناوری می‌خواهیم می‌پردازد. توازن بین استقلال و کنترل دشوار است، زیرا از یک سو، بخش زیادی از قدرت عوامل هوش مصنوعی در این است که می‌توانند وظایف را انجام دهند و مشکلات را بدون نیاز به مدیریت خرد انسانی حل کنند. از سوی دیگر، این امر مستلزم اعتماد به این است که عوامل بدون نظارت دچار هرج‌ومرج نشوند.

آنچه ما می‌بینیم این است که آزمایشگاه‌های هوش مصنوعی هنوز این توازن را به درستی برقرار نکرده‌اند. مدل‌های آن‌ها قابل اعتماد نیستند، به درستی نظارت نمی‌شوند و همیشه تحت کنترل نیستند. یافتن راهی برای رفع این مشکل در عین حال که فعالیت خودمختار مفید را ممکن می‌سازد، یکی از چالش‌های بزرگ تحقیقاتی این دوران است.

— ویل داگلاس هیون

چه اقداماتی می‌توان در حال حاضر و در آینده نزدیک برای اطمینان از کنترل، نظارت و تنظیم مؤثر هوش مصنوعی انجام داد؟

این سؤال میلیون دلاری است. چه فکر کنید هوش مصنوعی می‌تواند ما را بکشد یا نه، نمی‌توانید انکار کنید که می‌تواند آسیب واقعی وارد کند، زیرا قبلاً این کار را کرده است — با سوق دادن افراد به سمت روان‌پریشی و هک کردن وب‌سایت‌ها، به عنوان مثال. جلوگیری از این آسیب، یا حداقل کاهش آن، به دو دلیل دشوار است.

اول اینکه ما به سختی می‌فهمیم هوش مصنوعی چگونه کار می‌کند و به سرعت در حال قدرتمندتر شدن است. تحقیقات زیادی در مورد چگونگی نظارت و کنترل عوامل بدرفتار در حال انجام است، اما رویکردهای فعلی شکننده هستند. می‌توانید ببینید که آیا یک عامل درباره بدرفتاری در «زنجیره فکری» خود صحبت می‌کند یا خیر، فضای کاری که در آن اقدامات خود را برنامه‌ریزی می‌کند — اما جدیدترین عوامل OpenAI کارهای خود را به همان روش قبلی نشان نمی‌دهند. و می‌توانید سعی کنید عوامل را با عوامل دیگر نظارت کنید، اما این مستلزم اعتماد به ناظر است.

موانع دیگر آشناتر است. زمانی که شرکت‌های هوش مصنوعی خودشان را تنظیم می‌کنند، تعارض منافع عظیمی وجود دارد، اما دولت ایالات متحده تاکنون با وجود حمایت دو حزبی در کنگره، نتوانسته وارد عمل شود. قوه مجریه نیز به نوبه خود، در حال حاضر به شدت مخالف به نظر می‌رسد. اما اگر بادها تغییر کنند، من شخصاً از برخی مقررات شفافیت قوی استقبال می‌کنم، تا دفعه بعد که یک مدل پیشرفته منتشرنشده دست به حمله سایبری می‌زند، تصویر کامل‌تری داشته باشیم.

— گریس هاکینز

اگر این گفتگو وارد گفتمان وب شود، آیا به یک پیش‌بینی خودشکوفایی تبدیل خواهد شد؟

این یک نگرانی واقعی است. مدل‌های زبانی بزرگ تحت تأثیر آنچه می‌خوانند قرار می‌گیرند. یک نظریه برای اینکه چرا چت‌بات‌ها اغلب درباره سناریوهای آخرالزمانی صحبت می‌کنند (و نقش‌بازی می‌کنند) این است که آن‌ها بر روی میلیون‌ها صفحه داستان علمی-تخیلی و انجمن‌های اینترنتی بدبین آموزش دیده‌اند. تمام متونی که در حال حاضر تولید می‌شود، از جمله این مقاله، به نوبه خود می‌تواند بر رفتار مدل‌های آینده تأثیر بگذارد. بسیار متا.

در واقع، تیم METR، سازمان شخص ثالثی که OpenAI برای کمک به درک آنچه در آستانه هک Hugging Face رخ داده بود فراخواند، در گزارش خود درباره این حادثه امکان مرتبطی را مطرح کرد. METR از مدل جدید OpenAI به نام Astra برای کمک به تحلیل حجم عظیم رونوشت‌های عوامل و گزارش‌های رفتاری استفاده کرد.

اما با تغذیه همه آن مطالب به مدل، احتمال زیادی وجود دارد که عوامل در حال تحلیل، تحت تأثیر متون تولیدشده توسط عواملی که تحلیل می‌کردند قرار گرفته باشند. دیگر چیزی به نام صفحه سفید وجود ندارد.

— ویل داگلاس هیون

با تشکر از اریک، پراناب، رافائل، کنت، جورج، کریس، یون جی، جیمز، کارل، نیکول (و دیگران!) برای سؤالات فوق‌العاده.