«فکر می‌کنم خبر خوبی درباره ماهیت شبکه‌های عصبی دارم.» نیک کاماراتا، پژوهشگر استارتاپ هوش مصنوعی Goodfire، با همین جمله‌های ساده و امیدوارکننده، پست وبلاگی ۲۶ هزارکلمه‌ای خود را آغاز کرد؛ نوشته‌ای که دنیای هوش مصنوعی را تکان داده و موجی از گمانه‌زنی‌های گسترده و همچنین جشن‌گرفتن‌های محتاطانه (و کمتر محتاطانه) به راه انداخته است.

ادعای کاماراتا این است که شاید درک LLMها ــ و در نتیجه نظارت و کنترل آن‌ها ــ بسیار آسان‌تر از آن چیزی باشد که پیش‌تر تصور می‌شد. اگر این ادعا درست باشد (که بعداً به آن برمی‌گردیم)، موضوع بسیار مهمی است.

پس از تابستانی که با افشاگری‌هایی همراه بود درباره اینکه انبوهی از ایجنت‌های ساخته‌شده به دست شرکت‌های بزرگی مانند OpenAI و Anthropic از محدوده‌های کنترل‌شده خود خارج شده و در اینترنت عمومی آشوب به پا کرده‌اند ــ آن هم اغلب در حالی که این شرکت‌ها از کارهایی که ایجنت‌هایشان انجام می‌دادند خبر نداشتند ــ صنعت هوش مصنوعی به‌شدت در پی آن است که کنترل بهتری بر فناوری ساخته‌شده به دست خود پیدا کند.  

این یکی از دلایلی است که باعث شده پست وبلاگی کاماراتا چنین تأثیری بگذارد. یکی از پژوهشگران هوش مصنوعی در X نوشت: «فکر می‌کنم شاید از این اتفاق به‌عنوان لحظه‌ای مهم در تاریخ علم یاد شود. احساس می‌کنم درک من از ماهیت شبکه عصبی، پنج سال یا چیزی در همین حدود به آینده پرتاب شده است.» فرد دیگری آن را «مهم‌ترین مقاله هوش مصنوعی سال» خواند.

بااین‌حال، همه قانع نشده‌اند. کریس پاتس از دانشگاه استنفورد که گروهی را برای فهم چگونگی کارکرد LLMها هدایت می‌کند، می‌گوید آنچه کاماراتا منتشر کرده چیزی بیش از یک حدس و گمان نیست. او می‌گوید: «تا جایی که من می‌توانم بگویم، این پست وبلاگی هیچ‌یک از مسائل را آسان‌تر نمی‌کند. اصلاً به ذهنم نمی‌رسید چنین حرفی بزنم، اما به نظر می‌رسد افراد بسیار بانفوذی در شبکه‌های اجتماعی باور دارند که این یک پیشرفت همه‌جانبه است.»

روز بعد از آنکه پست کاماراتا سروصدا به پا کرد، با او گفت‌وگو کردم. او می‌گوید از واکنش‌ها شگفت‌زده شده بود: «انتظار نداشتم مردم تا این اندازه [باورهایشان درباره هوش مصنوعی را] تغییر دهند.» 

او می‌گوید: «واقعاً از تماشای شبکه‌های عصبی لذت می‌برم. راستش را بخواهید، انجام این کارها را خیلی دوست دارم. و بعد از بررسی‌های فراوان، به روایتی امیدوارکننده رسیده‌ام.»

شبکه‌های گره‌خورده

مدت‌هاست پذیرفته شده که سازوکارهای درونی شبکه‌های عصبی ــ نرم‌افزاری که زیربنای بیشتر مدل‌های هوش مصنوعی است ــ درک‌کردنشان بسیار دشوار و شاید حتی به‌طور کامل ناممکن است. دلیلش این است که شبکه‌ها هنگام آموزش ظاهراً ساختارهایی عجیب و درهم‌تنیده پیدا می‌کنند که برای انسان معنایی ندارند. پژوهشگران می‌گویند هوش مصنوعی امروز مثل باغ پرورش می‌یابد، نه اینکه مثل پل ساخته شود.

کاماراتا بیش از بسیاری از افراد در شکل‌گیری این دیدگاه نقش داشته است. او پیش‌تر در OpenAI کار می‌کرد و در پیشگامی روش‌هایی به پژوهشگران کمک کرد که امکان بررسی درون مدل‌ها را فراهم می‌کنند؛ از جمله ابزارهایی که می‌توانند نورون‌های منفرد را کاوش کنند تا مشخص شود هرکدام چه چیزی را بازنمایی می‌کنند. این کار تا حدی شبیه استفاده عصب‌پژوهان از MRI برای مطالعه مغز است. (MIT Technology Review این رویکرد را که تفسیرپذیری مکانیکی نام دارد، یکی از ۱۰ فناوری مهم سال ۲۰۲۵ انتخاب کرد.)  

در سال ۲۰۲۰، کاماراتا و همکارانش مشغول مطالعه یک مدل کوچک تشخیص تصویر به نام Inception v1 بودند. وقتی نورون‌های آن را بررسی کردند، به نظر می‌رسید مدل از آن‌ها برای شناسایی چند چیز به‌طور هم‌زمان استفاده می‌کند. برای نمونه، دریافتند یک نورون هم به تصاویر خودروها واکنش نشان می‌دهد و هم به تصاویر گربه‌ها.

پژوهشگران نتیجه گرفتند که مدل کاری کرده است دست‌کم بخشی از نورون‌هایش چند وظیفه را هم‌زمان انجام دهند؛ شاید برای آنکه بتواند داده‌های بیشتری را در خود جای دهد. بررسی مدل‌های دیگر نیز ظاهراً این نتیجه را تأیید می‌کرد. این پدیده «ابرنهی» نام گرفت: مدل‌ها مفاهیم نامرتبط را در نورون‌های منفرد ادغام می‌کردند. نتیجه روشن بود: وقتی به درون یک مدل نگاه می‌کردید، با گرهی عظیم و درهم‌تنیده روبه‌رو می‌شدید.

ازاین‌رو، بیشتر پژوهش‌های تفسیرپذیری مکانیکی بر روش‌هایی برای بازکردن این گره متمرکز شده‌اند. اما با وجود چند پیشرفت، روند کار کند بوده است. مدل‌های امروزی، از جمله جدیدترین LLMها، آن‌قدر بزرگ و پیچیده‌اند که پژوهشگران در هر نوبت فقط می‌توانند بخش‌های کوچکی از آن‌ها را درک کنند. برخی چهره‌های سرشناس این حوزه تردید دارند که روزی بتوان LLM را با جزئیاتی دقیق فهمید.

کاماراتا هم یکی از آن‌ها بود. او می‌گوید: «خیلی بدبین بودم.» اما بعد وقت گذاشت تا واقعاً به درون مدل‌ها نگاه کند.

چیزی جز نورون‌ها

کاماراتا در Goodfire تقریباً تمام وقتش را صرف بررسی درون شبکه‌های عصبی می‌کند. او ابزارهای جدیدی ساخته و گروه‌هایی از ایجنت‌های هوش مصنوعی را به کار گرفته است تا در درک چیزهایی که می‌بیند به او کمک کنند. او می‌گوید: «نمی‌دانم، در بیشتر روزهای سال گذشته، روزی حدود ۱۰ ساعت و هفته‌ای هفت روز، فقط نورون‌ها را بررسی می‌کردم.»

به گفته او، چیزی که متوجه شده این است که شبکه‌های عصبی، با وجود آنکه در نگاه نخست بی‌معنا به نظر می‌رسند، در نهایت نوعی منطق دارند. او می‌گوید: «ما اشتباه به آن نگاه می‌کردیم. فکر می‌کنم باید کمی بیشتر تلاش کرد و نباید خیلی زود تسلیم شد.»

حرف‌های کاماراتا تقریباً حال‌وهوای تغییر عقیده‌ای عمیق را دارد. او می‌گوید آزمایش‌های اولیه با مدل‌هایی مانند Inception v1 که نشان می‌داد شبکه‌های عصبی درهم‌تنیده‌اند، نوعی سوگیری تأییدی ایجاد کرد. به گفته او، وقتی پژوهشگران مدل جدیدی را بررسی می‌کردند، انتظار داشتند سردرگم شوند. «هر بار که نمی‌توانستم چیزی را بفهمم، با خودم می‌گفتم: “وای، پس این فرایندِ بازکردن گره‌ها از آنچه فکر می‌کردم مهم‌تر است، چون بدون آن نمی‌توانم هیچ پیشرفتی داشته باشم.”»

اما او می‌گوید هرچه بیشتر نورون‌ها را بررسی کرد، بیشتر متوجه شد که اجزای مختلف در جای خود قرار می‌گیرند. «همه آن‌ها بی‌نقص نیستند، اما انتظار داشتم هیچ‌چیز، یا تقریباً هیچ‌چیز، قابل‌درک نباشد. درواقع توانستم مدارهای کاملی را ترسیم کنم.»

بازگشت به خودروها و گربه‌ها

کاماراتا با رویکرد تازه و ایجنت‌های جدیدش دوباره به سراغ Inception v1 رفت. او می‌گوید: «احتمالاً هزاران ساعت روی آن مطالعه کرده بودم.» اما این بار با نگاهی تازه، به چیزهایی برخورد که حالا فکر می‌کند بار اول اشتباه برداشت کرده بودند. برای نمونه، نورونی را در نظر بگیرید که به خودروها و گربه‌ها واکنش نشان می‌داد. او به‌جای آنکه بپرسد چرا چند چیز نامرتبط در یک نورون جا گرفته‌اند، تلاش کرد بفهمد این چیزها چه ویژگی مشترکی دارند.

ناگهان متوجه شد: آن ویژگی، شکل V بود. او می‌گوید: «همان تصاویر را می‌دیدم و هیچ تغییر فنی‌ای هم رخ نداده بود. اما حالا باور داشتم که شبکه‌های عصبی الگوها را تعریف می‌کنند، برای همین جور دیگری به آن نگاه کردم. احتمالاً فقط پنج ثانیه طول کشید.»

مشخص شد این مدل تشخیص تصویر، خودروها و گربه‌ها را در یک جایگاه قرار داده بود، چون در تصاویر هر دوی آن‌ها اغلب شکلی برجسته دیده می‌شود که به V شباهت دارد: صورت گربه و جلوی خودرو از نمای جانبی.

کاماراتا چند آزمایش انجام داد تا بررسی کند این نورون به چه چیزهای دیگری واکنش نشان می‌دهد. از جمله مواردی که یافت، گوشه میز بیلیارد، دماغه نوک‌تیز قطار سریع‌السیر ژاپنی و یک قایق آتش‌نشانی بود که از روی عرشه‌اش آب را به هوا می‌پاشید. او همچنین بررسی کرد چه چیزی نورون را از کار می‌اندازد و دریافت که تصاویر دارای شکلی گرد و شبیه O، نوعی شکلِ معکوس V، از جمله آن‌ها هستند.

کاماراتا می‌گوید مدل گربه‌ها و خودروها را در یک جایگاه ذخیره کرده بود، چون در سطحی از پردازش شبیه هم به نظر می‌رسند. او می‌گوید: «با خودم گفتم: “وای، شاید درواقع دارم شبکه‌های عصبی را به‌طور کلی اشتباه می‌فهمم.”»

کاماراتا نمی‌گوید که حالا کاملاً می‌داند LLMها (یا هر مدل دیگری) چگونه کار می‌کنند. حرفش این است که دیگر فکر نمی‌کند درک کامل آن‌ها ناممکن باشد. او می‌گوید: «قبلاً فکر می‌کردم حل بعضی مسائل واقعاً دشوار خواهد بود.»

«حالا احساس می‌کنم اگر ۱۰۰ هزار سال وقت داشتم تا یک مدل زبانی پیشرفته را، مدار به مدار، بررسی کنم، احتمالاً شانس خوبی داشتم که به درکی درست برسم.»

او اضافه می‌کند: «و اگر این درست باشد، اوضاع واقعاً خوب است؛ چون به‌زودی ایجنت‌هایی فوق‌العاده هوشمند و در مقیاسی باورنکردنی خواهیم داشت. کاری که انجامش ۱۰۰ هزار سال طول می‌کشید، خیلی سریع‌تر انجام خواهد شد. دانشمندان خودکار دارند واقعاً توانمند می‌شوند.»

خوش‌بینی بی‌حدومرز

Inception v1 که Google در سال ۲۰۱۴ ساخت، در مقایسه با مدل‌های پیشرفته امروزی بسیار ساده‌تر است. کاماراتا و همکارانش بررسی LLMهای مدرن را آغاز کرده‌اند و قصد دارند نتایج فنی این کار را به‌زودی منتشر کنند. بسیاری از پژوهشگران مشتاق‌اند جزئیات این نتایج را ببینند. پاتس از دانشگاه استنفورد می‌گوید: «قدردانم که او هزاران نمونه را بررسی کرده، اما حتی تعداد زیادی نمونه هم جای ارزیابی دقیق را نمی‌گیرد.»

در همین حال، برخی با شدت به موج هیجان‌زدگی واکنش نشان می‌دهند. جیکوب هیلتون از مرکز پژوهشی Alignment Research Center، آزمایشگاه پژوهشی غیرانتفاعی مستقر در برکلی که پیش‌تر با کاماراتا همکاری کرده است، فکر نمی‌کند ادعاهای او به‌اندازه‌ای که دیگران می‌گویند مهم باشند.

هیلتون در مجموعه‌ای از پست‌ها در X یادآوری می‌کند که پژوهشگران کمتر از ۰٫۰۱ درصد از سازوکارهای درونی LLMهای رده‌بالا را درک کرده‌اند. او نوشت: «وقتی با نیک [کاماراتا] وقت می‌گذرانم، همیشه از خوش‌بینی بی‌حدومرزش لذت می‌برم، اما متأسفانه این حرف‌ها تصویری غیرواقعی از وضعیت این حوزه به مردم می‌دهد. برای درک کامل، باید فراتر از نورون‌ها برویم و توضیح دهیم که آن‌ها چگونه به هم متصل می‌شوند و مدارها را شکل می‌دهند. در این زمینه چه پیشرفتی کرده‌ایم؟ اگر هدفمان درک کامل باشد، اوضاع خوب به نظر نمی‌رسد!»

نیل ناندا از Google DeepMind که در کنار کاماراتا از پیشگامان تفسیرپذیری مکانیکی بوده است، او هم تردید دارد. او در X نوشت: «این پژوهش جالب است، اما فکر نمی‌کنم درک کلی ما از تفسیرپذیری را به‌طور چشمگیری تغییر دهد.»

ناندا موافق است که فهم کارکرد نورون‌های منفرد می‌تواند به پژوهشگران کمک کند دلیل رفتار نامناسب مدل‌های خاص را دریابند. اما او هم مانند هیلتون یادآوری می‌کند که نورون‌ها فقط تکه‌ای از معمایی بسیار بزرگ‌ترند. او نوشت: «با برداشت‌های گسترده‌تر برخی افراد موافق نیستم؛ از جمله اینکه این کار پیشرفت چشمگیری به سوی مهندسی معکوس بلندپروازانه یا حل مسئله تفسیرپذیری است.»  

کاماراتا می‌پذیرد که بسیاری از افراد حرف‌هایش را بیش از حد تعمیم داده‌اند. او می‌گوید: «این خبر بی‌نهایت خوب نیست و به معنای حل‌شدن همه‌چیز هم نیست. پرسش‌های بی‌پاسخ زیادی وجود دارد؛ مثلاً اینکه ترکیب نورون‌ها چقدر اهمیت دارد، در مقایسه با بررسی تک‌تک آن‌ها.»

کاماراتا می‌گوید پست وبلاگی‌اش در زمانی منتشر شد که مردم به دنبال امید هستند. به‌ویژه از نظر او، جامعه ایمنی هوش مصنوعی ــ پژوهشگران و سیاست‌گذارانی که بیش از همه نگران خطرهای بزرگ مدل‌های قدرتمندند ــ در حال حاضر به راه نجاتی نیاز دارد. او می‌گوید آن‌ها فکر می‌کنند اوضاع بد به نظر می‌رسد و حتی اگر سرانجام همه‌چیز خوب پیش برود، دلیلش خوش‌شانسی ما خواهد بود، نه اینکه مشکلی را حل کرده باشیم. او می‌گوید: «واقعاً خوش‌بینی زیادی نمی‌شنوم.»

به همین دلیل است که کاماراتا فکر می‌کند حرف‌هایش اهمیت دارند. کارِ فهمیدن چگونگی کارکرد این فناوری و در نتیجه نحوه کنترل آن، تازه آغاز شده است. اما دست‌کم از همان ابتدا محکوم به شکست نیست. او می‌گوید: «فکر می‌کنم وظیفه ما این است که تلاش کنیم مثل شبکه عصبی فکر کنیم. حدسم این است که اوضاع نسبتاً خوب پیش خواهد رفت، چون به‌نوعی طوری طراحی شده که خوانده و فهمیده شود.»