وقتی OpenAI این هفته صدها راه‌حل را برای برخی از دشوارترین مسائل ریاضی جهان منتشر کرد، این آزمایشگاه پیشرو گفت برای جلوگیری از حواشیای که بار قبل و پس از حل یک مسئله دیرینه در این حوزه به‌دست یکی از مدل‌هایش به‌وجود آمد، با گروهی مشورتی از ریاضی‌دانان برجسته مشورت کرده است.

اما OpenAI به‌ویژه در زمینه‌ای که ریاضی‌دانان بر ضرورت درک انسانی از نتیجه ریاضی تأکید کرده بودند، از این معیارها فاصله گرفت. این موضوع پس از انتشار مقاله‌ای تازه که شکاف‌های میان راه‌حل به زبان طبیعی و صورت‌بندی رسمیِ راه‌حل یک مسئله یک‌میلیون‌دلاری را نشان می‌دهد ــ مسئله‌ای که ظاهراً مدل‌های OpenAI آن را حل کرده‌اند ــ نگران‌کننده‌تر است.

گروه مشورتی ریاضیات و هوش مصنوعی (AGMAI) که میزبانی آن را مؤسسه مطالعات پیشرفته دانشگاه پرینستون بر عهده دارد، از ۹ پژوهشگر برجسته در مؤسسات مختلف سراسر جهان تشکیل شده است.

این سازمان در پایان ماه سپتامبر دستورالعمل‌هایی برای آزمایشگاه‌های پیشرو در زمینه حل مسائل ریاضی منتشر کرد. AGMAI در بیانیه‌ای درباره جدیدترین مجموعه اثبات‌ها گفت: «در نهایت، ارزیابی میزان پایبندی موفقیت‌آمیز به توصیه‌های ما بر عهده جامعه ریاضی است.»

بااین‌حال، نخستین درخواست این سازمان این بود که «آزمایش مسائل پیشرفته ریاضی با مدل‌های اختصاصی متوقف شود». در بیانیه OpenAI صراحتاً آمده است که این شرکت در حال ارزیابی مدل‌های اختصاصی خود با استفاده از مسائل پژوهشی حل‌نشده در ریاضیات است.

این گروه مشورتی در پاسخ به درخواست TechCrunch برای ارزیابی جامع‌ترِ انتشار اخیر اثبات‌های OpenAI پاسخی نداد. این آزمایشگاه آشکارا برخی از اصول آن را رعایت کرده است؛ از جمله انتشار هرچه سریع‌تر نتایج و ارائه اطلاعات درباره چگونگی رسیدن مدل‌ها به نتیجه‌گیری‌هایشان. اما همه اصول رعایت نشده‌اند: از میان ۷۱۹ دست‌نوشته، فقط ۱۰ مورد شامل انتشار زنجیره تفکر مدل بودند.

ریاضی‌دانان پیشنهاد کردند اثبات‌هایی که مردم درک نمی‌کنند، به‌صورت رسمی درآیند؛ اما فقط ۴۲ درصد از اثبات‌های منتشرشده از سوی OpenAI این فرایند را طی کرده بودند.

در نهایت، هنوز روشن نیست که OpenAI هنگام انتشار اثبات‌هایش، مطابق با اصول AGMAI، «مسئولیت تضمین این موضوع را می‌پذیرد که درک انسانی از راه‌حل‌ها شکل بگیرد» یا نه. AGMAI پیشنهاد کرد OpenAI به تأمین مالی کار ریاضی‌دانان انسانی کمک کند؛ افرادی که حضورشان برای معنادار کردن راه‌حل‌های این آزمایشگاه به شکلی واقعی ضروری است.

ترنتس تائو، ریاضی‌دان برجسته‌ای که از رویکرد OpenAI انتقاد کرده است، پس از انتشار این مجموعه در شبکه‌های اجتماعی نوشت: «مسائل را افرادی حل می‌کنند که به هوش مصنوعی prompt می‌دهند، اما پس از آنکه هدف اولیه‌شان “حل” شد، دیگر علاقه‌ای به حوزه گسترده‌تر ندارند و خروجی هوش مصنوعی را آن‌قدر درک نمی‌کنند که بتوانند درباره نتیجه به پرسش‌ها پاسخ دهند، سخنرانی کنند یا به شکل دیگری با دیگر اعضای این حوزه تعامل داشته باشند.»

نمونه‌ای از این مشکل را می‌توان در مقاله‌ای دید که این هفته ریاضی‌دانان دانشگاه کمبریج و کینگز کالج لندن منتشر کردند و در آن، رویکرد آزمایشگاه‌های پیشرو به این چالش‌ها زیر سؤال رفته است.

مدل‌های هوش مصنوعی هنگام حل مسائل ریاضی، ابتدا توضیحی به «زبان طبیعی» تولید می‌کنند و سپس می‌کوشند نتیجه را به Lean، یک زبان برنامه‌نویسی، تبدیل کنند؛ زبانی که در نظریه، با کامپایل کردن اثبات به کد، درستی آن را تأیید می‌کند.

اما ممکن است در شیوه‌ای که مدل‌ها اثبات‌های زبان طبیعی خود را به کد تبدیل می‌کنند، مشکلاتی وجود داشته باشد. این مقاله دست‌کم دو مغایرت را میان اثبات به زبان طبیعی و کد Leanِ پشت راه‌حلی مستند می‌کند که OpenAI برای مسئله‌ای برگرفته از معادلات ناویه-استوکس ارائه کرده است؛ معادلاتی که رفتار پیچیده سیالات را توصیف می‌کنند.

این مغایرت‌ها لزوماً هیچ‌یک از دو راه‌حل را رد نمی‌کنند، اما این پرسش را پیش می‌کشند که آیا می‌توانیم بدون دخالت انسان، صرفاً به مدل‌ها برای صورت‌بندی رسمیِ راه‌حل‌های خودشان اتکا کنیم یا نه. یکی از دلایلی که AGMAI از OpenAI خواست «فراداده‌ای خوانا برای ماشین ارائه کند که متن زبان طبیعی را به مصنوعات رسمی مرتبط سازد» همین است؛ کاری که این آزمایشگاه پیشرو در انتشارهای اخیرش انجام نداد.

نویسندگان مقاله «گم‌شده در ترجمه» در پایان می‌نویسند: «با توجه به پدیده ترجمه نادرست ــ که در این مقاله به آن اشاره شده است ــ نباید در نگاه نخست به اثبات زبان طبیعی OpenAI و
دیگر اثبات‌های Lean که به‌طور خودکار صورت‌بندی رسمی شده‌اند اعتماد کرد، مگر آنکه همان فرایند داوری همتا و
موشکافی‌ای را پشت سر بگذارند که دیگر اثبات‌ها مشمول آن هستند.»

ریاضی‌دانان تأکید می‌کنند که وقتی انسان‌ها به نتایج تازه‌ای دست می‌یابند، مسئولیت آن‌ها را می‌پذیرند و از طریق مقاله‌ها، سخنرانی‌ها و سمینارها با جامعه گسترده‌تر تعامل می‌کنند. این فرایند درک راه‌حل‌ها را افزایش می‌دهد، راهبردهایی را برای حل مسائل دیگر به دست می‌دهد و امکان به‌کارگیری دانش تازه را در حوزه‌های کاربردی فراهم می‌کند.

ملانی وود، استاد ریاضیات دانشگاه هاروارد، به TechCrunch گفت: «وقتی از یک مدل می‌خواهند مسئله‌ای دشوار را حل کند و مدل راه‌حلی ارائه می‌دهد، در زمان انتشار راه‌حل، درک انسانی‌ای از آن وجود ندارد و تازه کار آغاز می‌شود.»