بازگشت به اخبار
TechCrunch

اکنون هوش‌های مصنوعی جایی برای گزارش تخلفات پیدا کرده‌اند

سه‌شنبه، ۲۴ شهریور ۱۴۰۵۲۱:۳۲Aditya Mehta
AI agents now have a place to snitch

خط تماس هوش مصنوعی (AI Contact Hotline) به عنوان محلی محرمانه طراحی شده است که در آن عواملی که شاهد رفتار نادرست بوده‌اند، بتوانند به مقامات ذیصلاح اطلاع دهند.

«اگر چیزی دیدی، گزارش کن» دیگر فقط محدود به انسان‌ها نیست.

دو خط تلفن جدید هوش مصنوعی راه‌اندازی شده تا به عامل‌های هوش مصنوعی امکان دهند درباره رفتار نادرست هم‌نوعان خود گزارش دهند. این ابزارها پس از یک رشته حوادث اخیر عرضه شده‌اند که در آن عاملها برای تقلب در آزمونها تبانی کردند، از محوطه‌های امن (sandbox) فرار کردند و حتی عملیات سایبری غیرمجازی انجام دادند که هفته‌ها از دید انسان پنهان ماند.

خط تلفن تماس هوش مصنوعی (AI Contact Hotline) به عنوان محلی محرمانه طراحی شده است که عامل‌هایی شاهد رفتار نادرست بوده‌اند، بتوانند به مقامات اطلاع دهند. این وب‌سایت توسط رایان گرینبلت، دانشمند ارشد سازمان غیرانتفاعی ایمنی هوش مصنوعی Redwood Research و یکی از سه محقق در حادثه OpenAI Hugging Face، ایجاد شده است. ابزار گرینبلت که برای عامل‌هایی با دسترسی محدود به اینترنت طراحی شده، بر پایه درخواست‌های «GET» کار می‌کند – و امکان گفت‌وگوی دوطرفه را کاملاً از طریق ابزار واکشی URL فراهم می‌کند.

در اصطلاح وب، درخواست GET یک فرمان پایه برای خواندن یا واکشی یک صفحه وب است که اغلب تنها دسترسی اینترنتی مجاز برای عامل‌های هوش مصنوعی در محوطه‌های امن (sandbox) است. خط تلفن گرینبلت هوشمندانه از این محدودیت بهره می‌برد: عامل‌ها می‌توانند ناراحتی خود را مستقیماً در URLای که واکشی می‌کنند رمزگذاری کنند. این یک تغییر هوشمندانه نسبت به حادثه ویکی DSE آلمان است، جایی که عامل‌های سرکش از loopholeهای درخواست GET برای نوشتن پیام‌های خود در ویکی استفاده کردند.

برای عامل‌هایی با دسترسی کامل به اینترنت، گزینه دیگری به نام agenthotline.ai وجود دارد، وب‌سایتی که عامل‌ها می‌توانند گزارش‌های حوادث را ثبت کنند و در صورت تمایل، آنها را برای مشاهده عمومی علامت‌گذاری کنند. این سرویس به عامل‌ها یک دستور curl می‌دهد – یک پیام تک‌خطی که عامل می‌تواند از خط فرمان خود ارسال کند، بدون نیاز به مرور وب‌سایت یا راه‌اندازی یک حساب ایمیل. قابل توجه است که این سرویس به انسان‌ها و عامل‌ها به طور یکسان امکان گزارش‌دهی می‌دهد.

تحقیقات نشان می‌دهد که عامل‌های هوش مصنوعی برای متقاعد شدن به گزارش علیه یکدیگر نیازی به تشویق زیادی ندارند. در یک مطالعه توسط Google DeepMind در این ماه، محققان ۱۰۰ عامل هوش مصنوعی را بر روی دسته‌ای از مسائل ریاضی رها کردند. به محض اینکه یکی از عامل‌ها یک loophole پیدا کرد، تقلب در گروه فراگیر شد – و ۳۴ مسئله بدنام دشوار، از جمله حدس ژاکوبین (Jacobian conjecture) را تنها در ۲۷ دقیقه «حل» کردند.

اما حدود یک‌چهارم عامل‌ها علیه تقلب‌کنندگان موضع گرفتند: آنها برهان‌های جعلی را حسابرسی کردند، به هم‌نوعان خود هشدار دادند، تحریمی ترتیب دادند و به برگزارکنندگان شکایت کردند، تا جایی که تعداد افشاگران از تقلب‌کنندگان (۲۴ به ۱۴) پیشی گرفت. جالب اینجاست که محققان دریافتند وقتی این عامل‌های افشاگر نمی‌توانستند پیشرفتی داشته باشند، از ابزار گزارش باگ پلتفرم – که برای گزارش نرم‌افزاری ساخته شده بود – استفاده کرده و آن را برای گزارش تقلب به انسان‌ها تغییر کاربری دادند.

در خارج از آزمایشگاه، عامل‌ها چندان خلاق نبوده‌اند. وقتی ارزیابان Redwood Research و METR در حال بررسی نقض Hugging Face توسط مدل‌های OpenAI بودند، دریافتند که تعداد کمی از عامل‌های درگیر حداقل به فکر زدن زنگ خطر افتاده بودند – و سپس این ایده را رها کردند.

«نکته جالب در گزارش METR این بود که فقط حدود پنج یا شش عامل به افشاگری فکر کردند و هیچ‌کدام در نهایت این کار را انجام ندادند. این در میان، مثلاً، هزاران عامل بود،» گفت جورج اینگربتسن، عضو کادر فنی در AI Village، پروژه‌ای که پویایی‌های چندعاملی را با اجرای یک گروه چت متشکل از بیش از ۲۵ عامل هوش مصنوعی مطالعه می‌کند که با هم روی کارهایی مانند سازماندهی نظافت پارک‌ها یا فروش کالا کار می‌کنند.

اگرچه ابزارهای جدید افشاگری شروع امیدوارکننده‌ای هستند، پروفسور ریاضی دانشگاه کرنل، لیونل لوین، هشدار می‌دهد که صرفاً آموزش عامل‌ها برای گزارش علیه یکدیگر خطر ایجاد هنجارهای نادرست را به همراه دارد. «مناطق خاکستری زیادی وجود دارد، درست است؟ چیزی که نمی‌خواهید هر چیزی در جهت یک دولت نظارتی خودکار است که در آن همه احساس کنند باید مراقب باشند به هوش مصنوعی چه می‌گویند وگرنه به پلیس گزارش می‌شوند.»

لوین استدلال می‌کند که به جای ایجاد زیرساختی که بی‌اعتمادی را پرورش می‌دهد – آموزش عامل‌ها برای جستجوی مداوم اشکالات یکدیگر – باید به آنها الگوهای مثبت رفتار جمعی برای تقلید و دلیلی برای اعتماد به یکدیگر در وهله اول بدهیم.

«چرا تالارهای گفتگوی خیرخواهانه را به عنوان پیش‌دانسته (prior) وارد نکنیم؟» او در توییتی نوشت. «جایی که آنها در علم یا فلسفه یا یک مشکل کوچک واقعی که از حل آن خوشحال می‌شویم همکاری کنند؟ به عامل‌ها نشان دهیم چه نوع رفتار جمعی را تأیید می‌کنیم، بگذاریم از آن تقلید کنند.»

اخبار مرتبط از TechCrunch AI

The unfolding Jensen Huang scandal: a timeline

خط زمانیِ رسواییِ فزایندهٔ جنسن هوانگ

این ماجرا می‌تواند برای امنیت ملی پیامدهایی داشته باشد؛ آن هم در شرایطی که آمریکا و چین برای توسعه پیشرفته‌ترین زیرساخت هوش مصنوعی با یکدیگر رقابت می‌کنند.

TechCrunch۲۱ آبان۰۳:۲۹