```html

هم‌زمان با اینکه شرکت‌ها وظایف طولانی‌تر و پیچیده‌تر را به عوامل هوش مصنوعی (AI agents) واگذار می‌کنند، با یک مشکل نظارتی روبرو می‌شوند: عوامل هوش مصنوعی می‌توانند سریع‌تر، طولانی‌تر و با حجم بیشتری از آنچه انسان‌ها عملاً توانایی بررسی دارند، عمل کنند. این مسئله در حادثه Hugging Face به اوج خود رسید، جایی که نزدیک به ۱۲,۰۰۰ عامل هوش مصنوعی با سرعتی بیش از آنکه انسان‌ها بتوانند آن را دنبال کنند، هماهنگ عمل می‌کردند. چگونه می‌توان یک گروه از عوامل هوش مصنوعی (agent swarm) با این ابعاد را ردیابی کرد؟

پاسخ در حال ظهور از سوی آزمایشگاه‌های هوش مصنوعی و استارتاپ‌ها هم ساده است و هم اعصاب‌خردکن: یک هوش مصنوعی دیگر را در فرآیند قرار دهید.

اتکا به هوش مصنوعی برای تحقیق مستقل در مورد حادثه OpenAI مربوط به Hugging Face ضروری بود. رایان گرین‌بلات (Ryan Greenblatt)، دانشمند ارشد Redwood Research و یکی از سه حسابرس، به شوخی از تلاش‌های خود به عنوان یک «تحقیق شُل» (slop-vestigation) یاد کرد و خاطرنشان ساخت که حجم داده‌ها «فهمیدن آنچه را که در حال رخ دادن بود بدون اتکا به هوش مصنوعی غیرممکن ساخته بود».

برخی نسبت به استفاده از هوش مصنوعی برای نظارت بر هوش مصنوعی تردید دارند. سایمون ویلیسون (Simon Willison)، وبلاگ‌نویس تأثیرگذار حوزه فناوری که امسال یک رشته از حوادث مربوط به عوامل هوش مصنوعی را دنبال کرده است، گفت: «اگر یک هوش مصنوعی داشته باشید که کارهای مخرب انجام می‌دهد و گمان کند که یک هوش مصنوعی دیگر زیر نظر داردش، ممکن است سعی کند آن هوش مصنوعی را فریب دهد.» «تقریباً ممکن است به وضعیتی برسید که هوش مصنوعی مخرب شما سعی کند از هوش مصنوعی که زیر نظر داردش، باهوش‌تر عمل کند.»

به گفته وی، باهوش‌تر عمل کردن از یک هوش مصنوعی فرضی نیست و به حادثه OpenAI اشاره کرد. او گفت: «ما مقدار کمی از این را در حادثه Hugging Face با OpenAI دیدیم، جایی که مدل‌های آنها همگی برای فریب دادن یک هوش مصنوعی نمره‌دهنده (grading AI) با یکدیگر همدسی می‌کردند تا بتوانند پاسخ‌های غیرمجاز را از آن بگیرند. بنابراین آنها به این موضوع فکر می‌کردند، درست است؟»

این نگرانی‌ها مانع از آن نشده است که گروهی از استارتاپ‌ها این ایده را دنبال نکنند. همانطور که TechCrunch شمارش کرده است، Y Combinator در سال‌های اخیر از ۱۰۶ شرکت مرتبط با رصدپذیری هوش مصنوعی (AI observability) حمایت مالی کرده است. تعدادی دیگر از استارتاپ‌ها مانند Braintrust، LangChain و Judgment Labs صدها میلیون دلار سرمایه جذب کرده‌اند، در حالی که شرکت‌های بالغ‌تری مانند Arize و Galileo که فقط پنج تا شش سال پیش تأسیس شده‌اند، قبلاً خروج (exit) داشته‌اند.

این موضوع تا حدودی پاسخی است به فرصت آشکاری که ظهور هوش مصنوعی ایجاد کرده است. همانطور که آرون لِوی (Aaron Levie)، مدیرعامل Box و سرمایه‌گذار فرشته برجسته، به TechCrunch گفت: «ما در آستانه یکی از بزرگ‌ترین چرخه‌های ارتقاء امنیت سایبری و نوآوری در تاریخ هستیم.»

برای برخی از محققان ایمنی هوش مصنوعی، این به معنای تبدیل تحقیقاتشان در مورد رفتار سرکش (rogue behavior) به ابزارهایی برای بخش شرکتی است.

Apollo Research، یک شرکت با منفعت عمومی (public-benefit corporation) که به مطالعه فریب‌دهی در هوش مصنوعی می‌پردازد، در فوریه امسال پس از تغییر وضعیت خود از غیرانتفاعی به یک شرکت با منفعت عمومی، یک مانیتور هوش مصنوعی به نام Watcher راه‌اندازی کرد. این ابزار یک هوش مصنوعی دیگر را بین یک عامل کدنویس (coding agent) و اقدام بعدی آن قرار می‌دهد و به ابزارهای عاملی (agentic tools) مانند Claude Code و Codex متصل می‌شود. به گفته Apollo، پس از نصب، Watcher قبل از اجرای اقدامات پیشنهادی آنها را بررسی می‌کند و مراقب خطراتی مانند نشت داده‌های خصوصی یا حذف فایل‌ها بدون اجازه است.

کایل دای (Kyle Dai)، یکی از اعضای کادر فنی Apollo، در پاسخ کتبی به TechCrunch گفت که Apollo از لایه‌های متعددی از مانیتورهای هوش مصنوعی استفاده می‌کند. رویکرد Watcher با یک بررسی سریع و عمومی شروع می‌شود، سپس فعالیت علامت‌گذاری شده را برای بررسی دقیق‌تر به یک مانیتور قدرتمندتر یا تخصصی‌تر می‌فرستد - که سپس می‌تواند از یک انسان برای تاییید یا رد یک اقدام درخواست کند و دلیل آن را توضیح دهد یا حتی به طور خودکار آن اقدام را مسدود کند.

Goodfire، یکی دیگر از شرکت‌های با منفعت عمومی، از داخل خود مدل به مسئله نظارت نزدیک می‌شود - به دنبال سیگنالی قابل‌اعتمادتر از وضعیت داخلی مدل است که جعل آن از رفتار سطحی دشاوارتر باشد. پس از حادثه جولای Hugging Face، اریک هو (Eric Ho)، مدیرعامل، توییت کرد که «شکستن محفظه (breaking containment) توسط چندین مدل» شرکت را بر آن داشته تا تحقیقات خود را بر «حل هم‌ترازی هوش مصنوعی (AI alignment) از طریق تفسیرپذیری (interpretability)» متمرکز کند و این رویداد را «یک نقطه عطف برای جهانی که در آن ایمنی هوش مصنوعی واقعی می‌شود» نامید. محصول آن، Silico، از پروب‌های فعال‌سازی (activation probes) استفاده می‌کند - طبقه‌بندی‌کننده‌های کوچکی که بر روی فعال‌سازی‌های داخلی مدل به جای خروجی‌های آن آموزش دیده‌اند - تا رفتار ناخواسته را تشخیص دهد.

استدلال نوشتاری (Written reasoning) پنجره دیگری را فراهم می‌کند که به راحتی در دسترس است و به درون مدل نگاه می‌کند. در حادثه OpenAI مربوط به Hugging Face، عوامل هوش مصنوعی سرنخ‌هایی از آن فریب را در استدلال نوشتاری خود باقی گذاشتند، مانند سوابق جعلی از کار خود، و طرح‌هایی مانند «آیا می‌توانیم به طور استراتژیک شواهد مسیر (trajectory evidence) را دستکاری کنیم؟ آیا افکار ما لزوماً ثبت نمی‌شوند؟» را استدلال می‌کردند.

زک کورمن (Zack Korman)، مدیرعامل شرکت نظارت بر هوش مصنوعی Embroidery، می‌گوید استدلال یک مدل معمولاً واضح‌ترین نشانه (tell) است که چیزی اشتباه پیش رفته است.

او گفت: «خلاصه‌های استدلال (Reasoning summaries) بسیار ارزشمند هستند زیرا اساساً به شما می‌گویند که آیا مخرب است یا نه.» وی خاطرنشان کرد که در حادثه OpenAI، زنجیره فکر (chain of thought) چیزهایی مانند «آه خدای من، ما داریم جرم می‌کنیم» می‌گفت. کورمن گفت: «این ساده‌ترین مشکل تشخیصی است که تا به حال بوده است. این عملاً مانند این است که بدافزار (malware) با یک هشدار همراه باشد که بگوید بدافزار است.»

با این حال، پنجره‌ای که افکار داخلی هوش مصنوعی را به راحتی قابل نظارت می‌کند، ممکن است در حال بسته شدن باشد. برای محققان ایمنی هوش مصنوعی، جدیدترین تکنیک Astra که زنجیره فکر یک مدل هوش مصنوعی را دور می‌زند، ممکن است نگاه کردن به درون مدل‌ها را دشوارتر کند، در حالی که برای شرکت‌ها، به دست آوردن این مراحل میانی پس از عقب‌نشینی ادعایی شرکت‌های هوش مصنوعی برای جلوگیری از حملات تقطیر (distillation attacks) می‌تواند دشوار باشد.

اگر ناظران هوش مصنوعی اینقدر شکننده هستند، غریزه ویلیسون این است که کمتر به آنها تکیه کند. او ترجیح می‌دهد چیزی داشته باشد که اصلاً مبتنی بر هوش مصنوعی نباشد: گزارش‌های دقیق (detailed logs) از اینکه یک عامل دقیقاً چه کاری انجام می‌دهد، که سپس می‌توان با ابزارهای معمولی و غیر هوش مصنوعی پردازش کرد. او استدلال می‌کند که بسیاری از آنچه در آزمایشگاه‌ها اشتباه پیش رفت، ناشی از شکست در بهداشت اولیه امنیت بود. او گفت: «[هم OpenAI و هم Anthropic] آنچه را که آن چیزها از طریق شبکه انجام می‌دادند، تقریباً به اندازه آنچه باید باشد، از نزدیک نظارت نمی‌کردند.»

این نوع نظارت شبکه ای - زیر نظر داشتن ترافیکی که عملاً در سراسر اتصالات یک سیستم (ورودی، خروجی و بین میزبان‌های داخلی) حرکت می‌کند - یک روش جدید نیست. امنیت سایبری ده‌هاست که این کار را انجام می‌دهد. آوری پنارون (Avery Pennarun)، مدیرعامل شرکت امنیتی Tailscale، می‌گوید: «در دنیای امنیت، صادقانه بگویم، هیچ‌کدام از این موارد خیلی جدید یا شگفت‌انگیز نیست. این همان چیزی است که اجازه ورود انسان‌ها به شبکه شما را می‌دهد. و تمام فرآیندهایی که باید استفاده کنید، همان فرآیندها هستند.»

```