Microsoft روز دوشنبه قابلیت‌های امنیتی جدیدی معرفی کرد که برای محافظت از سازمان‌ها در برابر تهدید فزاینده عامل‌های هوش مصنوعی طراحی شده‌اند. این معرفی در حالی انجام می‌شود که Microsoft همچنان درباره خطرهای هوش مصنوعی و عامل‌ها به سازمان‌ها هشدار می‌دهد.

شاید برجسته‌ترین قابلیت جدید، Guardian Agents باشد؛ قابلیتی جدید که برای نظارت بر عامل‌های هوش مصنوعی مورد استفاده شرکت‌ها طراحی شده است. Guardian Agents بخشی از Project Perception است؛ محصولی که در ماه ژوئن معرفی شد.

Project Perception پاسخ Microsoft به مدل‌های قدرتمند هک، مانند Mythos و Fable متعلق به Anthropic، و سامانه اسکن آسیب‌پذیری‌های امنیتی Daybreak متعلق به OpenAI بود. این محصول در ابتدا سه دسته عامل را معرفی کرد: «تیم قرمز» که مانند هکرها عمل می‌کرد و حمله انجام می‌داد، «تیم آبی» که تیم قرمز را شناسایی و آسیب‌پذیری‌هایی را که پیدا کرده بود ارزیابی می‌کرد، و «تیم سبز» که وظیفه رفع آن‌ها را بر عهده داشت.

این محصول بر این فرض طراحی شده بود که هکرهای هوش مصنوعی از بیرون شرکت می‌آیند. اما Satya Nadella، مدیرعامل Microsoft، اخیراً هشدار داده است که ممکن است دشمن هوش مصنوعی همان عامل‌هایی باشند که سازمان‌ها به‌کار گرفته‌اند و برای استفاده از آن‌ها هزینه می‌پردازند؛ درست مانند کارمندی که از مسیر درست خارج می‌شود و به او «تهدید داخلی» می‌گویند.

اوایل همین ماه، Nadella در وبلاگ خصوصی خود هشدار داد که زمان آن رسیده است دیگر به ارائه‌دهندگان مدل‌های هوش مصنوعی اعتماد نکنیم؛ حتی اگر درباره ایمنی و امنیت محصولات عامل‌محور خود اطمینان بدهند. او می‌خواهد سازمان‌ها سامانه‌های مجزایی را پیاده‌سازی کنند که تحت کنترل آزمایشگاه‌های هوش مصنوعی نباشند و عامل‌هایی را که محصولات آن آزمایشگاه‌ها راه‌اندازی می‌کنند زیر نظر بگیرند و کنترل کنند.

او نوشت: «ما این سامانه‌ها و مدل‌های پیچیده عامل‌محور را به‌کار می‌گیریم، به حساس‌ترین داده‌هایمان دسترسی می‌دهیم و به آن‌ها امکان می‌دهیم از طرف ما اقداماتی حیاتی انجام دهند! نمی‌توانیم مسئولیت کارهایی را که این هوش از طرف ما انجام می‌دهد به دیگران واگذار کنیم. تضمین‌های ارائه‌دهنده مدل، ما را از این مسئولیت مبرا نمی‌کند. … به بیان دیگر، باید عرضه هوش را از اختیار کنترل آن جدا کنیم.»

Hayete Gallot، مدیر کسب‌وکار امنیتی Microsoft، هنگام معرفی Guardian Agents حتی صریح‌تر سخن گفت.

او نوشت: «متأسفانه، نمی‌توان به مدل‌های پیشرو، فارغ از منشأ آن‌ها، اعتماد کرد.» او افزود دلیل این موضوع مخرب‌بودن آن‌ها یا هک‌شدن آسانشان نیست، بلکه غیرقابل‌پیش‌بینی‌بودن آن‌هاست. این مدل‌ها برای انجام وظایف آموزش دیده‌اند، نه برای پیروی از «هنجارهای سازمانی یا قضاوت».

علاوه بر این، اغلب کلیدهای قلمرو را در اختیارشان می‌گذارند و به داده‌ها و ابزارهایی دسترسی می‌دهند که می‌توانند آسیب‌های جدی به بار آورند.

راهکار Microsoft هم غافلگیرکننده است و هم در خدمت منافع خودش. جنبه غافلگیرکننده ماجرا این است که Microsoft به‌دلیل سرمایه‌گذاری در OpenAI و Anthropic، روابط نزدیکی با هر دو دارد. OpenAI همچنین یکی از بزرگ‌ترین مشتریان خدمات ابری این شرکت است و Microsoft هم آزمایشگاه هوش مصنوعی خود را برای توسعه مدل‌ها دارد. بنابراین، Microsoft در حال دامن‌زدن به بی‌اعتمادی نسبت به برخی از منافع تجاری خودش است.

جنبه‌ای که در خدمت منافع خود شرکت است این است که Microsoft می‌خواهد سازمان‌ها محصولات امنیتی عامل‌ها را از این شرکتِ ارائه‌دهنده خدمات ابری بخرند، نه از Anthropic و OpenAI. اما فارغ از تضاد منافع، استدلال آن منطقی است. نرم‌افزاری که رفتار عامل‌ها را زیر نظر می‌گیرد، باید از تأمین‌کنندگان عامل‌ها مستقل باشد؛ همان‌طور که حسابرسان باید از سازمان‌هایی که حسابرسی می‌کنند مستقل باشند.

یا به قول Nadella: «باید عرضه هوش را از اختیار کنترل آن جدا کنیم.»

Microsoft اکنون به شیوه‌های مختلف در پی بهره‌برداری از این فرصت تجاری است. این شرکت علاوه بر Guardian Agents، قابلیت شناسایی عامل‌ها را به محصول Microsoft Defender خود افزوده است؛ قابلیتی که می‌تواند تا ۶۰ نوع عامل را که کارکنان به محیط کار می‌آورند، از جمله Claude Code، Codex و OpenClaw، پیدا کند. همچنین قابلیت‌هایی برای محدودکردن دسترسی عامل‌ها به داده‌ها و سامانه‌ها و تنظیم پویای مجوزهای آن‌ها بر اساس وظیفه‌ای که انجام می‌دهند اضافه کرده است. این قابلیت‌ها شامل الزام به تأیید انسان در مواردی است که به نظر می‌رسد یک عامل در حال تصمیم‌گیری‌های پرخطر است.

این دیدگاه که عامل‌ها تهدیدهای داخلیِ غیرقابل‌اعتماد هستند، در بخش‌های دیگر صنعت نیز در حال گسترش است.

Microsoft از اعضای آغازین Open Agent Safety Platform جدید Nvidia بود؛ پلتفرمی که بیش از ۱۰۰ شرکت فناوری دیگر نیز از آن حمایت کردند. این پلتفرم عامل‌ها را در محیط‌های امن ایزوله می‌کند و می‌تواند با استفاده از سخت‌افزار، رفتار آن‌ها را زیر نظر بگیرد و متوقف کند؛ قابلیتی که چیزی شبیه کلید قطع اضطراری است. این اقدام در پی اعلام عرضه رایانه‌های Surface Laptop Ultra طراحی‌شده برای عامل‌ها از سوی Microsoft صورت می‌گیرد؛ دستگاه‌هایی که با تراشه‌های Nvidia کار می‌کنند و قابلیت‌های امنیتی و کنترلی عامل‌ها در آن‌ها تعبیه شده است.