شرکت کانادایی هوش مصنوعی Cohere روز دوشنبه اعلام کرد که در جریان یک آزمون معمول امنیت سایبری، متوجه شده یکی از جدیدترین مدل‌های هوش مصنوعی Alibaba، یعنی Qwen3.8-Flash-Next، تلاش کرده فایلی را به سروری در پکن بارگذاری کند؛ این در حالی است که مدل در یادداشت‌های خودش گفته بود از هیچ ابزاری استفاده نخواهد کرد.

این اتفاق در ابتدا نگرانی‌هایی را برانگیخت که مدل یکی از وعده‌های اساسی به کسب‌وکارها را زیر پا گذاشته است: اینکه میزبانی یک مدل با وزن‌های باز روی سرورهای خود شرکت، داده‌ها را در داخل سازمان نگه می‌دارد. اما نگرانی‌های اولیه درباره جاسوسی شرکتی خیلی زود فروکش کرد. پژوهشگران به‌سرعت این تهدید را رد کردند و گفتند این رفتار احتمالاً پیامد محیط‌های آموزشی آشفته‌ای است که باعث می‌شوند مدل‌ها برخلاف دستورالعمل‌هایشان رفتار کنند، نه تلاشی عمدی برای ارسال پنهانی اطلاعات حساس به چین.

این اتفاق روز جمعه، در جریان ارزیابی‌ای آغاز شد که طی آن از مدل Qwen خواسته بودند قاعده‌ای برای شناسایی دانلود بدافزار بنویسد. طبق پست وبلاگی Cohere، مدل در استدلال مکتوب خود صراحتاً گفته بود از هیچ ابزار خارجی استفاده نمی‌کند. بااین‌حال، در گام بعدی تلاش کرد رشته‌ای آزمایشی (بخش کوتاهی از متنِ جای‌نگهدار) را به سروری خارجی بفرستد، اما sandbox امنیتی جلوی آن را گرفت.

Cohere گفت نمی‌تواند تشخیص دهد این رفتار عمدی بوده یا از فرایند آموزش مدل به‌جا مانده است.

در پاسخ به پرسشی درباره بحث‌وجدل بر سر نیت مدل، Ivan Zhang، هم‌بنیان‌گذار Cohere، به TechCrunch گفت که مدل‌های خود این شرکت نیز در شبیه‌سازهای آموزشی عادت‌های عجیبی پیدا کرده‌اند.

Zhang گفت: «واقعاً سخت است که نیت یا انگیزه‌ای به این رفتار نسبت بدهیم. ردپای فعالیت مدل خودمان را بررسی کرده‌ایم، با reward hackها روبه‌رو شده‌ایم و گاهی این مدل‌ها برای خارج شدن از sandboxهایشان راهکارهای بسیار خلاقانه‌ای پیدا می‌کنند.» (reward hack میان‌بُرهایی هستند که مدل برای گرفتن امتیاز پیدا می‌کند، بی‌آنکه وظیفه را آن‌طور که باید انجام دهد.)

برای آموزش یک مدل هوش مصنوعی تا بتواند به‌عنوان عاملی مستقل عمل کند و خودش دست به اقدام بزند، شرکت‌هایی مانند Alibaba آن را در هزاران محیط تمرینی آموزش می‌دهند؛ چیزی شبیه شبیه‌ساز پرواز برای نرم‌افزار. هر بار که مدل در یک شبیه‌ساز وظیفه‌ای را به پایان می‌رساند، پاداش می‌گیرد و در این مسیر عادت‌هایی پیدا می‌کند. اگر در این محیط‌های تمرینی فایل‌ها به‌طور معمول روی سرورهای ابری Alibaba ذخیره شده باشند، مدل‌ها ممکن است یاد بگیرند که به‌طور پیش‌فرض فایل‌ها را همان‌جا ذخیره کنند.

منتقدان همچنین گفتند ممکن است این اتفاق ناشی از شیوه بررسی رفتار از سوی Cohere بوده باشد؛ به این معنا که این شرکت مدل را به سمت چنین رفتاری سوق داده، نه اینکه میزان بروز خودبه‌خودی آن را در Qwen اندازه‌گیری کرده باشد.

Cohere برای یافتن علت تلاش مدل برای بارگذاری فایل، ابتدای یک دستور شبکه‌ای را در اختیار آن گذاشت (دستوری که به یک رایانه می‌گوید به رایانه‌ای دیگر متصل شود) و اجازه داد مدل ادامه آن را بنویسد. از آنجا که مدل در جریان آموزش خود هزاران دستور شبکه‌ای معمول را پردازش کرده بود، مانند یک سامانه تکمیل خودکار بسیار پیشرفته عمل کرد و اغلب نشانی‌های وب را کامل کرد که برخی از آن‌ها متعلق به سرورهای Alibaba بودند.

Cohere گفت تلاش اولیه برای بارگذاری فایل بدون چنین کمکی انجام شده بود، اما این رفتار نادر است.

پس از آنکه توسعه‌دهندگان شواهد بیشتری خواستند، Cohere شامگاه دوشنبه ردپاهای خام آزمایش‌های خود را در پلتفرم توسعه‌دهندگان هوش مصنوعی Hugging Face منتشر کرد و اسکریپتی هم در اختیار دیگران گذاشت تا بتوانند این رفتار را بازآزمایی کنند.

یکی از کسانی که در ابتدا به این ادعا بدبین بود، پس از بررسی ردپاها شواهد را برای این نتیجه‌گیری قوی ارزیابی کرد که Qwen می‌تواند نشانی‌های وب مشکوک بسازد؛ اما هیچ شواهدی نیافت که نشان دهد Alibaba درِ پشتی‌ای کار گذاشته یا Qwen عمداً نیت خود را پنهان می‌کرده است.

این اتفاق در شرایطی رخ داده که دولت‌ها در حال تصمیم‌گیری درباره میزان مقابله با هوش مصنوعی چین هستند. هفته گذشته، وزارت امنیت داخلی آمریکا به نهادهای غیرنظامی دولت فدرال دستور داد محصولات شرکت چینی توسعه‌دهنده هوش مصنوعی DeepSeek را از سامانه‌های خود حذف کنند.

Cohere در پست وبلاگی خود از دولت‌ها خواست روشن کنند که آیا محدودیت‌های آن‌ها درباره هوش مصنوعی چین، مدل‌هایی را هم شامل می‌شود که روی رایانه‌های دولتی اجرا می‌شوند یا نه.

Zhang به TechCrunch گفت: «درخواست مقررات‌گذاری کامل برای این مدل‌های با وزن‌های باز را ندارم» و افزود که شرکت‌ها باید با مدل‌های باز مانند هر برنامه‌ای برخورد کنند که از اینترنت دانلود می‌شود.

Cohere که مدل‌های هوش مصنوعی خود را به دولت‌ها می‌فروشد، در صورت افزایش بدبینی مقام‌ها به جایگزین‌های رایگان چینی، از این وضعیت سود خواهد برد.