هواپیماهای نظامی در بهار امسال در آسمان بودند که مقامات آمریکایی به کشفی نگران‌کننده دست یافتند: اطلاعاتی که یک عملیات مسلحانه علیه یک کشتی چینی را هدایت می‌کرد، توسط یک چت‌بات هوش مصنوعی توهم‌زده شده بود. این عملیات در آخرین لحظه لغو شد و به این ترتیب از یک درگیری بالقوه با چین در لحظه آخر جلوگیری به عمل آمد. شبکه CNN روز جمعه گزارش داد.

این رویداد بر یک نگرانی رو به رشد در میان مقامات نظامی و کارشناسان خارج از سازمان تأکید می‌کند: هرچه تصمیم‌گیرندگان بیشتر به هوش مصنوعی تکیه کنند، خطاهای تولیدشده توسط این سیستم‌ها می‌توانند پیش از زیر سؤال برده شدن، در زنجیره فرماندهی بالا بروند.

گزارش اطلاعاتی که در طول جنگ با ایران منتشر شد، حاکی از آن بود که این کشتی حامل اجزایی برای یک برنامه تسلیحات هسته‌ای است.

این اطلاعات نادرست از سوی یک تحلیلگر فرماندهی عملیات ویژه سرچشمه گرفت که از یک چت‌بات هوش مصنوعی برای ترکیب داده‌های منبع باز با اطلاعات طبقه‌بندی‌شده سیگنال‌ها استفاده کرد. چت‌بات، مانیفست بارنامه کشتی را به اشتباه شناسایی کرد. سپس تحلیلگر برای بار دوم از این ابزار استفاده کرد تا یافته‌های اشتباه را در قالب یک خلاصه رسمی‌نما قالب‌بندی کند که در کانال‌های فرماندهی توزیع شد.

این حادثه نزدیک به خطا در حالی رخ می‌دهد که ارتش آمریکا برای ادغام هوش مصنوعی برای تسریع تصمیم‌گیری و حفظ برتری خود در برابر چین، مسابقه می‌دهد. پنتاگون هوش مصنوعی را به عنوان عاملی برای ارائه یک مزیت قابل توجه در تسریع زنجیره کشتار خود توصیف کرده است تا فرماندهان بتوانند در زمان مناسب واکنش نشان دهند. اما همان سرعتی که هوش مصنوعی را جذاب می‌کند، ممکن است با نظارت ناکافی انسانی، امکان توهم‌زایی را نیز فراهم کند.

«این مهم است که پرسنل نظامی عدم قطعیت ذاتی در LLMها را درک کنند،» جیک استکلر، محقق در GovAI و افسر پیشین ارتش آمریکا، در پاسخ کتبی به TechCrunch گفت. «اما این موضوع به ویژه برای هر تصمیمی که می‌تواند منجر به استفاده از زور شود، مانند هدف‌گیری، تحلیل اطلاعاتی، یا برنامه‌ریزی عملیاتی، حیاتی است. این تصمیمات عواقب مرگ و زندگی دارند.»

با این حال، استکلر می‌گوید که این حادثه باید به عنوان یک فراخوان برای افزودن محافظ‌های بیشتر به هوش مصنوعی باشد، نه دلیلی برای اجتناب از آن. او گفت: «این ابزارها می‌توانند در زمینه‌های مناسب و با وجود محافظ‌های مناسب مفید باشند. اما اولویت دادن به سرعت پذیرش بر هر چیز دیگر احتمالاً منجر به حوادثی خواهد شد که تنها باعث می‌شود پرسنل نظامی اعتماد خود را به این سیستم‌ها از دست بدهند، که در نهایت فقط سرعت پذیرش را کاهش می‌دهد.»