یک روز پس از آنکه جیکوب کاکسون، محقق شرکت Anthropic، به دلیل نگرانی از اینکه هوش مصنوعی ممکن است تا پایان دهه جاری همه ما را نابود کند، شغل خود را رها کرد، من با دو مؤسس و هم‌خانواده، رونه کویست و راجیو داتانی، ملاقات کردم. آنها معتقدند راه‌حلی دارند که می‌تواند همه ما را نجات دهد، یا حداقل از سرکش شدن عامل‌های هوش مصنوعی در داخل سازمان‌ها جلوگیری کند.

کویست که یکی از کارمندان اولیه Anthropic است و با خواهر داتانی ازدواج کرده است، گفت: «هوش مصنوعی با سرعتی فزاینده در حال باهوش‌تر شدن است. نکته شگفت‌انگیز در مورد هوش مصنوعی این است که هرچه باهوش‌تر می‌شود، پذیرش و کنترل آن دشوارتر می‌شود، نه آسان‌تر.» داتانی مدیرعامل سابق سازمان تحقیقات ایمنی هوش مصنوعی METR است.

این دو نفر استارت‌آپی به نام Artificial Intelligence Underwriting Company (AIUC) راه‌اندازی کرده‌اند که امیدوار است ایمنی هوش مصنوعی را به سازمان‌ها و شرکت‌هایی که مدل‌ها و عامل‌های هوش مصنوعی می‌سازند، ارائه دهد. این استارت‌آپ از Cursor، Lovable، Harvey و ElevenLabs به عنوان مشتری نام می‌برد.

روز سه‌شنبه، AIUC از جذب سرمایه ۴۰ میلیون دلاری سری A به رهبری Ribbit Capital و با مشارکت First Harmonic خبر داد. این شرکت پیش از این یک مرحله سرمایه‌گذاری ۱۵ میلیون دلاری از طریق صندوق NFDG متعلق به نت فریدمن به همراه Emergence، Terrain و بن مان، یکی از بنیان‌گذاران Anthropic، و دیگران جمع‌آوری کرده بود که مجموع سرمایه آن را به ۵۵ میلیون دلار می‌رساند.

آنچه توجه این گروه از سرمایه‌گذاران درجه یک را به خود جلب کرد، تلاش AIUC برای اعمال یک مدل آشنا از امنیت سایبری به مجموعه‌ای جدید از ریسک‌های هوش مصنوعی است. این شرکت یک لایه ممیزی و صدور گواهینامه شخص ثالث برای عامل‌های هوش مصنوعی ساخته است.

کویست گفت: «بانک‌ها، بیمارستان‌ها، دولت‌ها و ارتش‌ها دیگر به دلیل ناکافی بودن هوشمندی یک مدل از استقرار هوش مصنوعی خودداری نمی‌کنند. آنها به دلیل تعهداتی که به مشتریان خود در مورد کارهایی که یک سیستم انجام می‌دهد و انجام نمی‌دهد داده‌اند، خودداری می‌کنند و در حال حاضر هیچ‌کس نمی‌تواند آن را تضمین کند.»

AIUC با الهام از استاندارد پرکاربرد امنیت سایبری SOC 2، استانداردی به نام AIUC-1 و یک سرویس آزمایش برای تأیید عامل‌ها بر اساس این استاندارد توسعه داده است.

برای ساخت این استاندارد، AIUC کنسرسیومی متشکل از حدود ۲۵۰ رهبر امنیت و ریسک – یعنی خریداران عامل‌ها – تشکیل داد. داتانی به TechCrunch گفت: «این افرادی هستند که ما به صورت ماهانه با آنها ملاقات می‌کنیم و سوالی که از آنها می‌پرسیم این است: وقتی می‌خواهید عامل‌هایی را از کسی بخرید، به دنبال چه چیزی می‌گردید؟ چه سوالاتی می‌خواهید بپرسید و دوست دارید به چه مواردی پرداخته شود؟»

این بازخوردها شکل‌دهنده آزمایش‌ها هستند. سپس استارت‌آپ یک عامل را در مجموعه‌ای از حدود ۵۰۰۰ آزمایش اجرا می‌کند تا ببیند در سناریوهای مربوط به فرار (jailbreak)، توهم (hallucination) و نشت داده‌ها چگونه رفتار می‌کند. نتایج یک گزارش حدوداً ۱۰۰ صفحه‌ای تولید می‌کند که جزئیات عملکرد ایمن و قابل اعتماد عامل – و جاهایی که اینطور نیست – را نشان می‌دهد. جالب اینجاست که AIUC از عامل‌های هوش مصنوعی برای اجرای آزمایش‌ها و از هوش مصنوعی برای تحلیل داده‌ها استفاده می‌کند. با این حال، کویست گفت که انسان‌ها ممیزی نهایی را تأیید می‌کنند.

اگر این کمی آشنا به نظر می‌رسد، حق با شماست. کارفرمای سابق داتانی، METR، جایی که او از سال ۲۰۲۴ تا ۲۰۲۵ مدیرعامل بود و همچنان عضو هیئت مدیره است، آزمایش‌های مشابهی را برای آزمایشگاه‌های پیشرو انجام می‌دهد، اگرچه کار آن تا همین اواخر عمدتاً بر عملکرد متمرکز بود (اینکه آیا عامل‌ها می‌توانند به طور قابل اعتماد وظایف را انجام دهند). METR یکی از سازمان‌های تحقیقاتی مستقلی بود که OpenAI برای بررسی حادثه Hugging Face خود از آن استفاده کرد.

اخیراً نیز داریو آمودی، مدیرعامل Anthropic، از صنعت هوش مصنوعی خواسته است تا سرعت توسعه پیشرو را کنترل کند و به افزایش سریع حوادث رفتار نادرست اشاره کرد. آمودی در پست خود، ایده الزام آزمایشگاه‌های پیشرو به استفاده از ارزیاب‌های شخص ثالث تعبیه‌شده برای مشاهده و تأیید ایمنی را مطرح کرد و METR را به عنوان یکی از گزینه‌ها نام برد.

اگرچه AIUC پیشنهاد تعبیه خود در سایت‌های مشتری را نمی‌دهد، اما ایده کلی مشابه است: ارائه یک ارزیابی مستقل از میزان ایمنی عامل‌های هوش مصنوعی به سازمان‌ها. داتانی گفت: «اینجا جایی است که عامل قبول می‌شود و می‌توانید به آن اعتماد کنید. و اینجا جایی است که نگرانی‌هایی وجود دارد. شما باید قبل از تصمیم به خرید از این منابع مطلع باشید.»