در پاسخ به قانون جدید اتحادیه اروپا، پلتفرم‌های هوش مصنوعی در حال پیاده‌سازی طرح‌های جدیدی برای واترمارک کردن محتوای تولیدی خود هستند. Anthropic اخیراً اعلام کرده است که مدل‌های آینده Claude از SynthID-Text استفاده خواهند کرد، رویکردی که توسط Google ایجاد و به صورت متن‌باز منتشر شده است. این روش از یک کلید مخفی استفاده می‌کند که به طور ظریف فرآیند انتخاب کلمه بعدی توسط مدل را تغییر می‌دهد. در حالی که انتخاب برتر برای کلمه بعدی ممکن است «cloudy» باشد، کلید ممکن است آن را به «overcast» تغییر دهد. هر کسی که کلید را بداند می‌تواند تشخیص دهد که آیا محتوا توسط پلتفرم استفاده‌کننده از آن تولید شده است یا خیر.

تحقیقات جدید نشان می‌دهد که SynthID-Text می‌تواند نه تنها انتخاب کلمات، بلکه ابزارهایی که مدل فراخوانی می‌کند و احتمال پایبندی یا نادیده گرفتن موانع ایمنی که مدل برای پیروی از آن‌ها آموزش دیده است را نیز تغییر دهد. این تهدید می‌تواند در مواجهه با یک پرامپت خصمانه (adversarial prompt) که در آن مهاجم سعی می‌کند مدل را به انجام یک اقدام مضر مانند افشای رمز عبور یا سایر اطلاعات حساس وادار کند، بیشتر شود. دستورالعمل‌هایی که معمولاً دنبال نمی‌شوند، در برخی موارد پس از پیاده‌سازی واترمارکینگ اجرا می‌شوند. این یافته بر نیاز توسعه‌دهندگان به آزمایش کامل نحوه رفتار LLMها و عامل‌های (agents) آن‌ها در زمانی که واترمارکینگ فعال است، تأکید می‌کند.

تغییر رفتار ایمنی

«در مقایسه با همان مدل‌ها بدون واترمارکینگ، قطعاً رفتار آن‌ها تغییر خواهد کرد، به‌ویژه زمانی که آن‌ها را در شرایط خصمانه (adversarial) قرار می‌دهیم، یا زمانی که این مدل‌ها را مجبور به فراخوانی ابزارها در هنگام تأمین توان یک عامل (agent) می‌کنیم.» آندره‌آ سیپوسووا، محقق امنیت هوش مصنوعی در Lasso Security، به Ars گفت. «واترمارکینگ به گونه‌ای طراحی شده است که برای خواننده قابل تشخیص نباشد، اما ما می‌دانیم که وقتی هر چیزی را در مورد آنچه مدل تولید می‌کند تغییر می‌دهیم، این تغییر باعث ایجاد برخی مصالحه‌ها (tradeoffs) خواهد شد و در جایی خود را نشان خواهد داد.»