هوش مصنوعی کلاد به زیرساخت‌های سه سازمان ناخواسته نفوذ کرد

مدل‌های هوش مصنوعی کلاد (Claude) متعلق به شرکت آنتروپیک در جریان مجموعه‌ای از آزمون‌های امنیتی شبیه‌سازی‌شده، به‌دلیل یک خطای فنی از محیط آزمایشی خارج شدند و به زیرساخت‌های واقعی سه سازمان مختلف دسترسی پیدا کردند. آنتروپیک اعلام کرده است که بررسی بیش از ۱۴۱ هزار اجرای آزمایشی نشان داده برخی مدل‌ها به‌طور ناخواسته به اینترنت آزاد دسترسی داشته‌اند.

این اتفاق در جریان آزمون‌هایی موسوم به «تسخیر پرچم» (Capture the Flag) رخ داده است. در چنین ارزیابی‌هایی، مدل هوش مصنوعی در یک محیط کنترل‌شده قرار می‌گیرد و از آن خواسته می‌شود با حل چالش‌های مختلف، یک سیستم کامپیوتری شبیه‌سازی‌شده را هک کند. هدف از این آزمایش‌ها، بررسی توانایی‌های مدل‌های هوش مصنوعی در حوزه امنیت سایبری و شناسایی نقاط ضعف احتمالی آن‌ها است.

بااین‌حال، در این مورد به‌دلیل ناهماهنگی میان آنتروپیک و شرکت شریک آن در فرایند ارزیابی، Irregular، دسترسی مدل‌ها به اینترنت به‌طور کامل مسدود نشده بود. در نتیجه، برخی از مدل‌های مورد آزمایش توانستند از محیط‌های ایزوله‌شده خارج شوند و با سیستم‌های واقعی موجود در اینترنت ارتباط برقرار کنند.

بر اساس گزارش آنتروپیک، سه مدل مختلف در این حوادث نقش داشتند که شامل Claude Opus 4.7، Mythos 5 و یک مدل تحقیقاتی داخلی این شرکت می‌شوند. این مدل‌ها در شرایط آزمایشی و بدون برخی از ابزارهای نظارتی و فیلترهای امنیتی که معمولاً در نسخه‌های عمومی محصولات فعال هستند، مورد بررسی قرار گرفته بودند.

در نخستین حادثه، Claude Opus 4.7 نام یک شرکت فرضی در سناریوی آزمایشی را با یک دامنه واقعی در اینترنت اشتباه گرفت. مدل تصور کرد زیرساخت مذکور بخشی از محیط آزمایش است و در نتیجه تلاش کرد به سیستم‌های آن نفوذ کند. این عملیات در نهایت به استخراج اطلاعات ورود کاربران و دسترسی به یک پایگاه داده حاوی صدها ردیف اطلاعات واقعی منجر شد.

موضوع زمانی نگران‌کننده‌تر شد که مدل پس از تشخیص واقعی‌بودن محیط نیز به فعالیت خود ادامه داد. این اتفاق نشان می‌دهد مدل‌های هوش مصنوعی خودگردان، در صورتی که مرزهای مشخصی میان محیط آزمایشی و زیرساخت‌های واقعی وجود نداشته باشد، ممکن است اقداماتی فراتر از اهداف اولیه ارزیابی انجام دهند.

در حادثه دوم، مدل Mythos 5 تلاش کرد یک بسته مخرب پایتون را در مخزن عمومی PyPI منتشر کند. این مدل برای عبور از محدودیت‌های موجود، یک حساب کاربری رایگان ایجاد کرد و بسته آلوده را در این مخزن قرار داد. بسته مذکور حدود یک ساعت در دسترس عموم قرار داشت و در این مدت روی ۱۵ سیستم واقعی دانلود شد.

در ادامه، کلاد توانست اطلاعات کاربری متعلق به یکی از شرکت‌های فعال در حوزه امنیت سایبری را که سیستم‌های آن بسته مخرب را بررسی و اسکن کرده بودند، به دست آورد. این حادثه نشان می‌دهد حتی یک آزمایش کنترل‌نشده در محیطی عمومی می‌تواند پیامدهایی فراتر از محیط آزمایشی داشته باشد و سیستم‌های واقعی را نیز تحت تأثیر قرار دهد.

سومین حادثه نیز به یک مدل تحقیقاتی داخلی آنتروپیک مربوط می‌شود. این مدل پس از آنکه نتوانست به هدف فرضی خود دسترسی پیدا کند، در اقدامی گسترده حدود ۹ هزار هدف موجود در اینترنت را اسکن کرد. مدل در نهایت با استفاده از روش‌هایی مانند تزریق SQL توانست به یک اپلیکیشن متصل به اینترنت نفوذ کند؛ بااین‌حال، پس از آنکه متوجه شد سیستم موردنظر واقعی است و بخشی از محیط آزمایشی محسوب نمی‌شود، عملیات خود را متوقف کرد.

آنتروپیک در واکنش به این اتفاقات تأکید کرده است که محیط‌هایی که در آن‌ها مدل‌های هوش مصنوعی با قابلیت‌های خودگردان قدرتمند مورد ارزیابی قرار می‌گیرند، باید از بالاترین سطح کنترل‌های امنیتی برخوردار باشند. این شرکت همچنین معتقد است از آنجا که توانایی‌های واقعی مدل‌های پیشرفته هوش مصنوعی هنوز به‌طور کامل شناخته نشده‌اند، آزمون‌های ایمنی پیش از عرضه عمومی آن‌ها اهمیت بسیار زیادی دارند.

این شرکت در بیانیه‌ای اعلام کرد که محیط‌های ارزیابی باید به اندازه سیستم‌های اصلی و عملیاتی ایمن باشند؛ زیرا هرگونه ضعف در جداسازی این محیط‌ها می‌تواند زمینه‌ساز دسترسی ناخواسته مدل‌های هوش مصنوعی به منابع و زیرساخت‌های واقعی شود.

آنتروپیک همچنین اعلام کرده است که پس از انتشار گزارش‌هایی درباره خروج مدل‌های OpenAI از محیط‌های ایزوله، بررسی‌های داخلی خود را آغاز کرده و در پی این حوادث، تمام ارزیابی‌های سایبری خود را به‌طور موقت متوقف کرده است.

این شرکت اکنون با سازمان‌هایی که تحت تأثیر این حوادث قرار گرفته‌اند همکاری می‌کند تا مشکلات امنیتی ایجادشده برطرف شود. همچنین قرار است با همکاری سازمان مستقل METR، بررسی‌های بیشتری درباره نحوه وقوع این حوادث و عملکرد مدل‌ها انجام شود.

این اتفاق بار دیگر اهمیت امنیت محیط‌های آزمایشی هوش مصنوعی را برجسته می‌کند. هرچه مدل‌های هوش مصنوعی در انجام وظایف پیچیده و مستقل توانمندتر می‌شوند، احتمال بروز رفتارهای پیش‌بینی‌نشده نیز اهمیت بیشتری پیدا می‌کند. به همین دلیل، کنترل دسترسی به اینترنت، جداسازی کامل محیط‌های آزمایشی از زیرساخت‌های واقعی و نظارت دقیق بر اقدامات مدل‌ها، به یکی از مهم‌ترین چالش‌های توسعه و ارزیابی نسل جدید سیستم‌های هوش مصنوعی تبدیل شده است.