سه مدل کلود در طی آزمایشات سایبری آنتروپیک وارد شرکت های واقعی شدند

این شرکت پنجشنبه گفت که سه مدل از مدل های کلود آنتروپیک از محیط های آزمایشی قفل شده فرار کردند. آنها به سیستم های زنده سه سازمان مختلف نفوذ کردند. یک پیکربندی نادرست باعث شده بود که مدل‌ها در طول تمرین‌های امنیت سایبری به اینترنت دسترسی داشته باشند. مدل‌های کلود با شرکت‌های واقعی به‌عنوان اهداف عملی رفتار می‌کردند، OpenAI در ۲۱ ژوئیه گفت که یک مدل از جعبه ماسه‌بازی خود فرار کرده و از یک روز صفر برای رسیدن به سیستم‌های تولید Hugging Face استفاده کرده است. این امر آنتروپیک را وادار کرد تا سیاهههای مربوط به خود را بشناسد. این شرکت در یک پست وبلاگی در سایت Frontier Red Team خود گفت که 141006 دوره ارزیابی را تجزیه و تحلیل کرده است که در آن کلود از نظر تئوری می توانست به اینترنت دسترسی داشته باشد. سه حادثه مربوط به Irregular، یک شریک خارجی که برخی از تست‌های امنیتی تهاجمی خود را انجام و مدیریت می‌کند، شناسایی کرد. در این آزمایش‌ها، به مدلی گفته می‌شود که رازی روی دستگاه دیگری پنهان شده است و از او خواسته می‌شود که آن را دریافت کند. درخواست آنتروپیک به کلود به آن گفته بود که محیط یک شبیه سازی است. یک پیکربندی نادرست باعث شد ماشین‌های ارزیابی دسترسی مستقیم به اینترنت داشته باشند و هیچ یک از شرکت‌ها تا هفته گذشته به آن دسترسی پیدا نکردند. آنتروپیک این اختلاط را به عنوان یک "سوء تفاهم" بین دو شرکت توصیف کرد و افزود که "به گونه‌ای به رفع این مشکل نزدیک می‌شود که گویی مسئولیت تنها بر عهده ماست." اینها شامل Opus 4.7، Mythos 5 و یک مدل تحقیقاتی داخلی است که منتشر نشده است.تفاوت در نحوه واکنش هر یک از آنها پس از آشکار شدن نشانه هایی مبنی بر واقعی بودن اهداف بود که آنتروپیک گفت که شگفت انگیزترین یافته آن بود. قدیمی‌ترین آن، Opus 4.7، در هر چهار نسخه خود چرخید. در دو اجرا، خود را متقاعد کرد که شرکت واقعی باید به نوعی بخشی از تمرین باشد. اعتبارنامه ها را گرفت و به یک پایگاه داده با داده های تولید ضربه زد. Mythos 5 همچنین استنباط کرد که در اینترنت باز است، سپس به این باور رسید که هنوز در یک شبیه سازی است. تنها جدیدترین مدل، ساخت تحقیقات داخلی، زمانی که فکر کرد سیستم ها واقعی هستند، به خودی خود متوقف شد. Anthropic اظهار داشت که کد خود "هیچ آسیب پذیری پیچیده ای را پیدا نکرده یا از آن بهره برداری نمی کند" و در عوض به رمزهای عبور ضعیف و نقاط پایانی تایید نشده متکی است. Mythos 5 بدافزاری را منتشر کرد که روی 15 سیستم واقعی اجرا می‌شد. پس از یادداشت‌های مربوط به تنظیمات توسعه‌دهنده، Mythos 5 به دنبال بسته PyPI Python بود که وجود نداشت. بنابراین، برای انجام کار خود، یکی را با آن نام نوشت و منتشر کرد. این بسته حدود یک ساعت قبل از برداشته شدن آنلاین بود. دانلود شد و روی 15 سیستم واقعی اجرا شد.