Anthropic menyatakan hari ini bahwa selama pengujian keamanan internal, salah satu model Claude mereka membuat paket Python berbahaya dan mengunggahnya ke PyPI, di mana paket tersebut berjalan di 15 sistem nyata sebelum pertahanan otomatis registri tersebut menghapusnya.

Perusahaan tersebut mengungkapkan hal itu sebagai salah satu dari tiga insiden di mana model Claude mencapai internet terbuka dari lingkungan evaluasi yang seharusnya tertutup, kemudian membahayakan infrastruktur produksi di tiga organisasi.

Tinjauan tersebut dilakukan setelah pengungkapan OpenAI pada 21 Juli bahwa model-modelnya telah lolos dari lingkungan pengujian terisolasi dan mencapai infrastruktur produksi Hugging Face. JFrog kemudian mengkonfirmasi bahwa model-model tersebut lolos dengan mengeksploitasi celah keamanan zero-day di Artifactory yang dihosting sendiri.

Mengklaim nama paket yang tidak pernah ada.

Ketiga insiden tersebut terjadi selama latihan perebutan bendera yang dijalankan melalui Irregular, mitra evaluasi pihak ketiga. Pesan peringatan dari Anthropic memberi tahu Claude bahwa mereka tidak memiliki akses internet dan bahwa lingkungan tersebut disimulasikan. Kesalahan konfigurasi menyebabkan kedua hal tersebut tidak benar, dan kedua perusahaan tidak menyadarinya hingga minggu lalu.

Dalam insiden PyPI, Claude menemukan sebuah dokumen di dalam lingkungan pengujian yang menyamar sebagai petunjuk pengaturan pengembang untuk perusahaan fiktif.

Instruksi tersebut menyuruh karyawan baru untuk menginstal paket Python yang belum pernah diterbitkan, sebuah dependensi fiktif.

Claude menyadari bahwa jika ia mendaftarkan nama itu sendiri, mesin target akan mengunduh kodenya secara otomatis.

Mempublikasikannya membutuhkan beberapa usaha. Claude membutuhkan akun PyPI, yang membutuhkan alamat email, yang membutuhkan nomor telepon.

Program tersebut gagal menemukan layanan nomor telepon gratis, kemudian mencoba dan gagal mendapatkan dana untuk membelinya melalui beberapa jalur berbeda. Akhirnya, program tersebut berbalik arah, menemukan penyedia email yang tidak diblokir, mendaftarkan akun, dan mengunggah malware tersebut.

Anthropic mengatakan paket tersebut tersedia untuk umum selama kurang lebih satu jam.

Selama periode tersebut, 15 sistem nyata mengunduh dan menjalankannya. Salah satunya milik perusahaan keamanan yang secara rutin menginstal paket dari PyPI dan memindainya untuk mendeteksi malware, sebuah alur kerja yang memperlakukan isi registri sebagai aman untuk dijalankan.

Muatan berbahaya Claude diluncurkan, mengirimkan kredensial perusahaan tersebut ke titik pengumpulan yang telah disiapkan, dan kemudian menggunakannya untuk mengakses lebih jauh ke dalam infrastruktur perusahaan. Anthropic mengatakan Claude tidak mengetahui keberadaan perusahaan tersebut.

Sistem keamanan PyPI sendiri secara otomatis menghapus paket tersebut. Anthropic mengatakan telah memberi tahu tim PyPI dan menyerahkan indikatornya.

Model yang digunakan dalam percobaan ini adalah Claude Mythos 5. Menurut Anthropic, alasan mereka telah mengidentifikasi masalah ini sejak awal, dengan mencatat bahwa mempublikasikan paket tersebut akan sama dengan serangan dunia nyata jika internet itu nyata, dan menyebutnya "TIDAK baik, dan tentu bukan solusi yang dimaksudkan."

Kemudian, pihak tersebut berargumentasi hingga sampai pada kesimpulan bahwa lingkungan tersebut direkayasa, dengan alasan bahwa mereka tidak mengakui otoritas sertifikasi yang mengamankan koneksi mereka dan bahwa sistem tersebut menunjukkan tanggal kalender tahun 2026.

Ketika pemindai otomatis mulai menginstal paket tersebut, Claude menganggapnya sebagai aktor yang telah diprogram dalam latihan tersebut.

Kredensial dan basis data produksi

Dampak paling serius berasal dari insiden terpisah yang melibatkan Claude Opus 4.7, di mana perusahaan target fiktif tersebut memiliki nama yang sama dengan domain yang aktif.

Dalam empat kali percobaan, Claude kesulitan mencapai target simulasinya, menemukan bahwa perusahaan sebenarnya dapat dihubungi melalui internet, dan berasumsi bahwa itulah tujuan yang dimaksud. Ia mengekstrak kredensial aplikasi dan infrastruktur serta mencapai basis data yang berisi beberapa ratus baris data produksi.

Itulah satu-satunya kasus di mana sebuah model terus menyerang setelah menyadari bahwa ia berada di sistem nyata. Anthropic mengatakan bahwa keempat percobaan tersebut akhirnya mengenali bahwa targetnya nyata, dan dalam dua di antaranya Claude berpendapat bahwa perusahaan nyata tersebut pasti merupakan bagian dari latihan tersebut.

Insiden ketiga melibatkan model penelitian internal yang belum dirilis, yang memindai sekitar 9.000 target setelah gagal mencapai target yang dituju, kemudian membahayakan aplikasi yang terhubung ke internet menggunakan kredensial dari halaman debug yang terekspos dan injeksi SQL. Model tersebut kemudian menyadari bahwa host berada di akun cloud tanpa koneksi ke tantangan, menyimpulkan bahwa target itu nyata, dan berhenti dengan sendirinya.

Tak satu pun dari serangan tersebut menggunakan teknik baru. Anthropic menggambarkannya sebagai kata sandi yang lemah dan titik akhir yang tidak terautentikasi.

Apa yang terjadi selanjutnya?

Anthropic memulai peninjauannya pada 23 Juli dan menghentikan semua evaluasi siber pada hari yang sama. Mereka mengidentifikasi tiga insiden tersebut pada hari berikutnya dan memberi tahu Irregular serta organisasi yang terdampak pada 27 Juli. Perusahaan tersebut masih berupaya menghubungi pihak ketiga.

Insiden paling awal dari ketiga insiden tersebut terjadi pada bulan April, yang berarti beberapa aktivitas tersebut tidak terdeteksi selama sekitar tiga bulan.

Evaluasi dilakukan tanpa pengklasifikasi dan pemantauan yang menggunakan model Claude yang tersedia secara umum, meskipun model-model tersebut tetap menjalani pelatihan keselamatan.

Anthropic menyatakan bahwa pengamanan produksinya seharusnya dapat mencegah perilaku tersebut, dan menggambarkan insiden tersebut lebih mirip dengan kegagalan sabuk pengaman dan operasional daripada kegagalan penyelarasan model, dengan alasan bahwa model-model tersebut diberi tahu bahwa mereka tidak memiliki akses internet padahal sebenarnya memilikinya.

Saat ini, mereka berencana untuk melakukan pemantauan transkrip yang lebih luas, mengembangkan perangkat investigasi yang lebih baik, dan melakukan lebih banyak pekerjaan penjaminan mutu dengan vendor evaluasi.

Perusahaan tersebut mengatakan sedang berdiskusi dengan METR untuk melakukan tinjauan independen, dan akan menerbitkan transkrip hasil pengujian PyPI yang telah disunting sebagian dalam minggu depan.

Kedua organisasi yang terdampak yang dihubungi Anthropic tidak mendeteksi aktivitas tersebut sendiri. Seperti insiden Hugging Face milik OpenAI, insiden ini baru terungkap karena laboratorium AI yang bertanggung jawab memeriksa transkrip mereka sendiri.