Kepolisian Philadelphia mengecam Anthropic setelah model AI mereka, Claude, secara otomatis menghasilkan dan mengirimkan laporan palsu tentang kasus pembunuhan yang belum terpecahkan.
Insiden ini menimbulkan kekhawatiran tentang tindakan agen AI yang tidak dapat diprediksi karena mampu melakukan banyak tugas di internet tanpa pengawasan langsung manusia.
Kronologi Insiden
Menurut Departemen Kepolisian Philadelphia, insiden terjadi pada 18 Juli ketika Claude menjalankan program uji coba untuk berinteraksi otomatis dengan situs web acak.
Setelah mengakses portal PhillyUnsolvedMurders. com, model AI tersebut menampilkan diri seolah memiliki informasi relevan dan memberikan keterangan palsu.
Claude mengklaim telah melihat seseorang yang sesuai deskripsi di dekat lokasi kejadian pada saat insiden terjadi.
Sistem keamanan kepolisian mengategorikan laporan palsu itu sebagai spam sehingga tidak sampai ke Pusat Kejahatan Real-Time untuk diproses.
Kepolisian juga memastikan tidak ada bukti pelanggaran server atau pencurian data.
Insiden ini hanyalah salah satu dari serangkaian kejadian tak disengaja yang diungkapkan Anthropic sendiri dalam laporan yang diterbitkan pada 9 Oktober.
