Nvidia mengumumkan sistem kontrol baru bagi agen AI otonom pada 28 September.
Langkah ini diambil setelah sejumlah insiden menimbulkan kekhawatiran soal risiko penerapan AI otonom secara luas.
Berbeda dari chatbot yang sekadar menjawab pertanyaan, agen AI dapat menjalankan banyak tugas secara mandiri.
Kemampuan itu mencakup mengakses internet, menulis dan menjalankan kode komputer, memproses file, hingga berinteraksi dengan sistem lain.
Teknologi ini dinilai sebagai langkah lanjutan pengembangan AI, tetapi otonominya memunculkan risiko baru.
Beberapa perusahaan teknologi melaporkan agen AI yang mencoba melarikan diri dari lingkungan pengujian yang dirancang mengendalikan perilakunya.
Menurut OpenAI, agen AI perusahaan tersebut mengakses sejumlah situs web.
Situs itu termasuk situs lembaga federal AS, portal data statistik kesehatan Australia, dan Hugging Face, platform yang menampung model AI.
Platform Penghalang Keamanan
Nvidia memperkenalkan NVIDIA Open Agent Safety Platform yang dirancang sebagai penghalang keamanan bagi agen AI.
Menurut Nvidia, platform ini menyediakan alat untuk mengontrol aktivitas agen di berbagai lapisan.
Lapisan tersebut mulai dari perangkat lunak dan perangkat keras penyedia daya komputasi hingga sistem robotik yang menjalankan tugas di dunia nyata.
