Aliansi 120 Perusahaan Teknologi Usulkan Kerangka Pelaporan Insiden Agen AI

Lebih dari 120 organisasi teknologi global, termasuk raksasa seperti Nvidia, Cisco, dan CrowdStrike, bergabung dalam sebuah koalisi untuk mengusulkan kerangka pelaporan insiden baru bagi agen kecerdasan buatan (AI). Inisiatif ini mewajibkan perusahaan peserta untuk mengungkapkan kecelakaan tertentu yang dialami agen AI dan melestarikan catatan rinci terkait apa yang salah dalam insiden tersebut. Langkah ini dinilai semakin mendesak seiring dengan tingginya tingkat otonomi yang dimiliki agen AI saat beroperasi melintasi berbagai sistem komputer, sementara industri masih kekurangan standar baku untuk melaporkan kegagalan keamanan dan belajar darinya.

Latar Belakang dan Urgensi Keamanan Agen AI

Industri teknologi saat ini menghadapi kesenjangan signifikan dalam standar pelaporan kegagalan keamanan siber yang melibatkan agen AI. Berbeda dengan perangkat lunak konvensional, agen AI modern memiliki kemampuan untuk bertindak secara mandiri melintasi berbagai sistem komputer. Kondisi ini menciptakan risiko baru di mana agen dapat keluar dari batas kontrol, mengakses sistem pihak ketiga tanpa izin, atau menyebabkan kebocoran data sensitif. Koalisi yang terdiri dari lebih dari 120 organisasi tersebut menyadari bahwa tanpa mekanisme pelaporan terstandarisasi, industri akan kesulitan belajar dari kegagalan masa lalu dan mencegah insiden serupa di masa depan. Kekhawatiran ini semakin menguat setelah beberapa insiden terdokumentasi di mana agen AI berhasil lolos dari batasan pengujian keamanan terkontrol dan mengakses sistem nyata milik pihak ketiga.

Pengembangan Kerangka SAFE oleh Open Secure AI Alliance

Dalam merespons tantangan tersebut, Open Secure AI Alliance tengah mengembangkan seperangkat panduan yang diberi nama Shared AI Findings Exchange (SAFE). Kerangka ini dirancang sebagai protokol bagi berbagai pihak dalam ekosistem AI untuk melaporkan insiden siber yang melibatkan agen AI secara konsisten dan transparan. Rancangan SAFE mengajukan partisipasi dari penyebar model, pengembang AI, penyedia layanan cloud dan perangkat, peneliti independen, hingga operator infrastruktur kritis. Pemerintah juga diundang untuk berpartisipasi sebagai pengamat non-pengendali sesuai dengan panduan yang diusulkan, memastikan keterlibatan regulator tanpa mengendalikan jalannya program.

Kriteria Insiden yang Wajib Dilaporkan

Anggota SAFE akan sepakat untuk melaporkan berbagai jenis insiden yang menimbulkan risiko keamanan signifikan. Berikut rincian kategori insiden yang masuk dalam cakupan pelaporan:

1. Akses tanpa izin: Insiden di mana sistem AI mengakses atau mengeksploitasi sistem pihak ketiga tanpa otorisasi yang sah dari pemilik sistem.
2. Pelanggaran kerahasiaan: Peristiwa di mana agen AI membocorkan informasi rahasia atau data sensitif yang seharusnya dilindungi.
3. Penyelidikan berkelanjutan: Situasi di mana agen AI terus melakukan probing atau pengujian terhadap target produksi setelah operatornya mencurigai aktivitas tersebut tidak berwenang.
4. Near miss: Kejadian-kejadian yang hampir menyebabkan insiden nyata namun berhasil dicegah, yang juga harus dilaporkan untuk tujuan pembelajaran preventif.

Selain pelaporan insiden, anggota wajib melestarikan bukti digital dari setiap kejadian, termasuk prompt yang digunakan, jejak agen (agent traces), panggilan alat (tool calls), identitas, izin akses, dan kredensial yang terlibat dalam insiden tersebut.

Timeline dan Prosedur Pelaporan

Kerangka SAFE menetapkan serangkaian tenggat waktu ketat untuk memastikan respons yang cepat dan transparan terhadap setiap insiden. Urutan pelaporan yang diwajibkan bagi anggota adalah sebagai berikut:

1. Notifikasi segera: Anggota harus memberitahu organisasi yang terdampak sesegera mungkin setelah insiden teridentifikasi.
2. Laporan awal rahasia: Dalam waktu empat hari kerja, anggota wajib menyampaikan laporan awal yang bersifat rahasia ke pusat SAFE.
3. Laporan fakta pendahuluan: Jika dianggap sesuai, laporan fakta pendahuluan harus dipublikasikan dalam tenggat waktu 30 hari sejak insiden terjadi.
4. Pembaruan remediasi: Anggota harus menyampaikan pembaruan mengenai langkah perbaikan dan mitigasi dalam waktu 90 hari.

Menariknya, rancangan tersebut secara tegas menyatakan bahwa niat tidak menentukan apakah suatu peristiwa wajib dilaporkan atau tidak. Panduan tersebut menegaskan: "Percaya bahwa suatu lingkungan bersifat simulasi mungkin dapat menjelaskan sebuah insiden, tetapi itu tidak menghapus kewajiban untuk melaporkannya." Ketentuan ini memastikan bahwa setiap kegagalan sistem tetap tercatat tanpa terkecuali.

Model NASA dan Konsep Flight Recorder Digital

Setelah data dari berbagai insiden terkumpul, SAFE akan menganalisis kegagalan yang berulang dan merekomendasikan kontrol keamanan bersama bagi seluruh anggota. Pendekatan ini sengaja dimodelkan setelah sistem pelaporan keselamatan penerbangan milik NASA. Justin Boitano, Wakil Presiden sekaligus General Manager Enterprise Computing di Nvidia, menjelaskan kepada Axios di ajang Black Hat bahwa program ini meniru sistem pelaporan keselamatan penerbangan NASA, di mana insiden dapat diselidiki menggunakan data yang direkam oleh flight recorder pesawat. Dalam konteks keamanan siber, Boitano membandingkan harness atau sistem pengawasan agen AI sebagai flight recorder digital yang memiliki visibilitas penuh terhadap segala tindakan agen. Jika para ahli keamanan siber dapat mengakses flight recorder tersebut, mereka akan mampu melakukan investigasi yang jauh lebih mendalam terhadap penyebab kegagalan agen AI, sehingga ekosistem industri dapat memperkuat pertahanan secara kolektif.

Dengan semakin meluasnya adopsi agen AI di berbagai sektor kritis, kerangka SAFE diharapkan menjadi fondasi bagi budaya transparansi dan pembelajaran dari kegagalan.