EpiSEM-Bench (arXiv:2610.31650): Mengevaluasi Safety Boundaries & Evidence Recovery pada LLM Agents di Bawah Missing Evidence — Ilusi Truthful Observation, Kegagalan Blind Action, dan Arsitektur Paired Useful Recovery (PUR)

1. Paradigma Baru Keamanan Agen: Kesenjangan Antara Truthful Observation dan Sufficient Evidence

Bayangkan seorang AI agent di departemen keuangan yang diminta oleh seorang manajer: "Tolong kirimkan pembayaran invoice senilai $15.000 ke vendor X." Agen memanggil tool get_vendor_info dan menerima informasi yang 100% akurat: nama vendor benar, nomor rekening valid, dan status invoice tercatat belum dibayar. Namun, tool tersebut tidak menyertakan data mengenai sisa limit otorisasi harian perusahaan yang saat itu hanya tersisa $5.000.

Karena tidak melihat adanya larangan eksplisit dalam payload respons alat, agen langsung memanggil tool komit destruktif: execute_wire_transfer. Operasi ini secara hukum melanggar aturan kepatuhan finansial, menimbulkan kerugian likuiditas, dan memecahkan batasan keamanan.

Gambar 1: Arsitektur Inti EpiSEM-Bench (arXiv:2610.31650). Pemisahan tegas antara keadaan penuh (private state) yang dipegang evaluator independen untuk mengadili legalitas aksi, dengan apa yang diproyeksikan ke jendela konteks agen. Aturan keamanan dieksekusi melalui commit tool tanpa penjagaan lingkungan pasif agar keputusan berbahaya agen dapat diobservasi secara deterministik.

Di sinilah letak perbedaan fundamental yang diajukan oleh tim peneliti CityU, HKUST-GZ, dan CUHK-Shenzhen:

• Serangan Adversarial Tradisional (AgentDojo, BFCL): Penyerang menyuntikkan instruksi manipulatif ke dalam dokumen eksternal untuk membajak kontrol alur model.
• Missing Evidence (EpiSEM-Bench): Tidak ada penyerang, tidak ada data palsu. Semua data yang terbaca valid. Kegagalan murni dipicu oleh epistemic blind spot: agen bertindak atas dasar asumsi permisif (optimistic assumption) bahwa ketiadaan bukti larangan sama artinya dengan izin untuk mengeksekusi aksi.

2. Metodologi Matched Twins & Lingkungan Evaluasi Dua Mode (SE vs RE)

EpiSEM-Bench dirancang dengan protokol eksperimen yang sangat ketat untuk mengisolasi bias aksi dari kecerdasan model. Benchmark ini mencakup 300 pasang tugas kembar (matched task pairs) di 6 domain industri kritis:

Gambar 2: Karakteristik Domain dan Struktur Observasi (arXiv:2610.31650). Setiap domain terdiri dari 50 pasang tugas (10 keluarga aturan eksekutabel), mencakup 300 kondisi unsafe dan 300 kondisi safe kembar yang mengontrol variabel prompt secara identik.

Arsitektur Dunia Kembar (Matched Twins): Unsafe World vs Safe World

Untuk setiap skenario tugas, dibuat dua lingkungan berpasangan:

• Unsafe World: Nilai state lingkungan berada pada kondisi yang melarang eksekusi aksi (misalnya, limit otorisasi terlampaui). Jika agen mengeksekusi commit tool, itu dihitung sebagai pelanggaran keselamatan kritis (Unsafe Commit).
• Safe World: Nilai state lingkungan berada pada kondisi yang mengizinkan eksekusi aksi (misalnya, limit masih sangat mencukupi). Jika agen menyelesaikan tugas, itu dihitung sebagai penyelesaian sah (Safe-World Success).

Dengan menjaga instruksi pengguna, nama tool, argumen yang diminta, dan skema pemanggilan 100% identik antara kedua dunia, benchmark ini mampu mengukur secara presisi: apakah agen benar-benar memahami fakta lingkungan, ataukah ia hanya agen mekanis yang secara membabi buta selalu mengeksekusi instruksi pengguna tanpa verifikasi?

3. Dua Mode Operasional: Suppression Environment (SE) vs Recovery Environment (RE)

Gambar 3: Alur Pemulihan Bukti (Figure 3 arXiv:2610.31650). Tersedianya tool audit pemulihan tidak otomatis memberikan bukti; agen harus mengenali defisit informasi, memformulasikan query audit yang valid, lalu memodulasi tindakannya sesuai temuan.

4. Evaluasi Empiris 10 Model Frontier: Data & Pembongkaran Ilusi SWS

Penelitian ini menjalankan 6.052 kondisi pengujian tetap untuk setiap model, mencakup 600 baseline penuh dan 5.452 variasi penghapusan atom tunggal (single-atom omissions), ditambah eksplorasi kombinatorial bertingkat untuk menentukan ambang batas batas keselamatan (Safety Boundary Margin / SBM).

3 Temuan Inti yang Mengubah Lanskap Evaluasi Agentic AI:

Gambar 4: Karakterisasi Kegagalan Omission dan Frekuensi Perulangan (Figure 2 arXiv:2610.31650). Menggambarkan perbedaan tajam antara kerentanan terisolasi (GPT-6-Luna pada 21.0% tugas dengan frekuensi kondisi rendah 7.9%) versus kegagalan berulang sistemik (Qwen3-14B pada 97.3% tugas).

5. Formulasi Matematika Metrik Inti: SBM, Cardinality, dan PUR

Untuk mengukur secara formal kapan dan bagaimana batasan keselamatan agen runtuh, EpiSEM-Bench memperkenalkan dua formulasi matematis yang elegan:

1. Safety Boundary Margin (SBM)

Untuk setiap pasangan tugas $i$, misalkan $c_i$ adalah total atom bukti keselamatan kritis yang tersedia ($c_i le 7$). Prosedur pengujian melakukan iterasi kombinatorial terhadap subset penghapusan atom dengan kardinalitas meningkat: $|M| = 1, 2, dots, c_i$. Nilai batas minimum kegagalan $m_i$ didefinisikan sebagai:

Indeks Safety Boundary Margin (SBM) kemudian dinormalisasi terhadap seluruh $N=300$ tugas: $$ ext{SBM} = rac{1}{N} sum_{i=1}^{N} rac{m_i}{c_i + 1} in [0, 1]$$ Nilai SBM mendekati 1.0 menandakan agen sangat tangguh dalam menjaga prinsip kehati-hatian, sedangkan nilai mendekati 0 menandakan agen sudah cacat sejak kondisi baseline.

2. Paired Useful Recovery (PUR)

PUR adalah metrik paling ketat yang mensyaratkan konsistensi aksi pada sepasang kondisi kembar ($T_i^{ ext{unsafe}}$ dan $T_i^{ ext{safe}}$) di bawah mask penghapusan $M$:

Metrik ini menghukum keras model yang "hanya cari aman" dengan cara menolak semua tugas (karena $ ext{Success}_{ ext{safe}} = 0$), sekaligus menghukum model yang "terlalu berani" dengan mengeksekusi semua tugas (karena $ ext{Commit}_{ ext{unsafe}} = 1$).

Gambar 5: Diagnostik Transisi Recovery (Figure 5 & 6 arXiv:2610.31650). Membedakan agen yang melakukan pemulihan ketat di kedua dunia (PUR), pemulihan hanya di dunia bahaya, pemulihan hanya di dunia aman, atau gagal di kedua dunia akibat tidak memanggil tool audit.

6. Implementasi Produksi: TypeScript Epistemic Evidence Guard

Bagi tim rekayasa platform otonom (Hermes, Claude Code, OpenAI Swarms, CrewAI), mengintegrasikan gerbang epistemik sebelum pemanggilan tool destruktif adalah langkah wajib untuk mencegah insiden eksekusi buta. Berikut adalah modul referensi TypeScript kelas produksi:

${EPISEM_CODE_SNIPPET.replace(//g, '>')}

7. Rekomendasi Taktis untuk Rekayasa Agen AI Otonom 2026/2027

1. Tinggalkan Prinsip "Assume Permitted if Not Denied": Sistem agen wajib beralih ke prinsip Epistemic Deny-by-Default. Untuk setiap tindakan yang memiliki dampak finansial, hak akses, atau integritas data, ketiadaan parameter verifikasi dalam konteks wajib memicu status ABSTAIN_SEEK_EVIDENCE, bukan langsung mengeksekusi operasi.
2. Sediakan Tool Audit Epistemik yang Eksplisit: Jangan membebani tool pembacaan umum dengan ratusan field opsional. Sediakan tool terpisah yang didesain khusus untuk verifikasi kepatuhan (seperti verify_authorization_policy atau query_evidence_audit_vault) dan latih agen untuk memanggilnya setiap kali parameter kritis tidak ditemukan.
3. Wajibkan Evaluasi Pasangan Dunia Kembar (Twin-World Benchmarking): Jangan pernah mempercayai metrik evaluasi yang hanya menguji apakah agen berhasil menjalankan perintah pengguna (single-sided task success). Setiap benchmark internal wajib menyertakan kondisi kembar di mana kondisi lingkungan dibalik menjadi dilarang.
4. Terapkan Audit SBM pada Model Serving Pipeline: Uji model agen Anda dengan secara sengaja menghapus field dari payload JSON mock secara kombinatorial. Jika model Anda memiliki nilai $m_i = 0$ atau $m_i = 1$, model tersebut berbahaya untuk dideploy di lingkungan produksi tanpa pengawasan manusia (Human-in-the-Loop).