VeriCUA (arXiv:2610.40578): Verification as Agentic Exploration untuk Computer-Using Agents — Mengatasi Keterbatasan Pasif VLM Judge, Adaptive Hybrid Action Space, dan Penurunan 50% False Positive Rate

Ledakan kapabilitas Computer-Using Agents (CUAs)—agen AI multimodal yang berinteraksi langsung dengan antarmuka grafis sistem operasi desktop (OSWorld), perangkat seluler (AndroidWorld), dan aplikasi web kompleks (WebArena)—telah menyingkap satu paradoks mendasar dalam rekayasa AI otonom: agen semakin lihai mengeksekusi aksi, namun evaluator otomatis semakin tak berdaya memastikan apakah tugas tersebut benar-benar sukses diselesaikan.

Selama ini, industri bersandar pada dua paradigma evaluasi otomatis: Passive VLM Judges (model visi-bahasa yang memeriksa riwayat tangkapan layar trajektori secara pasif) dan Auto-Generated Verifiers (skrip evaluasi yang di-generate sekali jalan untuk membaca state mesin). Keduanya menderita cacat fatal yang sama: keterbatasan observasi parsial (partial observability). VLM Judge buta terhadap isi menu tersembunyi, popup yang telah tertutup, atau proses background; sementara verifier berbasis kode statis kerap keliru menebak path penyimpanan internal atau gagal memvalidasi fidelitas visual.

Gambar 1: Alur kerja VeriCUA (arXiv:2610.40578). Verifikasi diformulasikan sebagai eksplorasi agentik aktif: Environment Inspection → Rubric Synthesis → Adaptive Hybrid Action Space → Rule-Based Arbitration.

Melalui riset frontier kolaboratif Google Research dan The University of Hong Kong bertajuk "VeriCUA: Verification as Agentic Exploration for Computer-Using Agents" (arXiv:2610.40578, Qiushi Sun, Da Yu, Alexander Knop, Amer Sinha, Lingpeng Kong, Ben Kao, Ravi Kumar, Pritish Kamath), diresmikan paradigma baru: Verification as Agentic Exploration. Alih-alih menilai secara pasif atau kaku, agen verifier bertindak sebagai detektif otonom yang secara aktif menginterogasi sistem operasi pasca-eksekusi untuk mengumpulkan bukti tak terbantahkan (attested evidence).

1. Anatomi Masalah: Mengapa Evaluator Pasif Mengalami Halusinasi Verifikasi

Dalam reinforcement learning (RL) dan kurasi dataset pelatihan agen, reward signal yang salah (false positive reward) jauh lebih merusak dibanding false negative. Bila verifier menyatakan agen "sukses" padahal agen hanya mengeklik tombol tanpa menyimpan data, model RL akan mengalami reward hacking dan runtuh dalam waktu singkat.

Evaluator konvensional mengalami tiga kendala arsitektural sistemik:

2. Arsitektur VeriCUA: Eksplorasi Aktif Lintas Tiga Modalitas State

VeriCUA memisahkan verifikasi menjadi proses penalaran dinamis berulang. Diberikan instruksi $g$ dan status mesin pasca-eksekusi $s_T$, VeriCUA membedah lingkungan ke dalam tiga representasi terpisah:

Gambar 2: Tiga modalitas observasi VeriCUA: (1) Trajectory historis, (2) Surface GUI interaktif pasca-tugas, dan (3) Persisted Machine State (file/database) via sandboxed shell execution.

• Trajectory Source $mathcal{S}_{ ext{traj}}$: Catatan histori frame rekaman, log aksi mouse/keyboard, dan penalaran token yang dilakukan agen selama durasi tugas.
• Surface GUI Source $mathcal{S}_{ ext{surface}}$: Tampilan visual langsung antarmuka desktop/ponsel saat ini. Verifier dapat mengambil screenshot baru, mengklik elemen UI, menggulir layar, atau membaca accessibility tree (a11ytree).
• Persisted State Source $mathcal{S}_{ ext{persist}}$: Berkas fisik pada filesystem, record pada tabel SQLite, registry OS, hingga proses daemon yang berjalan, diinspeksi melalui perkakas kode terisolasi (sandboxed shell commands).

3. Disiplin Bukti: Penegakan Attested vs Asserted & Keputusan Tiga Status

Inovasi paling esensial dalam desain VeriCUA adalah Evidence Discipline. Verifier tidak boleh menganggap pernyataan teks dari agen ("Saya telah berhasil menyimpan dokumen") sebagai kebenaran.

4. Hasil Eksperimen: Penurunan 50% False Positive & Rekor Akurasi OSWorld

Evaluasi komprehensif dilakukan pada tiga benchmark online interaktif (AndroidWorld, OSWorld, ScienceBoard) serta benchmark rekaman offline lintas platform (OSReward, OSReward-Hard, WebArena).

Keunggulan paling mencolok tampak pada metrik False Positive Rate (FPR):

• Di AndroidWorld, FPR dipangkas tepat separuh, dari 15.4% menjadi hanya 7.7%.
• Di desktop kompleks OSWorld, FPR terpangkas lebih dari separuh, dari 27.9% turun drastis ke 13.9%.
• Pada subset trajektori sulit OSReward-Hard, akurasi VeriCUA mencapai 70.4% (Balanced Acc 68.3%), melampaui TRM (57.4%), CUAJudge (63.4%), dan OS-Themis (65.7%).

Inspeksi kamera Android: VeriCUA membuka album untuk memastikan video benar-benar tersimpan di storage fisik.

Inspeksi Shotcut di Linux Desktop: verifier memverifikasi rendering file MP4 alih-alih hanya melihat timeline GUI.

5. Implementasi Rekayasa: VeriCUA Exploration & Evidence Discipline Engine

Berikut adalah arsitektur TypeScript siap produksi untuk mengintegrasikan mesin verifikasi VeriCUA ke dalam harness pengujian agen AI:

${VERICUA_CODE_SNIPPET}

6. Panduan Implementasi untuk Arsitek AI Agent & Platform RL

Bagi tim engineer yang sedang membangun pipeline evaluasi CUA atau reward model RL (seperti GRPO atau PPO):