Agent World Model in the Wild (arXiv:2610.26828): Sintesis Lingkungan Komputer Multimodal GUI-MCP-CLI, 5 Quality Gates Eksekusi, dan Penguatan Generalisasi CUA

1. Mengapa Melatih Agen di Lingkungan Komputer Nyata Sangat Berbahaya dan Mahal?

Pergeseran fundamental dalam riset agen cerdas adalah transisi dari learning from human demonstrations menuju learning through environmental interaction via Reinforcement Learning (RL). Namun, mengeksekusi eksplorasi RL acak langsung di dalam sistem operasi desktop nyata memunculkan hambatan kritis:

2. Arsitektur WildAWM: World Synthesis Melalui Persona & Multi-Day Planning

WildAWM mendefinisikan sebuah World sebagai akumulasi state komputer personal yang mencakup aplikasi web mirror (15 mirror interaktif dari WebHarbor), server dan service yang dapat diakses via Model Context Protocol (MCP), serta file lokal yang mencerminkan riwayat aktivitas seorang pengguna.

Secara formal, akumulasi state lingkungan untuk persona c setelah hari d dinotasikan sebagai W(c, d). Proses ini dibangun dalam tiga tahap berkesinambungan:

1. Persona and Day Planning: Menggunakan model open-source GLM-5.2 di dalam harness OpenCode, generator menciptakan profil persona realistis yang mencakup profesi, daftar kontak, riwayat browser, dan alur kegiatan multi-hari. Setiap hari berikutnya dirancang dengan menginspeksi state hari sebelumnya W(c, d - 1) untuk menjaga kontinuitas digital.
2. Skill-Enhanced Generation: Alih-alih membuat program ad-hoc, generator memanfaatkan library event skills yang reusable. Setiap skill memetakan antarmuka yang terlibat, perubahan state yang harus dihasilkan pada database SQLite/Postgres dan file lokal, serta batasan konsistensi data. Generator menulis skrip deterministik yang dapat di-replay ulang untuk memvalidasi idempotensi state.
3. Cross-Agent Interface (XAI) Task Formulation: Task yang di-generate wajib memenuhi kualifikasi XAI: agen tidak dapat menyelesaikan task hanya dengan satu moda. Agen harus membaca petunjuk di GUI/browser, memanggil fungsionalitas backend melalui tool MCP, dan mengeksekusi transformasi data via CLI terminal.

3. Lima Quality Gates: Eliminasi Task Rusak dan Uji Ketahanan Counterfactual

Kelemahan terbesar dataset sintetis adalah tingginya angka task yang mustahil diselesaikan (unsolvable) atau verifier yang meloloskan agen bodoh (false positives). WildAWM mengatasi hal ini dengan menerapkan 5 Execution-Based Quality Gates yang menguji 6 rollouts nyata dari 18 kombinasi model dan harness:

4. Formulasi Reward Dense GRPO: Menghubungkan Checklist Atomik dengan Keberhasilan Akhir

Tantangan utama pelatihan Reinforcement Learning pada task long-horizon (>100 langkah aksi) adalah kelangkaan sinyal reward (sparse reward problem). Jika reward hanya diberikan di akhir berupa nilai biner (1 atau 0), gradien optimasi model kecil akan kolaps karena sebagian besar rollout menghasilkan reward nol.

WildAWM mengatasi ini dengan merumuskan fungsi reward GRPO berbasis checklist parsial yang tetap outcome-based:

Di mana N adalah jumlah kriteria checklist, dan v_i ∈ {0, 1} adalah evaluasi tiap sub-kriteria. Jika format tool call salah (misal format JSON invalid pada panggilan MCP), agen langsung menerima penalti r_j = -1 dan pemotongan trajektori seketika. Hal ini memberi sinyal pembelajaran dense bahkan sebelum agen berhasil menuntaskan seluruh rantai pekerjaan.

5. Hasil Benchmark: Lompatan Generalisasi Out-of-Distribution (OOD)

Model yang dilatih secara eksklusif pada 341 dunia sintetis WildAWM dievaluasi melintasi 8 benchmark eksternal OOD yang mencakup tiga domain agen: Web Agent (Online-Mind2Web, WebArena), Claw Agent (QwenClawBench, ClawEval), dan Computer-Use Agent (CUA-Gym, OSWorld-Verified, OSWorld 2.0, Agents' Last Exam).

Pencapaian di atas membuktikan bahwa melatih model pada lingkungan sintetis multimodal yang kaya (GUI, MCP, CLI) mentransfer generalisasi yang kuat ke skenario tugas dunia nyata yang belum pernah dilihat sebelumnya. Model 35B yang dilatih di WildAWM bahkan mengungguli baseline spesialis seperti CUA-Gym dan OpenForgeRL.

6. Implementasi Referensi: WildAWM Environment Engine & Multi-Gate Verifier

Berikut adalah modul TypeScript implementasi engine verifikasi dan reward calculator WildAWM yang dapat langsung diaplikasikan ke dalam orchestrator agen, simulasi sandbox Docker, atau pipeline evaluasi otomatis:

${WILDAWM_CODE_SNIPPET}

7. Panduan Praktis untuk AI Engineer dan Arsitek Sistem di 2026

1. Hindari Evaluasi Agen Single-Interface: Menguji agen hanya di terminal (CLI) atau hanya di DOM browser akan menciptakan bias kemampuan yang rapuh. Arsitektur produksi modern wajib menggabungkan eksekusi terminal, tool calling MCP, dan visual inspeksi GUI.
2. Wajib Menggunakan Counterfactual Probing pada Evaluator: Jangan pernah mempercayai LLM judge tanpa uji provokasi. Jika evaluator Anda membatalkan penilaian benarnya hanya karena diberi klaim palsu, evaluator tersebut rentan terhadap eksploitasi adversarial dan halusinasi.
3. Gunakan Dense Partial Credit untuk RL Long-Horizon: Bagi task besar ke dalam checklist kriteria independen. Memberikan reward parsial terarah menjaga kestabilan variance grup pada algoritma seperti GRPO atau PPO.
4. Isolasi Eksplorasi dalam Sandbox Snapshot Deterministik: Gunakan snapshot filesystem dan database yang dapat di-reset secara instan ke state W(c, d) sehingga ribuan rollout agen dapat berjalan paralel tanpa mengorbankan integritas data.