CUAWright 2026: Arsitektur Minimal Terminal Harness ~3K LOC untuk Digital Agents, Eliminasi Bottleneck GUI-Native, Vision-on-Demand, dan Lompatan Performa +44.0% pada Long-Horizon Tasks

1. Mengapa Antarmuka GUI & Static Tool-Harness Menjadi Bottleneck Utama Frontier Agent?

Dalam beberapa tahun terakhir, penelitian mengenai Computer-Use Agents (CUA) berpusat pada peniruan interaksi manusia di tingkat permukaan: menggerakkan kursor mouse ke koordinat $(x, y)$, mengeklik tombol grafis, mengetikkan string ke input field aktif, atau menafsirkan accessibility tree (AXTree / DOM snapshot). Pendekatan ini diwujudkan melalui harness domain-spesifik seperti ekstensi browser, peramban Playwright, atau desktop virtual VNC.

Namun, seiring pesatnya lonjakan kapabilitas penalaran simbolik dan pembuatan kode (coding proficiency) pada model frontier seperti GPT-5.5, GPT-5.6 Sol, Claude Opus 5, dan Qwen3.5, paradigma antarmuka GUI statis ini justru menjadi hambatan sistemik yang melumpuhkan kemampuan model:

• Pembengkakan Konteks Visual yang Eksplosif: Pada agen interaktif konvensional, setiap pergantian langkah (turn) selalu menyertakan screenshot layar penuh beresolusi tinggi (atau pohon DOM berukuran puluhan ribu node). Pada tugas horizon-panjang yang menuntut 80 hingga 150 langkah eksekusi, akumulasi gambar ini menghabiskan kuota context window dalam hitungan menit dan melambungkan biaya token API hingga puluhan dolar per tugas.
• Kerapuhan Grounding Koordinat (Visual Hallucination): Meminta model memprediksi koordinat piksel $(x, y)$ untuk mengeklik elemen di tengah antarmuka desktop yang dinamis (misalnya dropdown menu yang menutup otomatis atau pop-up modal bertumpuk) memiliki tingkat kegagalan fatal tinggi. Kesalahan geser 5 piksel saja dapat membatalkan seluruh transaksi alur kerja.
• Rigiditas Tool Harness yang Terkunci (Static Toolset): Harness konvensional membekukan daftar alat (tool definitions) sebelum eksekusi dimulai. Jika agen menghadapi skenario khusus—seperti kebutuhan memfilter berkas CSV ratusan megabita, mengekstrak arsip terkompresi, atau melakukan kueri regex berulang—agen tidak memiliki kebebasan untuk menyusun utilitas otomasi baru.

2. Formulasi Teoretis: Partially Observable Markov Decision Process & Aksi Terminal Tunggal

Dalam makalah CUAWright, tugas agen digital dimodelkan secara matematis sebagai Partially Observable Markov Decision Process (POMDP) dengan tupel formal:

di mana:

• $\mathcal{S}$: Ruang keadaan lingkungan yang didekomposisi menjadi $s_t = (x_t, f_t)$, dengan $x_t$ merepresentasikan keadaan internal aplikasi/sistem dan $f_t$ merepresentasikan keadaan sistem berkas persisten (filesystem).
• $\mathcal{O}$: Ruang observasi, di mana $o_t$ secara default hanya berupa keluaran teks standar (stdout/stderr) dari eksekusi terminal sebelumnya.
• $\mathcal{A}_{\text{term}}$: Ruang tindakan terminal terpadu, di mana setiap aksi $a_t$ adalah perintah Bash yang valid.
• $\mathcal{T}$: Fungsi transisi keadaan yang menghasilkan transisi $s_{t+1} = \mathcal{T}_E(s_t, a_t)$ dan observasi $o_{t+1}$.

Berbeda dari model hybrid yang mencampurkan aksi bash dengan puluhan tool khusus (misalnya click_mouse, press_key, navigate_browser), CUAWright mempertahankan ruang aksi $\mathcal{A}_{\text{term}}$ tetap seragam dan invarian lintas domain. Ketika manipulasi GUI memang tak terhindarkan (misalnya pada aplikasi desktop warisan yang tidak memiliki CLI), agen menggunakan perkakas baris perintah standar seperti xdotool, pyautogui, atau skrip Python khusus yang dipanggil melalui terminal.

3. Vision-on-Demand: Menghilangkan Screenshot Inflasi & Memotong Biaya Hingga Sepertiga

Salah satu inovasi paling berdampak dalam desain arsitektur CUAWright adalah prinsip Vision on Demand, Not by Default.

Pada paradigma konvensional:

Di sini setiap langkah selalu menyuntikkan gambar snapshot layar ke konteks model. Pada CUAWright, observasi $o_t$ secara default murni terdiri dari teks respons terminal. Jika dan hanya jika agen membutuhkan verifikasi visual, agen memanggil alur inspeksi dua langkah:

1. Agen mengeksekusi tool CLI penangkap layar dengan jalur penyimpanan berkas tertentu (misalnya: python3 -m cuawright.vision capture --out /workspace/inspect.png).
2. Agen mengeksekusi tool pemuatan gambar (image loader CLI) untuk menyuntikkan berkas visual tersebut ke dalam konteks penalaran langkah berikutnya.

Hasilnya sangat mengejutkan: pada benchmark desktop OSWorld 2.0 yang menuntut interaksi intensif, biaya token API berkurang dari $13.90 menjadi $4.40 per tugas pada GPT-5.6 Sol (-68.3%) dan dari $16.10 menjadi $10.10 pada GPT-5.5 (-37.5%), sembari secara simultan meningkatkan skor akurasi karena model tidak terganggu oleh noise visual berulang.

4. Workspace Sistem Berkas sebagai Substrat Memori Eksternal & Konstruksi Perkakas Dinamis

Banyak framework agen modern menyusun arsitektur memori yang teramat rumit: basis data vektor terpisah, graf pengetahuan ad-hoc, atau modul memori semantik dengan API kustom. CUAWright menolak kompleksitas tersebut dan mengandalkan struktur yang telah teruji selama setengah abad: Sistem Berkas Lokal ($w_t \subseteq f_t$).

5. Analisis Hasil Empiris: OSWorld 2.0, Odysseys, Online-Mind2Web, BenchCAD, dan WeaveBench

CUAWright dievaluasi secara ketat pada 6 lingkungan tugas digital dunia nyata:

6. Studi Ablasi Mendalam: Single-Agent vs Multi-Agent & Pengaruh Vital Akses Filesystem

Makalah ini menyajikan dua studi ablasi penting yang mematahkan sejumlah mitos populer dalam rekayasa agen AI:

7. Desain Arsitektur Produksi: CUAWright Minimalist Harness Engine (TypeScript)

Berikut adalah implementasi referensi arsitektur runtime CUAWright dalam TypeScript, yang memadukan eksekusi sandboxed Bash, inspeksi visual on-demand, dan persistent workspace management:

// Production Architecture: CUAWright Minimal Unified Terminal Harness
// Berdasarkan Arsitektur Sistem Riset arXiv:2610.04116 (Oktober 2026 - Microsoft Research, OSU, NUS, CMU)
//
// Karakteristik Inti:
// 1. Single Action Space: Bash execution sebagai satu-satunya antarmuka tindakan agen.
// 2. Vision-on-Demand: Screenshot tidak dimuat secara default; visual di-load via CLI tool eksplisit saat diperlukan.
// 3. Persistent Workspace: Sistem berkas lokal (wt) sebagai memori eksternal tanpa overhead state terpisah.
// 4. Dynamic Tool Construction: Agen menulis skrip otomasi baru ke dalam workspace untuk digunakan kembali.

export interface ExecutionObservation {
  stdout: string;
  stderr: string;
  exitCode: number;
  visualArtifactUri?: string;
  executionDurationMs: number;
}

export interface WorkspaceArtifact {
  path: string;
  type: 'script' | 'log' | 'intermediate_data' | 'visual_cache';
  sizeBytes: number;
  lastModified: number;
}

export class CUAWrightTerminalHarness {
  private readonly workspaceRoot: string;
  private readonly bashTimeoutMs: number;
  private trajectoryHistory: Array<{ command: string; observation: ExecutionObservation }> = [];

  constructor(workspaceRoot: string = '/tmp/agent_workspace', bashTimeoutMs: number = 30000) {
    this.workspaceRoot = workspaceRoot;
    this.bashTimeoutMs = bashTimeoutMs;
  }

  /**
   * Action Step a_t in A_term:
   * Menjalankan perintah bash deterministik di dalam persistent workspace environment.
   */
  public async executeAction(command: string): Promise {
    const startTime = performance.now();
    try {
      // Menjalankan command dalam subshell dengan working directory terkunci ke workspace
      const result = await this.spawnSandboxedBash(command, this.workspaceRoot, this.bashTimeoutMs);
      const observation: ExecutionObservation = {
        stdout: result.stdout,
        stderr: result.stderr,
        exitCode: result.exitCode,
        executionDurationMs: Math.round(performance.now() - startTime),
      };

      this.trajectoryHistory.push({ command, observation });
      return observation;
    } catch (error: any) {
      return {
        stdout: '',
        stderr: error.message || 'Subprocess execution error',
        exitCode: 1,
        executionDurationMs: Math.round(performance.now() - startTime),
      };
    }
  }

  /**
   * Vision on Demand:
   * Mengambil screenshot hanya saat agen mengeksekusi tool CLI secara sadar,
   * memangkas ukuran context window dan biaya token hingga 37.5%.
   */
  public async requestVisualInspection(targetRegion?: string): Promise {
    const captureCommand = targetRegion 
      ? `python3 -m cuawright.vision capture --region "${targetRegion}" --out ${this.workspaceRoot}/inspect.png`
      : `python3 -m cuawright.vision capture --fullscreen --out ${this.workspaceRoot}/inspect.png`;

    const obs = await this.executeAction(captureCommand);
    if (obs.exitCode !== 0) {
      throw new Error(`Failed to capture visual state: ${obs.stderr}`);
    }

    return `${this.workspaceRoot}/inspect.png`;
  }

  /**
   * Dynamic Tool Materialization:
   * Mengizinkan agen menulis alat bantu baru ke disk, memverifikasi sintaksnya,
   * dan menambahkannya ke himpunan program efektif P_t.
   */
  public async materializeCustomTool(scriptName: string, scriptContent: string): Promise {
    const scriptPath = `${this.workspaceRoot}/tools/${scriptName}`;
    const writeCommand = `cat << 'EOF' > ${scriptPath}\n${scriptContent}\nEOF\nchmod +x ${scriptPath}`;
    const res = await this.executeAction(writeCommand);
    return res.exitCode === 0;
  }

  private async spawnSandboxedBash(cmd: string, cwd: string, timeout: number): Promise<{ stdout: string; stderr: string; exitCode: number }> {
    // Implementasi runtime interface OS (Node.js child_process / eBPF sandbox)
    return { stdout: 'EXECUTION_SUCCESS', stderr: '', exitCode: 0 };
  }
}

8. Panduan Rekayasa 2026: Mengapa Lingkungan Digital Jauh Lebih Programmable daripada GUI-nya

Hasil riset CUAWright memberikan implikasi mendalam bagi para arsitek sistem, AI engineer, dan perancang agen otonom di era 2026:

• Hentikan Overengineering GUI Wrapper: Jangan menghabiskan waktu membangun puluhan tool kustom berformat JSON Schema untuk setiap tombol atau menu aplikasi. Cukup sediakan satu antarmuka shell Unix yang aman dengan hak akses yang terisolasi. Model frontier jauh lebih andal menulis skrip one-liner Bash atau skrip Python ad-hoc daripada menebak argumen tool kustom.
• Terapkan Vision-on-Demand: Jangan pernah mengirimkan screenshot secara otomatis pada setiap langkah agen. Ambil screenshot hanya ketika agen mengalami status kegagalan (non-zero exit code), saat melakukan verifikasi akhir hasil keluaran grafis, atau ketika agen secara eksplisit memanggil perintah inspeksi visual.
• Jadikan Filesystem sebagai Memori Utama: Hindari arsitektur memori in-memory kompleks yang hilang saat restart atau membebani context window. Berikan direktori kerja persisten kepada agen, biarkan agen mengelola berkas TODO.md, skrip utilitas, dan log intermediate secara mandiri.