HyperBrowseComp 2026: Benchmark Multilingual & Multimodal Stress Test untuk Autonomous Web-Browsing Agents, Evaluasi 13 Bahasa, dan Analisis Bottleneck Retrieval Harness

1. Krisis Evaluasi Web Agent: Saturasi Pengetahuan Parametrik & Jebakan Monolingual

Sejak paruh kedua tahun 2025, pergeseran paradigma dari Large Language Model (LLM) percakapan pasif menuju Autonomous Agent yang mengoperasikan perkakas (tool-using agents) telah mengubah arsitektur aplikasi AI di seluruh dunia. Agen kini diharapkan mampu menjelajahi web terbuka, membaca dokumentasi, melakukan scraping terarah, memverifikasi bukti silang, dan menarik kesimpulan faktual berlatensi tinggi.

Namun, perkembangan pesat ini membentur dinding besar pada infrastruktur tolok ukur (benchmarking). Benchmark generasi sebelumnya seperti GAIA, WebArena, dan BrowseComp mulai mengalami saturasi diskriminatif akibat dua cacat struktural:

• Saturasi Pengetahuan Parametrik (Parametric Leakage): Banyak pertanyaan dalam BrowseComp memiliki karakteristik trivia faktual yang ternyata telah terhafalkan di dalam bobot model selama fase pre-training. Model sering kali memberikan jawaban benar bukan karena keberhasilan browsing, melainkan karena halusinasi yang kebetulan akurat berdasarkan memori internal.
• Monolingual & Text-Centric Bias: Web dunia nyata tidak hanya tersusun dari artikel berita berbahasa Inggris. Sekitar 60% informasi operasional, logistik lokal, dan arsip pemerintah tersimpan dalam format visual (PDF hasil pindaian scan/OCR), rekaman video YouTube lokal, infografis peta, serta ditulis dalam bahasa non-Inggris yang memiliki terminologi budaya spesifik.

2. Metodologi HyperBrowseComp: 423 Soal, 13 Bahasa, 8 Modalitas, dan Protokol Anti-Kontaminasi

HyperBrowseComp dibangun dengan filosofi Single Short Answer: setiap pertanyaan memiliki jawaban tunggal yang ringkas, objektif, dan tidak ambigu (nama entitas, tanggal pasti, angka numerik presisi). Hal ini mengeliminasi perdebatan subjektif pada tahap penjurian otomatis.

Yang membuat tolok ukur ini luar biasa adalah kenyataan bahwa seluruh pertanyaan ditulis langsung oleh penutur asli (native speakers), bukan diterjemahkan dari dataset benih bahasa Inggris. Hal ini menjaga nuansa pencarian lokal, idiom, serta kebiasaan navigasi web yang autentik.

3. Hasil Pengujian Model Frontier: Performa Native Search, Exa API, dan OWL Harness

Penelitian ini menguji lima model bahasa frontier komersial dalam konfigurasi mesin penelusuran bawaan penyedia (built-in search), serta membandingkannya dengan mesin penelusuran saraf eksternal Exa dan harness agen visual interaktif berbasis browser nyata OWL.

4. Fenomena Harness Inversion: Mengapa Mengganti Retrieval API Mengacaukan Performa Model?

Salah satu temuan paling berharga dari studi HyperBrowseComp adalah bukti empiris mengenai Harness Inversion: asumsi bahwa mesin pencarian saraf (seperti Exa) adalah pengganti serbaguna (drop-in replacement) yang selalu meningkatkan kecerdasan agen ternyata keliru secara mendasar.

5. Evaluasi Manusia vs Agen AI: Disparitas Kinerja pada Bahasa Non-Inggris (Indonesia, Thai, Vietnam)

Untuk mengkalibrasi tingkat kesulitan benchmark, peneliti merekrut penutur asli untuk menyelesaikan sampel 30 pertanyaan (masing-masing 10 pertanyaan dalam Bahasa Indonesia, Thai, dan Vietnam) tanpa bantuan LLM, dengan batas waktu maksimal 60 menit per soal.

Perhatikan kontras yang sangat menarik: Penutur asli Indonesia mampu memecahkan soal dengan akurasi 60% dalam waktu tercepat (40.2 menit), memanfaatkan pemahaman kontekstual terhadap situs portal berita daerah, portal pemerintah daerah, dan istilah slang. Namun sebaliknya, model AI frontier paling canggih justru mengalami kegagalan hingga 69.2% pada Bahasa Indonesia. Model sering kali gagal memahami singkatan birokrasi lokal, salah menafsirkan penulisan tanggal di portal web daerah, atau terjebak pada halaman paywall/reklame.

6. Implementasi Arsitektur Produksi: Resilient Multimodal Browsing Harness & Circuit Breaker (TypeScript)

Berdasarkan kelemahan fatal yang terungkap pada HyperBrowseComp, arsitektur agen penelusuran web di tingkat enterprise harus meninggalkan pola naive ReAct tunggal. Di bawah ini adalah modul arsitektur Resilient Multimodal Browsing Harness yang mengimplementasikan Circuit Breaker, Dynamic Harness Routing, serta isolasi modalitas untuk mencegah kegagalan beruntun:

// Production Architecture: Resilient Multilingual & Multimodal Web-Browsing Agent Harness
// Mengatasi Masalah Harness Inversion, Tool Fragility, dan Multi-Hop Clue Chaining
// Berdasarkan Analisis Empiris HyperBrowseComp (arXiv:2610.03574 - Oktober 2026)

export interface SearchEvidence {
  sourceUrl: string;
  modality: 'text' | 'image' | 'video_transcript' | 'pdf_ocr' | 'map' | 'table';
  language: string;
  extractedSnippet: string;
  confidenceScore: number;
  retrievalLatencyMs: number;
  circuitBreakerState: 'CLOSED' | 'HALF_OPEN' | 'OPEN';
}

export interface ClueTrajectoryStep {
  stepIndex: number;
  queryFormulated: string;
  detectedModality: string;
  targetLanguage: string;
  selectedHarness: 'PROVIDER_NATIVE' | 'EXA_NEURAL' | 'BROWSER_CDP_OWL';
  rawResponseTokens: number;
  verifiedAnswerPart?: string;
}

export class ResilientBrowsingHarness {
  private consecutiveFailures: Map = new Map();
  private maxAllowedConsecutiveErrors = 2; // Mencegah 93 terminal tool crashes seperti pada OWL

  /**
   * Adaptive Harness Router:
   * Mengatasi Harness Inversion di mana model tertentu (misal GPT-5.6) optimal pada Exa,
   * sedangkan keluarga Gemini membutuhkan built-in retrieval API untuk mempertahankan efisiensi token.
   */
  public selectOptimalHarness(
    modelFamily: 'gemini' | 'gpt' | 'claude' | 'open_weights',
    modality: SearchEvidence['modality'],
    depthHop: number
  ): 'PROVIDER_NATIVE' | 'EXA_NEURAL' | 'BROWSER_CDP_OWL' {
    if (this.isCircuitBroken('BROWSER_CDP_OWL') && modality === 'map') {
      return 'EXA_NEURAL';
    }

    if (modelFamily === 'gpt') {
      // Data empiris: Exa meningkatkan GPT-5.6 Sol sebesar +7.56%
      return modality === 'text' || modality === 'table' ? 'EXA_NEURAL' : 'PROVIDER_NATIVE';
    }

    if (modelFamily === 'gemini') {
      // Data empiris: Exa menurunkan akurasi Gemini 3.7 (-9.46%) dan memboroskan token 47x lipat
      return 'PROVIDER_NATIVE';
    }

    // Default fallback untuk modalitas visual interaktif (maps, dynamic canvas)
    return depthHop > 3 ? 'EXA_NEURAL' : 'BROWSER_CDP_OWL';
  }

  public recordStepFailure(harness: string): void {
    const current = this.consecutiveFailures.get(harness) || 0;
    this.consecutiveFailures.set(harness, current + 1);
  }

  public isCircuitBroken(harness: string): boolean {
    return (this.consecutiveFailures.get(harness) || 0) >= this.maxAllowedConsecutiveErrors;
  }
}

7. Rekomendasi Rekayasa untuk Pengembang Sistem Autonomous Agent 2026

Bagi tim rekayasa perangkat lunak dan arsitek AI yang membangun sistem autonomous agent di tahun 2026, hasil riset HyperBrowseComp memberikan panduan taktis yang sangat berharga:

• 1. Jangan Pernah Mengandalkan Satu Provider Retrieval Tunggal: Model yang berbeda memiliki bias representasi yang berbeda terhadap format snippet pencarian. Gunakan orkestrasi adaptif: kirim kueri faktual ke native provider search, namun alihkan kueri crawling mendalam ke API neural (seperti Exa/Firecrawl) dengan sanitasi token yang ketat.
• 2. Terapkan Fail-Closed Circuit Breaker pada Tool Browser Interaktif: Kegagalan 93 run pada harness OWL membuktikan bahwa tool browser interaktif (CDP/Playwright) sangat rentan terhadap DOM freeze dan canvas tak terbaca. Pasang batas toleransi maksimal 2 kegagalan berturut-turut sebelum secara otomatis menurunkan (graceful degradation) mode agen ke ekstraksi teks terstruktur atau API langsung.
• 3. Prioritaskan Pipeline OCR & Transkrip Multimodal Lokal: Dengan 64.3% pertanyaan membutuhkan bukti non-teks, agen web yang hanya mengandalkan parser HTML akan gagal total. Integrasikan modul ekstraksi OCR gambar dan transkripsi audio/video berlatensi rendah sebelum meneruskan payload ke context window reasoning model.