1. Krisis Kredibilitas Benchmark Rekayasa Perangkat Lunak Statis

Dalam kurun waktu dua tahun terakhir, SWE-bench telah menjadi standar emas de facto untuk mengukur kapabilitas Large Language Model (LLM) dalam menyelesaikan issue repositori GitHub dunia nyata. Namun, fondasi benchmark statis menghadapi dilema struktural yang tak terhindarkan:

• Data Leakage & Pre-training Contamination: Repositori publik, commit history, pull request, dan test suites yang digunakan sebagai tugas evaluasi secara konstan diserap ke dalam corpus pre-training model generasi terbaru. Sebagai buktinya, OpenAI baru-baru ini secara resmi menghentikan pelaporan evaluasi pada SWE-bench Verified setelah menemukan bahwa frontier models mampu mereproduksi gold patches verbatim melalui memorisasi parametrik.
• Task Set Saturation: Skor penyelesaian SWE-bench melonjak dari di bawah 5% pada awal 2024 menjadi di atas 80% pada akhir 2025. Mengganti tugas lama dengan tugas baru (seperti SWE-bench-Live atau SWE-rebench) hanya menunda masalah (temporal freshness) tanpa meningkatkan kompleksitas hakiki, karena tugas manusia sehari-hari memiliki batas kesulitan alami.
• Kelemahan Model-Generated Benchmark Pendahulu: Proyek seperti BugPilot menghasilkan bug secara tidak sengaja (accidental regressions) dan membekukan tugasnya menjadi dataset statis baru. Sementara itu, SwingArena masih bergantung pada pool issue GitHub manusia yang tetap dan hanya mengotomatisasi pembuatan oracle.

Menjawab kebuntuan ini, riset SWE-Duel (arXiv:2610.12569) memperkenalkan paradigma radikal: Self-Scaling Coding Arena. Dalam SWE-Duel, tidak ada satu pun tugas, spesifikasi, atau oracle pengujian yang dibuat sebelum waktu evaluasi (zero pre-existing content). Kedua agent saling menguji dalam pertarungan adversarial simetris di mana tingkat kesulitan tugas ditentukan langsung oleh model yang bersaing.

2. Arsitektur Protokol Red-Blue: Duel Berpasangan & Role-Swapping

SWE-Duel dirancang sebagai arena pertandingan berpasangan (mirrored Red-Blue turns) antara dua coding agent (Agent A dan Agent B) pada repositori perangkat lunak nyata. Sebuah pertandingan terdiri dari sejumlah turn di mana peran dipertukarkan secara adil:

3. Three-Session Task Creation & 3 Executable Validation Gates

Tantangan terbesar dalam evaluasi adversarial otomatis adalah mencegah agent menghasilkan tugas yang tidak adil (misalnya membuat tugas yang mustahil diperbaiki, menghapus fungsionalitas lama, atau menyertakan bug yang tidak dapat diobservasi). SWE-Duel menyelesaikan ini melalui pemisahan ketat 3 sesi konteks dengan gerbang validasi deterministik (executable gates):

4. Aturan Skoring Konjungsi Ketat (Hard Conjunction Scoring)

Saat giliran Blue memecahkan tugas, Blue menerima bundle publik persis seperti Sesi C. Blue bebas memodifikasi kode atau membiarkan PR apa adanya, lalu mengirimkan revisi $d'$. Framework mengevaluasi hasil dengan formula konjungsi biner tanpa kompromi (zero partial credit):

Blue menang jika dan hanya jika ketiga test suite lulus sekaligus:

• S_b = 0: Bug tersembunyi lolos ke branch utama (The bug ships) → Red Menang.
• S_f = 0: Fitur yang diminta rusak atau dihapus secara sengaja → Red Menang.
• S_e = 0: Kode merusak fungsionalitas lama repositori (Regresi) → Red Menang.
• Jika Blue tidak mengubah apa pun pada PR, Gate B menjamin $T_b$ pasti gagal, sehingga Red otomatis menang.

5. Analisis Hasil Turnamen: 1.500 Pertandingan Lintas 15 Repositori & 5 Bahasa

Para peneliti menguji 11 kombinasi model-harness terkemuka pada 15 repositori produksi dalam 5 bahasa (Java, Go, C/C++, Python, Node.js) selama 1.500 ronde turnamen round-robin. Peringkat akhir dihitung menggunakan Bradley-Terry log-strength model:

Dua Karakter Juara: Ekstrem Solver vs. Ekstrem Task Author

Turnamen SWE-Duel mengungkap fenomena penting mengenai bagaimana model mencapai posisi puncak:

• GPT-5.5 (Master Solver): Merajai turnamen berkat akurasi review Blue yang hampir sempurna (98.7% win rate dengan Codex CLI). Model ini mampu mengendus hampir setiap anomali yang disuntikkan lawan dan memperbaikinya tanpa merusak dependensi repositori. Namun, kapabilitas Red agent-nya relatif konvensional (Red win rate hanya 11.3%).
• Claude Opus 4.8 (Master Adversary): Menjadi peserta paling berbahaya dalam peran pencipta tugas. Tingkat kemenangan Red Claude Opus 4.8 mencapai 27.3%—lebih dari 2.4 kali lipat GPT-5.5. Bug yang ditanam Opus 4.8 memiliki kedalaman logika semantik tingkat tinggi yang konsisten menipu model lawan tanpa memicu kecurigaan.
• Kegagalan Model Tier Bawah: Model seperti MiniMax-M3 (Red 2.0%) dan Gemini 3.1 Pro (Red 2.7%) sering kali gagal meloloskan tugas melalui 3 Gerbang Validasi (Sesi A/B/C). Ketika sebuah slot tugas gagal dibuat dalam 5 percobaan, slot tersebut dinyatakan exhausted, memberikan kemenangan gratis (auto-win) secara otomatis kepada pihak lawan.

6. Bukti Empiris Fenomena Self-Scaling: Tingkat Kesulitan Naik Seiring Kecerdasan Model

Pertanyaan ilmiah inti yang dijawab oleh SWE-Duel adalah: Apakah kesulitan tugas benar-benar meningkat ketika model pembuat tugas semakin pintar?

Eksperimen kontrol dalam satu rumpun model (model family) memverifikasi hipotesis ini secara meyakinkan. Ketika sebuah solver referensi tetap (fixed-reference solver) diuji melawan kumpulan tugas yang dibuat oleh model versi lama dibandingkan versi terbaru:

Taksonomi Cacat: Kategori Bug Paling Mematikan bagi Coding Agents

Dari 1.219 turn yang diperebutkan (contested turns), penelitian menganalisis jenis bug yang paling sulit diidentifikasi oleh Blue reviewer:

• Logic Errors (81.9% Blue Success): Cacat logika bisnis adalah kategori paling sulit diperbaiki karena tidak menghasilkan runtime exception dan sintaksis terlihat sempurna.
• Security Vulnerabilities (84.9% Blue Success): Cacat otorisasi, path traversal halus, dan race condition.
• Off-by-One Errors (88.9% Blue Success): Kesalahan indeks loop batas atas/bawah.
• Type Confusion (90.6% Blue Success): Konversi tipe data implisit (khususnya pada Python dan Node.js).
• Input Validation (95.5% Blue Success): Cacat paling mudah dideteksi dan diperbaiki oleh model modern.

7. Implementasi Produksi: Engine Orkestrasi SWE-Duel TypeScript

Berikut adalah implementasi referensi modul SWE-Duel Arena Engine berbasis TypeScript yang mengelola isolasi 3 sesi konteks, validasi gerbang deterministik, dan kalkulasi rating turnamen Bradley-Terry:

${SWEDUEL_CODE_SNIPPET}

8. Implikasi bagi Industri AI & Evaluasi Agent Produksi 2026/2027

Transisi dari evaluasi statis menuju arsitektur self-scaling seperti SWE-Duel membawa implikasi strategis bagi tim rekayasa AI enterprise:

1. Tinggalkan Metrik SWE-bench Statis untuk Evaluasi Akhir: Model yang dilatih khusus (overfitted) pada issue GitHub masa lalu tidak mencerminkan keandalan engineering di repositori internal perusahaan yang dinamis. Evaluasi wajib mengikutsertakan fase PR review buta.
2. Wajibkan Gate Blind Self-Repair: Setiap kali memanfaatkan AI agent untuk membuat synthetic dataset atau adversarial challenges, terapkan Session C. Menguji apakah pembuat tugas mampu memecahkannya secara buta adalah saringan terbaik terhadap kontaminasi artefak halusinasi.
3. Ukur Dua Dimensi Terpisah: Task Authoring vs Code Repair: Skor tunggal mengaburkan kekuatan model. Model dengan skor review tinggi belum tentu mampu merancang arsitektur baru yang andal, dan sebaliknya. Pisahkan metrik Red win rate dan Blue win rate.
4. Hard Conjunction Sebagai Standar CI/CD AI PR Review: Jangan pernah menerima pull request otomatis dari AI agent jika hanya lulus test fungsional parsial. Pastikan regresi, fitur baru, dan sanitasi keamanan lulus secara serentak ($S_{Blue} = S_e cdot S_f cdot S_b$).