AgentKV 2026: Arsitektur Phase-Aware KV Eviction, Principal-Angle Subspace Discrepancy, dan Online Page Compaction pada High-Throughput Agentic LLM Serving

Dalam lanskap infrastruktur kecerdasan buatan terdistribusi tahun 2026, pergeseran beban kerja dari single-turn chat menuju Autonomous Multi-Turn AI Agents (seperti sistem coding mandiri, browser automation, dan enterprise workflow runners) telah menciptakan krisis komputasi baru. Agen otonom mengonsumsi token beberapa orde magnitudo lebih masif dibandingkan chatbot konvensional. Setiap siklus observasi lingkungan, pemanggilan tool MCP, dan sintesis langkah penalaran (Chain-of-Thought) mengakibatkan akumulasi Key-Value (KV) cache yang mencekik kapasitas High-Bandwidth Memory (HBM) GPU serta mendegradasi decoding memory bandwidth.

1. Keruntuhan Asumsi Keseragaman Temporal pada Lintasan Agen Otonom

Metode kompresi KV cache terdahulu—termasuk algoritma terkemuka seperti StreamingLLM, H2O (Heavy Hitter Oracle), SnapKV, dan R-KV—dibangun di atas premis bahwa atensi masa depan dapat diproyeksikan secara akurat oleh pola atensi dari jendela token terbaru (recency window). Pada percakapan teks biasa, hipotesis ini bekerja cukup memadai karena distribusi semantik bergeser secara halus dan bertahap.

Namun, pada agen otonom, asumsi ini runtuh secara mendasar. Trajektori agen tidak bergerak secara linier seragam, melainkan berosilasi di antara empat fase diskrit yang berulang:

Ketika sistem kompresi KV konvensional melakukan eviksi saat model sedang berada di akhir fase think atau act, query representatif yang digunakan untuk menilai kepentingan seluruh memori masa lalu hanya berasal dari jendela token think/act tersebut. Akibatnya timbul recency estimator bias: model menilai token observasi dari tool sebelumnya serta parameter skema pada others memiliki skor atensi rendah, lalu menghapusnya dari HBM. Ketika langkah berikutnya tiba dan agen perlu merujuk kembali hasil eksekusi tool untuk memformulasikan jawaban akhir, token esensial tersebut telah hilang, memicu halusinasi fatal dan kegagalan eksekusi skrip.

2. Pembuktian Matematis: Analisis Principal Angles pada Subruang Query

Untuk membuktikan bahwa query dari setiap fase memang memiliki karakteristik representasi yang tidak kompatibel, para peneliti AgentKV menerapkan teknik Principal Angles Subspace Analysis.

Setiap trajektori dibagi menjadi rentang fase kontigu $s$. Untuk rentang $s$ yang memiliki $n_s$ token, vektor-vektor query $d$-dimensinya disusun ke dalam matriks $X_s in mathbb{R}^{n_s imes d}$. Kemudian dilakukan dekomposisi nilai singular tipis (thin SVD):

Di mana $k$ vektor singular kanan pertama, $V_{s,k} in mathbb{R}^{d imes k}$, membentuk basis ortonormal yang merangkum arah dominan dari subruang query pada rentang fase tersebut. Untuk membandingkan dua rentang fase $s_1$ dan $s_2$, sudut-sudut prinsipal $ heta_1, heta_2, dots, heta_k$ dihitung melalui SVD dari perkalian silang basis ortonormalnya:

3. Arsitektur Inti AgentKV: Dari Streaming Parsing ke Union Scoring

Menyadari bahwa bias estimasi kebaruan adalah akar masalah, AgentKV merancang alur kompresi yang menjamin setiap fase representatif memiliki hak suara yang setara dalam menentukan token mana yang harus dipertahankan.

3.1 Formulasi Skoring Utilitas Global Tanpa Kuota Buatan

Salah satu keunggulan desain AgentKV adalah ketiadaan kuota buatan per fase. Alih-alih menetapkan aturan kaku seperti "pertahankan 25% token think dan 25% token tool", AgentKV membiarkan seluruh key berkompetisi secara bebas terhadap himpunan query representatif gabungan $mathcal{Q}^{(e)}$:

Skor $s_j$ merefleksikan utilitas intrinsik sebuah token terhadap seluruh fase operasi agen di masa depan. Token observasi tool yang bernilai tinggi akan tetap bertahan secara alami meskipun sistem baru saja menyelesaikan fase reasoning panjang.

4. Implementasi Serving-Aware: Online Physical Page Compaction pada SGLang

Banyak riset kompresi KV akademis hanya melakukan logical masking pada atensi tanpa pernah membebaskan memori GPU secara fisik. Pada arsitektur serving produksi, jika halaman memori yang dievokasi tidak dikembalikan ke memory allocator, kapasitas batching tidak akan bertambah dan latensi transfer bandwidth tetap tinggi.

AgentKV diintegrasikan langsung ke dalam runtime SGLang 0.5.12 yang didukung oleh kernel FlashInfer:

• Persistent Trajectory State Preservation: KV cache dipertahankan sebagai state persisten melintasi giliran tool call dan dialog user. Compaction dijalankan secara online tanpa merusak snapshot chunked prefill.
• Physical Page Compaction: Entri KV yang dipertahankan dikumpulkan (gathered) ke dalam slot fisik baru yang padat. Seluruh blok paged-attention yang kosong segera ditandai bebas dan dikembalikan ke pool alokasi GPU.
• CUDA Graph Capture Compatibility: Struktur decoding pointer dijaga tetap stabil sehingga eksekusi decoding token berikutnya tetap dapat memanfaatkan akselerasi CUDA Graph tanpa fallback ke runtime kernel lambat.

5. Hasil Evaluasi Benchmark: BFCL, Tau-Bench, dan Throughput 1.80x

Efektivitas AgentKV diuji secara komprehensif menggunakan dua model frontier (Qwen3-8B dan Qwen3-32B) pada enam domain tugas agen otonom: Berkeley Function-Calling Leaderboard (BFCL) pada kategori web_search, multi_turn, memory, serta Tau-Bench ($ au^2$-bench) pada domain airline, retail, dan telecom.

Dari data empiris di atas terlihat bahwa pada tugas interaktif multi-turn dan pemanggilan tool yang ketat (seperti BFCL Multi-Turn dan Tau Telecom), baseline R-KV mengalami degradasi performa hingga lebih dari 50% akibat terhapusnya token observasi lingkungan. Sebaliknya, AgentKV mempertahankan hingga 90–95% kemampuan model Full KV asli hanya dengan sebagian kecil alokasi cache.

6. Panduan Implementasi untuk Arsitektur Produksi 2026

Keberhasilan AgentKV menggarisbawahi prinsip desain fundamental bagi para arsitek sistem AI dan engineer infrastruktur serving:

1. Hentikan Penggunaan Algoritma Recency Tunggal pada Agen: Sistem seperti SnapKV atau StreamingLLM hanya cocok untuk chatbot linier. Menggunakannya pada agen autonomous yang berinteraksi dengan API eksternal hanya akan menimbulkan bug silent failure dan loop halusinasi.
2. Manfaatkan Chat-Template Semantic Parsing: Membedakan fase eksekusi tidak memerlukan model klasifikasi BERT atau neural classifier tambahan. Cukup parsing tag template chat standar (<think>, <tool_call>, <tool_response>) pada level tokenizer streaming.
3. Wajibkan Physical Compaction: Kompresi KV tanpa pembebasan halaman memori fisik adalah pemborosan sumber daya. Pastikan serving engine Anda (baik SGLang, vLLM, maupun TensorRT-LLM) mengadopsi mekanisme realokasi blok fisik untuk membuka ruang konkurensi request yang lebih besar.