RheoSampling 2026: Mengatasi Dilema One-Hot pada Stochastic Dynamic-Tree Speculative Decoding, Dual-Identity Decoupling, dan Verifikasi Optimal Transport

Dalam rekayasa inferensi Large Language Models (LLMs) skala enterprise, Speculative Decoding telah menjadi pilar de-facto untuk memangkas latensi eksekusi tanpa mengubah distribusi probabilitas token output. Namun, selama dua tahun terakhir, terdapat jurang yang sangat membatasi antara teori dan praktik: metode pohon dinamis konteks-adaptif (dynamic-tree methods seperti EAGLE-2 dan EAGLE-3) mendominasi efisiensi pada mode deterministik/greedy (\(T = 0\)), namun mengalami kegagalan performa yang masif saat diterapkan pada sampling stokastik (\(T > 0\)).

1. Anatomi "One-Hot Dilemma": Mengapa Pohon Dinamis Runtuh pada Sampling Stokastik?

Untuk memahami akar masalahnya, kita harus menengok mekanisme kerja pohon spekulatif dinamis konvensional. Pada framework seperti EAGLE-3, draf model menghasilkan sekumpulan kandidat urutan token yang disusun dalam topologi pohon dinamis \(\mathcal{T}\). Model draf menggunakan probabilitas draf \(q(x)\) untuk memilih \(K\) token teratas (Top-K expansion) dan mengalikan probabilitas ini di sepanjang cabang pohon guna menghitung skor jalur (path scores).

Pada mode greedy (\(T = 0\)), pendekatan ini sangat optimal karena token dengan \(q(x)\) tertinggi hampir selalu berkorelasi kuat dengan pilihan model target. Namun, ketika parameter temperatur dinaikkan (\(T > 0\)) untuk memunculkan kreativitas, keberagaman respon, atau penalaran multi-lintasan:

Hal ini melahirkan dikotomi yang frustrasi di dunia engineering: dynamic-tree methods mengorbankan variabilitas stokastik demi mempertahankan topologi adaptif, sementara static-tree methods mempertahankan sampling stokastik namun terkunci pada topologi kaku yang buta konteks.

2. Paradigma Dual-Identity Decoupling: Menugaskan Dua Identitas pada Satu Token

Akar kegagalan metode sebelumnya bersumber dari satu penyebab fundamental: distribusi probabilitas yang sama dipaksa menjalankan dua tugas yang saling bertolak belakang—yakni membangun topologi pohon sekaligus memverifikasi token.

RheoSampling menyelesaikan dilema ini dengan memutus kaitan tersebut (decoupling). Inti arsitekturnya memberikan dua identitas probabilitas independen untuk setiap token acak yang disampel:

• Proxy Probability (\(q_{\text{proxy}}\)): Nilai probabilitas sintetis yang digunakan secara khusus untuk perankingan slot kandidat, ekspansi cabang, dan pemangkasan global (global pruning).
• True Sampling Probability (\(\tilde{q}\)): Nilai probabilitas sampling sebenarnya yang murni digunakan pada fase verifikasi oleh model target.

3. Parameter Kendali Rheostat & Optimasi Sparse Top-128

Penamaan RheoSampling diambil dari komponen elektronika rheostat (resistor geser pengatur arus). Nilai integer \(m\) berfungsi sebagai rheostat yang mengatur keseimbangan antara eksplorasi stokastik dan kualitas struktural pohon:

• \(m = 0\): Menetapkan \(q_{\text{proxy}} = q(x_1) + \epsilon\), menempatkan probe acak di slot pertama dengan peluang survival maksimal, namun mengurangi backbone deterministik.
• \(m = 1\) (Nilai Optimal Default): Menyisakan 1 lead token terbaik, lalu langsung menyisipkan probe stokastik. Menghasilkan performa puncak di mayoritas benchmark.
• \(m \ge 3\): Menurunkan probabilitas proxy sehingga probe stokastik kerap tereliminasi saat perankingan cabang dalam, mereduksi manfaat eksplorasi.

Untuk mencegah overhead komputasi akibat sampling pada kosakata LLM yang masif (hingga 128.000+ token), RheoSampling menerapkan Sparse Draft Truncation: logit model draf dipotong hanya pada 128 kandidat teratas sebelum fungsi softmax dieksekusi (sisa token diset ke \(-\infty\)). Karena top-128 telah mencakup >99% akumulasi massa probabilitas, teknik ini memangkas beban kalkulasi secara drastis tanpa menurunkan acceptance rate ataupun melanggar jaminan matematis losslessness.

4. RheoVerification: Alokasi Ulang Massa Probabilitas via Optimal Transport

Metode multi-draf konvensional biasanya menerapkan Recursive Rejection Sampling without replacement (RRSw) secara sekuensial. Pendekatan ini memiliki kelemahan struktural: pengecekan dilakukan satu per satu tanpa merealokasikan massa probabilitas secara global.

RheoSampling memperkenalkan protokol RheoVerification berbasis Optimal Transport (OT). Ketika kandidat token acak \(u_s\) lolos ke lapisan verifikasi:

1. Token \(u_s\) pertama kali diuji independen terhadap probabilitas sampling aslinya \(\tilde{q}(u_s)\) dengan rasio acceptance \(\min(1, p(u_s) / \tilde{q}(u_s))\).
2. Jika diterima, inferensi langsung menuruni subpohon token tersebut.
3. Jika ditolak, mesin menghitung distribusi residu ter-normalisasi:
   \(r = \text{norm}(\max(0, p - \tilde{q}))\)
   kemudian melakukan penolakan rekursif terhadap kandidat draf lainnya di bawah distribusi residu \(r\).

Pembalikan massa ini memaksimalkan irisan geometris antara distribusi draf dengan model target, mendongkrak penerimaan token spekulatif ke batas teoretis optimal.

5. Hasil Benchmark Empiris pada Llama-3.1, Vicuna, dan DeepSeek-R1

Para peneliti menguji RheoSampling secara ketat di atas framework resmi EAGLE-3 (ukuran decoding tree 60, draf depth 8, temperatur \(T = 1.0\)) pada 6 benchmark representatif: Alpaca, GSM8K, HumanEval, MT-bench, Natural Questions, dan CNN/DailyMail menggunakan GPU NVIDIA A6000.

Lonjakan acceptance length \(\tau\) mencapai hingga +0.22 token per langkah forward pass, yang langsung dikonversi menjadi akselerasi waktu nyata (wall-clock speedup) bersih hingga 3.43x dibanding decoding autoregresif standar, mengalahkan seluruh implementasi baseline Top-K di setiap konfigurasi benchmark.

6. Teorema 1: Pembuktian Lossless via Equivalence-Class Analysis

Salah satu ketakutan terbesar operator infrastruktur AI ketika mengadopsi optimasi spekulatif adalah distorsi keluaran model (distribution drift). Teorema 1 dalam makalah ini membuktikan secara matematis bahwa:

Melalui analisis kelas ekuivalen (equivalence-class analysis), para penulis membuktikan bahwa kendati topologi pohon dinamis \(T_R\) bersifat acak, nilai ekspektasi dari distribusi probabilitas token yang dihasilkan oleh algoritma RheoVerification tepat identik 100% dengan distribusi probabilitas asli model target \(p\). Tidak ada penurunan akurasi, pergeseran nalar, maupun penurunan kualitas penalaran model.

7. Rekomendasi untuk Engine Serving Enterprise (vLLM, SGLang, TensorRT-LLM)

Bagi tim AI Infrastructure & Platform Engineering yang mengoperasikan kluster vLLM, SGLang, atau TensorRT-LLM di level produksi, arsitektur RheoSampling memberikan panduan implementasi kritis:

• Pisahkan Logika Suhu (Temperature Decoupling): Konstruksi pohon dinamis (ekspansi dan perankingan) harus selalu beroperasi pada probabilitas draf tanpa penskalaan temperatur. Temperatur hanya boleh diaktifkan pada modul sampling stokastik dan gate verifikasi akhir.
• Pasang Rheostat m = 1: Menetapkan satu lead deterministik dan satu probe acak terbukti memberikan titik ekuilibrium terbaik antara kestabilan draf dan eksplorasi tail.
• Terapkan Truncation Top-128 pada Kernel GPU: Mengeliminasi penghitungan soft-max ekor panjang pada vocab 128k menghemat memory bandwidth hingga 40% pada level CUDA kernel.