SAGE 2026: Arsitektur Topological Guidance, Mengeliminasi Exploration Bias & Compounding Bias pada Long-Horizon Reasoning LLM, Algebraic Sparsification, dan Hyperbolic Embedding

Di balik lompatan spektakuler model reasoning kontemporer seperti DeepSeek-R1, OpenAI o1/o3, dan Qwen-2.5-Math pada masalah matematika formal, terdapat jurang kerapuhan arsitektural yang jarang dibahas secara terbuka: kegagalan sistemik saat menghadapi lintasan penalaran panjang (long-horizon reasoning) di bawah rezim reward yang jarang (sparse-reward regimes). Saat panjang langkah melebihi 20 hingga 50 langkah transformasi simbolik, algoritma penguatan kebijakan seperti Group Relative Policy Optimization (GRPO) dan Process Reward Models (PRM) kerap mengalami stagnasi total atau terjebak dalam delusi lokal.

1. Krisis Long-Horizon Reasoning: Mengapa Test-Time Compute & GRPO Gagal di Bawah Sparse Rewards

Paradigma dominan peningkatan kapabilitas penalaran LLM saat ini bertumpu pada outcome-based reinforcement learning (RL) seperti GRPO atau EMPO, di mana model dievaluasi semata-mata berdasarkan kebenaran jawaban akhir ($R in \{0, 1\}$). Pendekatan ini bekerja sangat efektif pada masalah dengan kedalaman dangkal (shallow depth) atau ruang keadaan yang padat verifikasi (dense verification). Namun, begitu model dihadapkan pada penalaran horizon panjang—seperti pembuktian teorema formal di Lean, sintesis sirkuit logika, perancangan rencana multi-agen terdistribusi, atau trivialisasi presentasi grup—ruang pencarian bertransformasi menjadi pohon percabangan eksponensial.

Dalam kondisi tersebut, model menghadapi fenomena Sparse Reward Desert: probabilitas menemukan solusi yang menghasilkan reward terminal positif secara acak mendekati nol ($P(R=1) \approx 0$). Ketika gradient reward terminal tidak pernah diterima, gradien kebijakan GRPO mengalami vanishing signal atau mengalokasikan bobot secara acak ke lintasan halusinasi yang panjang.

2. Landasan Teori Symbolic Closure Analysis (SCA) & Dekomposisi Dua Bias Utama

Untuk memahami akar matematis dari kegagalan tersebut, peneliti SAGE merumuskan Symbolic Closure Analysis (SCA). SCA membedah ruang penalaran sebagai sistem transisi terstruktur $\mathcal{T} = (\mathcal{S}, \mathcal{A}, \mathcal{T}_{\text{trans}}, \mathcal{S}_{\text{target}})$, di mana setiap keadaan $s \in \mathcal{S}$ merepresentasikan struktur simbolik (misalnya sekumpulan relator dalam aljabar atau AST kode program), dan aksi $a \in \mathcal{A}$ adalah operator transformasi teradmisibel.

Di bawah analisis SCA, terungkap bahwa kerapuhan penalaran horizon panjang dipicu oleh kopling dua bias fundamental:

3. Mekanisme SAGE: Algebraic Sparsification (Ψ_P) & Hyperbolic Poincaré Guidance (Ψ_H)

SAGE (Structural Admissibility-Guided Exploration) memecahkan kebuntuan ini dengan menyuntikkan dua sinyal panduan topologis yang bekerja secara harmonis selama fase rollout sampling penguatan kebijakan (post-training RL):

A. Algebraic Sparsification (Ψ_P) untuk Mengeliminasi Exploration Bias

Pada setiap langkah penalaran $t$, sistem menghitung vektor symbolic residual $r_t \in \mathbb{R}^d$ yang merepresentasikan struktur permasalahan yang belum terpecahkan (misalnya panjang relator yang tersisa atau sub-kondisi logika yang belum terpenuhi). Setiap kandidat operator $L_j$ diasosiasikan dengan subruang aljabar terindeks $S_j$.

Skor kompatibilitas aljabar dirumuskan sebagai proyeksi ortogonal residual ke subruang operator:

Operator yang tidak memiliki daya reduksi terhadap residual saat ini akan menerima skor $\Psi_{\mathcal{P}} \approx 0$, sehingga probabilitas samplingnya ditekan secara drastis selama eksplorasi latihan. Hal ini secara efektif memangkas cabang-cabang semu (spurious branching) tanpa memerlukan filter deterministik yang kaku.

B. Hyperbolic Structural Guidance (Ψ_H) untuk Menangkal Compounding Bias

Ruang Euclidean ($mathbb{R}^n$) memiliki kapasitas volume yang hanya tumbuh secara polinomial terhadap jari-jari ($V(r) \propto r^n$), menjadikannya wadah yang sangat buruk untuk merepresentasikan pohon pencarian berorientasi hierarki yang volumenya bertambah secara eksponensial ($V(r) \propto e^{r}$). Memaksakan representasi pohon ke ruang Euclidean pasti menimbulkan distorsi metrik yang parah.

SAGE memetakan representasi status penalaran ke dalam Bola Poincaré (Poincaré Ball Manifold) $\mathbb{D}_c$ dengan kelengkungan negatif $-c$ ($c > 0$). Metrik geodesik hiperbolik didefinisikan sebagai:

Panduan struktural hiperbolik $\Psi_{\mathcal{H}}$ kemudian dihitung terhadap representasi status target penyelesaian $g$:

Karena jarak hiperbolik secara alami merefleksikan kedalaman pohon dan jalur leluhur (ancestral paths), $\Psi_{\mathcal{H}}$ menyediakan sinyal kedalaman yang rapat (dense depth-wise feedback) yang secara konsisten membimbing model menuju target sebelum reward terminal tiba, mematahkan akumulasi error compounding bias.

C. Distribusi Rollout SAGE & Zero Inference Cost

Selama post-training, distribusi sampling kandidat aksi $a_t^{(k)}$ dikondisikan oleh kombinasi linear panduan topologis:

4. Tolok Ukur Kinerja & Analisis Benchmark Empiris

Efektivitas SAGE dievaluasi secara ketat pada 12 benchmark lintas 7 model backbones (termasuk keluarga Qwen3.5, Llama-3.3, dan arsitektur reasoning open-weight). Pengujian mencakup domain matematika tertutup, penalaran bahasa natural, hingga problem horizon panjang terbuka:

Uji Stres Long-Horizon: Masalah Konjektur Andrews-Curtis & Lean Proof

Masalah Andrews-Curtis (AC) dalam topologi aljabar adalah tolok ukur tersulit bagi model AI karena membutuhkan puluhan langkah penyederhanaan relator grup dengan aturan formal yang ketat. Pada uji ini, kelemahan GRPO konvensional tampak nyata:

5. Jebakan Arsitektur (Pitfalls) & Kesalahan Fatal pada Reinforcement Learning Reasoning

Saat mengimplementasikan pipeline post-training penalaran simbolik berbasis panduan topologis, praktisi AI kerap terjebak pada 3 kesalahan kritis:

• Menyamakan Kelengkungan Euclidean dengan Hierarki Penalaran: Mencoba menghitung jarak struktural dalam ruang vektor Euclidean datar (L2 loss) gagal merefleksikan kedalaman pohon. Dua cabang yang secara fungsional berseberangan dapat memiliki jarak Euclidean yang dekat, menyesatkan sinyal reward. Pemetaan kelengkungan negatif (Poincaré) adalah keharusan matematis untuk pohon penalaran.
• Menerapkan Panduan Topologis Saat Inferensi (Inference Pruning): Memaksa model menghitung proyeksi aljabar dan geodesik hiperbolik pada setiap token inferensi produksi akan menghancurkan throughput serving hingga 70%. Panduan harus dijadikan exploration shaping saat training saja, membiarkan bobot neural menyerap representasi tersebut secara intrinsik.
• Mengabaikan Stabilitas Numerik Boundary Poincaré: Pada bola Poincaré, ketika vektor status mendekati radius batas ($||u|| \to 1/\sqrt{c}$), penyebut metrik $(1 - c||u||^2)$ mendekati nol, memicu overflow pada perhitungan gradien. Diperlukan boundary clamping numerik ketat ($||u||_2^2 \le (1 - 10^{-5})/c$) pada setiap lapisan embedding.

6. Spesifikasi Teknis: Implementasi TypeScript SAGE Rollout & Topological Guidance Harness

Berikut adalah modul TypeScript referensi produksi yang mengimplementasikan evaluator residual aljabar, metrik jarak geodesik bola Poincaré, dan pemilih kandidat berbobot topologis untuk lingkungan latihan agen RL:

${SAGE_CODE_SNIPPET}

7. Rekomendasi Praktis bagi AI Engineering & Platform Leaders

Bagi organisasi enterprise yang membangun sistem autonomous agentic, AI coding assistants, atau sistem verifikasi formal, arsitektur SAGE menegaskan transisi paradigma penting:

1. Hentikan Ketergantungan Buta pada Outcome-Only RL: Memberikan reward hanya di akhir rantai 50 langkah adalah pemborosan GPU yang masif. Tanpa pembentukan topologis ruang eksplorasi, model hanya akan mengulangi bias acak.
2. Gunakan Representasi Geometri Non-Euclidean untuk Pohon Keputusan: Masalah komputasi yang memiliki struktur graf hierarkis (analisis dependensi AST, pelacakan rute mikroservis, verifikasi kontrak pintar) wajib dipetakan menggunakan ruang hiperbolik untuk meminimalkan distorsi representasi.
3. Kombinasikan Constraint Symbolik dengan Probabilitas Laten: Jangan bergantung murni pada LLM untuk memvalidasi batasan formal. Gunakan proyeksi aljabar simbolik sebagai pemandu awal (soft compatibility score) untuk menjaga model tetap berada di dalam koridor solusi yang mungkin.