Snowglobe & Screen-Before-Serve 2026: Arsitektur Simulasi Agen CX pada Skala 140 Juta Nasabah Nubank, Tool-Boundary Trajectory, dan Validasi Open-Weight LLM Tanpa Risiko Produksi

1. Krisis Evaluasi Agen Autonomous pada Skala 140 Juta Nasabah

Dalam ekosistem perbankan digital modern berskala masif, customer support bukan lagi sekadar pusat penjawab FAQ statis, melainkan orkestrasi tool-calling autonomous agents yang memiliki otorisasi melakukan mutasi status rekening perbankan: memblokir kartu debit/kredit yang terindikasi fraud, mengubah limit transaksi, menerbitkan ulang kartu fisik, hingga menjadwalkan ulang rute logistik ekspedisi.

Namun, tim platform engineering di institusi finansial skala 140 juta nasabah seperti Nubank menghadapi The Production Evaluation Trilemma:

• Kegagalan Deterministic Unit Tests & Mocks: Unit test berbasis assert regex atau JSON response mocking hanya mampu menguji satu langkah tunggal (single-turn isolated call). Pendekatan ini buta terhadap dinamika percakapan multi-turn: kegagalan retensi konteks, ambiguitas input pengguna yang berulang, atau tool hallucination cascade yang baru muncul di putaran percakapan ke-5.
• Off-Policy Distribution Shift pada Dataset Historis: Mengevaluasi kandidat agen baru di atas transkrip rekaman pengguna nyata di masa lalu (held-out historical logs) adalah ilusi metodologis. Begitu prompt, urutan pertanyaan, atau model LLM berubah, respon agen berubah. Pengguna manusia nyata tentu akan memberikan reaksi balasan yang sama sekali berbeda dari transkrip statis masa lalu. Ini adalah off-policy counterfactual collapse.
• Bahaya Nyata Live A/B Testing: Menjalankan uji coba A/B secara langsung pada nasabah hidup (live customer exposure) membawa risiko fatal: hilangnya kepercayaan nasabah, lonjakan komplain eskalasi ke agen manusia, hingga sanksi hukum dari regulator moneter (seperti Bank Sentral Brasil / BACEN) jika agen salah mengonfirmasi identitas atau memvalidasi alamat pengiriman kartu curian.

2. Paradigma Screen Before You Serve & Arsitektur Simulator Snowglobe

Untuk memecahkan trilema ini, konsorsium periset Nubank dan Galileo Technologies merancang paradigma Screen Before You Serve dengan memanfaatkan simulator Snowglobe.

Prinsip inti dari metodologi ini bukanlah mencoba mereplikasi 100% perilaku acak dunia nyata secara absolut, melainkan hypothesis-driven screening: apakah perbedaan perilaku antara kandidat agen (Candidate) dan versi agen aktif saat ini (Incumbent) cukup signifikan untuk membenarkan atau menolak peluncuran ke lingkungan produksi nyata?

[Synthetic Customer Generator] <---> [Multi-Turn Persona Controller]
          |                                      |
          | (User Speech / Inquiries)            | (State Transitions)
          v                                      v
  [Candidate CX Agent]  ================> [Tool-Boundary Interceptor]
  (LLM Prompt / Policy)                         |
                                                | (Intercepted Tool Calls)
                                                v
                                 [Stateful Banking World Model]
                                 - Card Status Consistency
                                 - Relational Schema Validation
                                 - Zero Live Backend Invocation

Tiga inovasi arsitektur fundamental dalam simulator Snowglobe:

1. Tool-Boundary Trajectory Simulation: Simulator memutus koneksi langsung ke backend core banking. Setiap pemanggilan fungsi (tool call) dicegat di perbatasan antarmuka. Stateful tools (seperti pemblokiran kartu, pembaruan alamat, kueri status pengiriman) ditangani oleh Stateful Banking World Model sintetik yang menjamin konsistensi relasional antar putaran percakapan. Jika agen meminta kueri status dua kali berturut-turut, status tidak boleh berubah tanpa adanya aksi mutasi di antaranya.
2. Persona-Driven Synthetic Customers: Berakar dari metodologi Generative Agents (Park et al., 2023), Snowglobe mengonstruksi profil nasabah sintetik yang memiliki tujuan spesifik, batasan memori, tingkat kooperatif, dan ekspresi emosi (frustrasi, panik akibat kartu hilang, atau tenang) yang mencerminkan bahasa Portugis Brasil kontemporer.
3. Falsifiable Screening Criteria (C): Setiap putaran skrining dipandu oleh hipotesis yang dapat diuji (misal: "Memperbaiki instruksi verifikasi alamat akan memangkas transfer tidak perlu ke manusia minimal 5% tanpa meningkatkan reissue ganda"). Evaluasi dilakukan menggunakan Standing Evaluator Suite terkalibrasi manusia secara konsisten pada baseline incumbent maupun kandidat.

3. Empat Pilar Diagnostik Karakterisasi Simulator (P1 – P4)

Sebelum Snowglobe diizinkan menjadi gatekeeper resmi bagi rilis produksi, periset menguji validitas representasional simulator melalui 4 diagnostik komplementer (P1 hingga P4) pada agen Card Delivery (CD) versi V1 hingga V4 terhadap 1.000 dialog produksi riil:

4. Pembuktian Produksi: Card Management & Lonjakan tNPS +36.69 Poin

Setelah validasi simulator selesai, Nubank mengaplikasikan resep skrining ini pada pengembangan Card Management (CM)—agen chat dengan volume tertinggi di Brasil yang menggantikan Card Delivery untuk menangani seluruh siklus hidup kartu.

Dalam proses iterasi offline dengan Snowglobe, versi V5 CM berhasil menurunkan tingkat kegagalan transfer ke manusia yang tidak perlu (unnecessary transfer failure rate) menjadi 16.0%, dibandingkan dengan 22.4% pada V1 CM, 28.8% pada V3 CM, dan 34.0% pada V2/V4 CM. Penurunan 6.4 percentage point ini menjadi justifikasi untuk meloloskannya ke uji coba langsung.

Hasil pengujian A/B live pada skala masif membuktikan keunggulan spektakuler:

Selain metrik bisnis di atas, efisiensi siklus pengembangan sistem melonjak drastis:

• Siklus pengembangan 10 versi Card Delivery sebelumnya memakan waktu 212 hari kalender (rata-rata 21.2 hari per versi).
• Siklus pengembangan 5 versi Card Management dengan skrining Snowglobe hanya memakan waktu 22 hari kalender (rata-rata 4.4 hari per versi).
• Ini merepresentasikan akselerasi kecepatan rilis 4.8x, di mana satu batch 100 trajektori simulasi multi-turn dapat diselesaikan dalam waktu kurang dari 10 menit!

5. Skrining Model Open-Weight (>16.000 Dialog, 29 Konfigurasi)

Bagi organisasi skala perbankan, ketergantungan pada model komersial terpusat berpemilik (seperti GPT-5.2) memunculkan risiko kedaulatan data, lonjakan biaya token API, dan latensi jaringan cross-border. Nubank memanfaatkan Snowglobe untuk menyaring 29 konfigurasi model open-weights di lebih dari 16.000 dialog simulasi, meliputi keluarga model:

• Qwen3.5-122B-A10B (Qwen Team, 2026)
• Qwen3.6-35B-A3B (Qwen Team, 2026)
• Nemotron-3-Super-120B-A12B (NVIDIA, 2026)
• GPT-OSS-120B (OpenAI Open Source, 2025/2026)

Tabel Komparasi Evaluasi Kegagalan Kanonikal (Failure Rates %)

Evaluasi kanonikal mengukur 4 pilar kegagalan (↓ makin rendah makin baik): Input Gathering, Card Reissue Validity, Information Retrieval Status, dan Conversation Completeness.

Dilema Test-Time Compute pada Autonomous Tool-Calling Agents

Studi empiris ini menemukan fenomena krusial yang harus diwaspadai oleh setiap architect AI: reasoning effort / test-time compute bukanlah peluru perak gratis.

• Pada Nemotron-3-Super, menaikkan reasoning dari Off ke Low memang mereduksi kegagalan Complete secara dramatis dari 60.8% ke 18.0%, tetapi justru meningkatkan kegagalan Status dari 21.2% menjadi 36.4%. Model yang "terlalu banyak berpikir" kerap mengalami over-deliberation sebelum memanggil tool pembaca status pengiriman.
• Pada Qwen3.5-122B-A10B, reasoning berhasil menekan kegagalan Input ke level nyaris nol (0.4%) dan memangkas kegagalan Complete sebesar 15.0 percentage points dibanding incumbent GPT-5.2. Kelemahan pada kegagalan Status (35.2% vs 2.4%) berhasil diidentifikasi sebelum rilis dan diperbaiki melalui optimasi prompt terarah.

6. Spesifikasi Teknis: Implementasi Snowglobe Simulation Harness di TypeScript

Berikut adalah arsitektur referensi modul simulasi trajektori tool-boundary, stateful world model mocking, dan evaluator kanonikal yang dapat diintegrasikan ke dalam pipeline CI/CD agentic:

${SNOWGLOBE_CODE_SNIPPET}

7. Rekomendasi Praktis bagi Enterprise AI Platform Engineers

Bagi organisasi enterprise yang membangun dan mendeploy autonomous agentic systems, temuan Nubank memberikan 4 pelajaran implementasi berharga:

1. Wajibkan Simulasi Multi-Turn Sebelum A/B Testing: Hentikan kebiasaan langsung menguji prompt baru pada pengguna produksi. Satu batch simulasi 100 trajektori sintetik dapat memverifikasi regresi logika dalam hitungan menit tanpa membahayakan reputasi brand.
2. Pisahkan Boundary Tool dari Implementasi Backend: Bangun mocking layer stateful di tingkat RPC/MCP boundary yang menjamin konsistensi entitas data sepanjang sesi percakapan. Jangan biarkan simulator memanggil database atau microservices produksi.
3. Kalibrasi Evaluator LLM terhadap Anotasi Manusia: Evaluator otomatis (LLM-as-a-Judge) hanya memiliki nilai prediktif jika memiliki korelasi ranking terbukti ($r > 0.70$) terhadap penilaian pakar domain riil.
4. Uji Model Terbuka Mandiri untuk Mengurangi Vendor Lock-In: Seperti yang dibuktikan oleh keberhasilan Qwen3.5 di Nubank, model open-weight modern dengan orkestrasi yang tepat mampu melampaui metrik efisiensi dan latensi model komersial termahal tanpa mengorbankan kepuasan nasabah.