Conditional Experience Transfer (BCIT) 2026: Arsitektur Boundary-Calibrated Intervention Transfer, Non-Compensable Conflict Veto, dan Bounded Trials pada Autonomous LLM Post-Training

Dalam paradigma rekayasa machine learning modern, post-training otonom (autonomous post-training) memegang peranan sentral: agen pengembang secara berkelanjutan mengajukan proposal pembaruan bobot, melatih kandidat adaptasi domain, dan mengevaluasi metrik sebelum mempromosikan checkpoint baru ke lingkungan produksi. Namun, temuan terobosan dalam riset frontier arXiv:2608.26730 mengungkap cacat fundamental pada pendekatan klasik: memperlakukan keberhasilan pembaruan di masa lalu sebagai izin tanpa konteks (context-free permission) memicu degradasi kumulatif lintasan belajar dan pemborosan komputasi GPU yang masif.

1. Dilema Transfer Pengalaman pada Continuous Post-Training

Ketika model bahasa beradaptasi dengan domain finansial, manipulasi database SQL, dan interaksi perkakas (function calling), model dasar ($m_0$) berevolusi menjadi serangkaian checkpoint berantai:

Pada arsitektur konvensional (seperti Flat-Additive atau Static Multitask SFT), riwayat keberhasilan adaptasi di masa lalu disimpan dalam memori global. Ketika agen dihadapkan pada tujuan optimasi baru, ia cenderung mengulang (replay) atau mengaplikasikan kembali resep hiperparameter dan subset data lama secara membabi-buta.

Secara empiris, transfer tanpa syarat ini membawa risiko bencana:

• Heterogenitas Efek Intervensi: Suatu kandidat pembaruan yang memberikan lonjakan akurasi +8.4 poin pada model dasar $m_0$ dapat memicu kolaps representasi (-12.1 poin) ketika dieksekusi di atas checkpoint $m_2$ yang telah dispesialisasi untuk penalaran SQL.
• Wasted Full-Training Compute: Mengalokasikan 4 hingga 8 GPU-hours penuh untuk resep training usang yang berujung pada rollback menghabiskan lebih dari 55% kuota komputasi proyek tanpa hasil nyata.
• Catastrophic Retention Violation: Pembaruan yang lolos tanpa pengawasan kondisi prasyarat merusak kemampuan fundamental generalist seperti instruction following (IFEval).

2. Arsitektur Formal Boundary-Calibrated Intervention Transfer

BCIT menempatkan dirinya sebagai gerbang otoritas independen tepat di antara modul pembangkitan proposal (candidate generation) dan eksekusi pelatihan bobot penuh (full weight-changing training).

Setiap unit keputusan pada langkah waktu $t$ didefinisikan secara formal sebagai kuadrupel konteks:

Di mana $m_t$ adalah bobot model parent aktif, $mathcal{D}_t$ adalah komposisi data, $mathcal{P}_t$ adalah parameter optimasi (learning rate, schedule, batch topology), dan $ell_t$ adalah evaluasi batas retensi.

2.1. Formulasi Matematika Tri-Metric Scoring

Untuk setiap kandidat pembaruan historis $c_i^{mathrm{hist}}$, BCIT menghitung tiga sinyal deterministik sebelum mengizinkan alokasi komputasi:

1. Source Strength ($S_i$): Mengukur besaran perbaikan empiris di konteks asal dengan diskon reliabilitas bukti:
   S_i = d(e_i) cdot delta_i^{mathrm{src}}
   Dengan tingkat diskon bukti: $d(A) = 1.00$ (replicated matched-control), $d(B) = 0.75$ (internal comparison tunggal), dan $d(C) = 0.50$ (resep eksternal/anecdotal).
2. Current Compatibility ($A_i$): Rata-rata kecocokan kondisi prasyarat terstruktur terhadap status model parent saat ini:
   A_i = rac{1}{J_i} sum_{j=1}^{J_i} a_{ij}, quad a_{ij} in {0, 0.5, 1.0}
   Di mana $0$ menandakan ketidakcocokan (mismatch), $0.5$ belum teresolusi (unresolved), dan $1.0$ kecocokan penuh (match).
3. Non-Compensable Hard Conflict ($H_i$): Indikator biner yang bernilai $1$ jika ada syarat wajib mutlak yang dilanggar (misalnya incompatibilitas tokenizer, memory constraint oversubscribed, atau konflik skema token antarmuka).

Kedua sinyal positif digabungkan secara perkalian:

Formulasi perkalian ini menjamin sifat ortogonalitas krusial: skor kekuatan masa lalu yang sangat tinggi ($S_i$) tidak akan pernah bisa mengompensasi kecocokan konteks saat ini yang rendah ($A_i$).

2.2. Keputusan Otorisasi Tiga Cabang

Dengan batas ambang terkalibrasi $ au_l = 0.30$ dan $ au_h = 0.70$, fungsi otorisasi agen mengeksekusi aturan deterministik:

a(c_i^{mathrm{hist}}, x_t) =
  REJECT,   jika H_i = 1  ATAU  Q_i < 	au_l
  TRAIN,    jika Q_i >= 	au_h  DAN  chi_i = 1  (Khusus Grade A Replicated)
  VALIDATE, jika 
u_i != None  (	au_l <= Q_i < 	au_h)
  REJECT,   jika 
u_i == None

Jika suatu proposal berstatus VALIDATE, agen tidak langsung menggelar sesi pelatihan bobot penuh berdurasi tinggi. Sebaliknya, agen mengalokasikan bounded trial mikro (maksimal 10-15% dari anggaran langkah) untuk menguji respons gradient awal model parent secara langsung. Hanya kandidat yang terbukti menghasilkan delta metrik positif pada evaluasi holdout yang akan dipromosikan ke pelatihan penuh.

3. Implementasi Kontrak TypeScript: BCIT Gate Engine

Berikut adalah implementasi arsitektur sistem kontrol BCIT yang siap pakai untuk infrastruktur autonomous post-training agen AI:

/**
 * Boundary-Calibrated Intervention Transfer (BCIT) Kernel
 * Arsitektur Otorisasi Pengalaman Bersyarat untuk Autonomous LLM Post-Training
 * Berdasarkan Prinsip Formal arXiv:2608.26730
 */

export type EvidenceGrade = 'A' | 'B' | 'C';
export type ValidationStrategy = 'Continue' | 'Restart' | 'None';
export type AuthorizationAction = 'REJECT' | 'VALIDATE' | 'TRAIN';

export interface PreConditionRule {
  field: string;
  expectedValue: unknown;
  actualValue: unknown;
  isHardRequirement: boolean;
}

export interface CandidateExperience {
  candidateId: string;
  sourceTask: string;
  rawDeltaScore: number;
  evidenceGrade: EvidenceGrade;
  conditions: PreConditionRule[];
  validationStrategy: ValidationStrategy;
}

export interface EvaluationContext {
  parentModelId: string;
  parentStep: number;
  consumedGpuHours: number;
  budgetCapGpuHours: number;
  retentionConstraintMargin: number; // e.g. -0.02 (-2%)
}

export interface AuthorizationResult {
  action: AuthorizationAction;
  qScore: number;
  sourceStrength: number;
  compatibilityScore: number;
  hasHardConflict: boolean;
  diagnostics: string[];
}

export class BoundaryCalibratedInterventionController {
  private readonly tauLow: number = 0.30;
  private readonly tauHigh: number = 0.70;

  private gradeDiscounts: Record<EvidenceGrade, number> = {
    A: 1.00,
    B: 0.75,
    C: 0.50,
  };

  public evaluateCandidate(
    candidate: CandidateExperience,
    context: EvaluationContext
  ): AuthorizationResult {
    const diagnostics: string[] = [];

    // 1. Hitung Source Strength (Si)
    const discount = this.gradeDiscounts[candidate.evidenceGrade];
    const sourceStrength = Math.max(0, candidate.rawDeltaScore) * discount;

    // 2. Evaluasi Kondisi & Hard Conflicts (Hi & Ai)
    let hardConflict = false;
    let matchCount = 0;

    for (const rule of candidate.conditions) {
      const isMatch = rule.expectedValue === rule.actualValue;
      if (isMatch) {
        matchCount += 1;
      } else if (rule.isHardRequirement) {
        hardConflict = true;
        diagnostics.push(`CRITICAL HARD CONFLICT: Violation on ${rule.field}`);
      } else {
        matchCount += 0.5; // Unresolved / soft mismatch
      }
    }

    const compatibilityScore = candidate.conditions.length > 0 
      ? matchCount / candidate.conditions.length 
      : 0.5;

    // 3. Hitung Produk Ortogonal Qi = Si * Ai
    const qScore = sourceStrength * compatibilityScore;

    // 4. Deteksi Hard Veto
    if (hardConflict) {
      return {
        action: 'REJECT',
        qScore,
        sourceStrength,
        compatibilityScore,
        hasHardConflict: true,
        diagnostics: [...diagnostics, 'Candidate vetoed due to active hard condition violation.'],
      };
    }

    // 5. Evaluasi Ambang Batas
    if (qScore < this.tauLow) {
      diagnostics.push(`Q-score (${qScore.toFixed(3)}) fell below tau_low (${this.tauLow}).`);
      return {
        action: 'REJECT',
        qScore,
        sourceStrength,
        compatibilityScore,
        hasHardConflict: false,
        diagnostics,
      };
    }

    // Jalur Pelatihan Langsung (Membutuhkan bukti replikasi Grade A)
    const isDirectEligible = candidate.evidenceGrade === 'A';
    if (qScore >= this.tauHigh && isDirectEligible) {
      diagnostics.push(`Direct Full-Training Authorized: Qi=${qScore.toFixed(3)} with Grade A provenance.`);
      return {
        action: 'TRAIN',
        qScore,
        sourceStrength,
        compatibilityScore,
        hasHardConflict: false,
        diagnostics,
      };
    }

    // Jalur Uji Bounded Validation
    if (candidate.validationStrategy !== 'None') {
      diagnostics.push(`Bounded Trial Routed: Strategy ${candidate.validationStrategy} with Qi=${qScore.toFixed(3)}.`);
      return {
        action: 'VALIDATE',
        qScore,
        sourceStrength,
        compatibilityScore,
        hasHardConflict: false,
        diagnostics,
      };
    }

    // Fallback Reject jika validasi proksi tidak tersedia
    diagnostics.push('Rejected: Unresolved Qi without executable validation proxy.');
    return {
      action: 'REJECT',
      qScore,
      sourceStrength,
      compatibilityScore,
      hasHardConflict: false,
      diagnostics,
    };
  }
}

4. Analisis Benchmark Empiris (36-GPU-Hour Matched Budget)

Evaluasi ketat dilakukan pada model Qwen3-4B yang diadaptasi secara berantai untuk tiga kapabilitas kritis:

• TAT-QA: Tabular and Textual Question Answering untuk penalaran finansial kuantitatif.
• BIRD-SQL: Eksekusi penulisan query Text-to-SQL pada database skala besar.
• BFCL (Berkeley Function Calling Leaderboard): Pemanggilan fungsi API dan perkakas multi-langkah.
• IFEval (Retention Constraint): Pengawasan retensi instruksi umum model agar tidak mengalami catastrophic forgetting.

4.1. Analisis Efisiensi Promosi (Promotion Yield)

Perbedaan paling mencolok tampak pada rasio keberhasilan promosi (promotion yield) dari kandidat yang dikirim ke tahap pelatihan penuh:

• Flat-Additive Baseline: Melatih 63 kandidat penuh, namun 35 di antaranya terpaksa di-rollback karena mendegradasi metrik atau melanggar retensi. Hanya 28 kandidat yang berhasil dipromosikan (yield 44.4%).
• BCIT Policy: Mengeliminasi kandidat berbahaya sejak awal melalui hard veto dan bounded trial. Dari 62 kandidat yang diotorisasi untuk pelatihan penuh, 46 berhasil dipromosikan dan hanya 16 yang di-rollback (yield 74.2%).

Pengujian sign-flip eksak pada enam seed berpasangan mengonfirmasi signifikansi statistik keunggulan BCIT ($p = 0.03125$) dengan rentang kepercayaan 95% gain rerata $[+2.10, +3.16]$ poin.

5. Panduan Praktis untuk Tim Rekayasa AI Agent & Post-Training