Menjalankan seluruh fitur AI melalui satu LLM terbuka yang di-host sendiri adalah keputusan arsitektural, bukan sekadar penghematan biaya.
Alasan utama
- Privasi. Tidak ada data pengguna yang meninggalkan mesin.
- Biaya terprediksi. Tidak ada tagihan per token yang melonjak.
- Kemampuan offline. Workspace tetap berguna tanpa koneksi.
Gerbang inferensi
Sebuah circuit breaker di depan lapisan AI mendeteksi kegagalan dan menurunkan layanan ke status "AI tidak tersedia" secara eksplisit — tanpa diam-diam beralih ke penyedia eksternal.
if breaker.is_open():
return AIUnavailable(reason="inference gateway tripped")
Yang penting di sini bukan fallback-nya, melainkan bahwa kegagalan terlihat jelas.