Menambahkan Lapisan LLM ke Backend .NET dengan Semantic Kernel
By Reliqio ·
Cara kami menambahkan fitur AI ke backend .NET yang sudah ada: Semantic Kernel, RAG dengan Azure AI Search, prompt yang diuji, logging, dan beberapa guardrail.
Automatically translated with AI from the original post.
Hampir setiap klien yang sudah memiliki backend .NET pada akhirnya menanyakan hal yang sama: "Bisakah kami menambahkan AI ke sistem ini?" Biasanya yang mereka maksud adalah ringkasan, pencarian yang lebih baik, atau asisten dukungan pelanggan. Dan biasanya, seseorang di tim sudah mengusulkan layanan Python terpisah untuk keperluan itu.
Hal itu bisa dilakukan. Namun, di sebagian besar proyek yang pernah kami kerjakan, hal itu tidak diperlukan. Semantic Kernel cocok dipasang ke aplikasi ASP.NET Core dengan baik, dan Anda tetap bisa memakai pipeline, logging, dan pengujian yang sudah ada. Berikut kira-kira cara kami menyiapkannya.
Sembunyikan model di balik Semantic Kernel
Perlakukan LLM seperti dependensi eksternal lainnya, misalnya penyedia pembayaran. Semantic Kernel sudah memiliki abstraksi IChatCompletionService [1], sehingga kode Anda tidak pernah menyentuh SDK vendor secara langsung. Daftarkan di DI, dan berpindah dari Azure OpenAI ke penyedia lain menjadi sekadar perubahan konfigurasi.
Untuk kami, bentuknya seperti ini: kernel didaftarkan sekali di Program.cs, setiap kasus penggunaan memiliki layanan kecilnya sendiri (misalnya TicketSummaryService), dan nama deployment, temperature, serta batas token disimpan di kelas opsi. Controller hanya mengenal layanan tersebut. Ini juga memudahkan unit test, karena Anda bisa mengganti dengan fake completion service.
Coba RAG sebelum memikirkan fine-tuning
Fine-tuning terdengar mengesankan, tetapi untuk data bisnis, RAG hampir selalu sudah cukup. Kami mengindeks dokumen di Azure AI Search dengan field vektor [2], mengambil beberapa potongan teratas untuk setiap permintaan, lalu meneruskannya ke model. Caranya lebih murah, Anda bisa melihat persis apa yang diberikan kepada model, dan ketika dokumen berubah, jawabannya ikut berubah di hari yang sama.
Beberapa hal yang membantu kualitas jawaban lebih dari yang kami perkirakan:
- Pisahkan dokumen berdasarkan heading dan bagian, bukan berdasarkan jumlah karakter tetap.
- Simpan tenant, bahasa, dan tanggal di samping setiap potongan, lalu filter berdasarkan itu sebelum pengurutan.
- Gunakan hybrid search (kata kunci + vektor). Pada dokumen teknis, pencarian vektor murni sering melewatkan istilah yang tepat seperti kode error.
- Selalu kembalikan sumber bersama jawaban. Pengguna lebih percaya, dan Anda lebih cepat menemukan retrieval yang buruk.
Prompt adalah kode, jadi uji juga
Template prompt disimpan di repo, berdampingan dengan layanan yang memakainya. Prompt itu ditinjau dalam pull request seperti kode lainnya. Kami juga menyimpan sekumpulan kecil 20-50 pertanyaan beserta jawaban yang diharapkan, dan menjalankannya di CI. Jika seseorang "memperbaiki" prompt dan jawabannya justru memburuk, build gagal. Ini sudah menyelamatkan kami lebih dari sekali.
Catat setiap pemanggilan
Untuk setiap permintaan, kami mencatat token prompt dan completion, latensi, versi model, serta ID dokumen yang diambil. Semantic Kernel mengeluarkan OpenTelemetry, sehingga semua ini muncul di Application Insights bersama trace lainnya. Tanpa itu, Anda tidak bisa menjelaskan jawaban yang salah, dan Anda tidak tahu berapa biaya sebenarnya setiap fitur.
Guardrail
- Validasi output terstruktur terhadap skema JSON sebelum kode Anda memakainya.
- Jalankan input pengguna dan output model melalui Azure AI Content Safety [3].
- Letakkan batas permintaan dan anggaran token per tenant di middleware, bukan di kode yang memanggil model.
Bersiap jika gagal
Endpoint LLM kadang dibatasi (throttled), mengalami timeout, atau mengembalikan JSON yang rusak. Bungkus pemanggilan dengan retry, timeout, dan circuit breaker (Polly atau Microsoft.Extensions.Http.Resilience), dan tampilkan fallback yang layak kepada pengguna alih-alih 500. Streaming juga sangat membantu: orang lebih sabar menunggu begitu kata-kata pertama muncul.
Mulai dari yang kecil
Yang sudah berhasil bagi kami:
- Pilih satu fitur internal yang berisiko rendah dulu. Ringkasan tiket adalah kandidat yang baik.
- Rilis di balik feature flag untuk beberapa pengguna dan minta masukan tentang jawabannya.
- Periksa trace dan biaya setiap minggu, dan sesuaikan retrieval serta prompt sebelum menambah fitur baru.
- Tampilkan ke pelanggan hanya ketika hasil evaluasi dan biaya sudah stabil.
Kesimpulan
Dengan cara ini, bagian AI hanyalah satu dependensi lagi dalam arsitektur Anda. Anda tetap memakai kode .NET, proses deployment, dan monitoring yang ada, dan Anda bisa mengganti model ketika ada yang lebih baik.
Ini adalah setup yang kami gunakan di Reliqio [4]. Kami bekerja dengan para founder sebagai mitra teknis untuk produk B2C bertenaga AI di bidang healthtech, fintech, dan e-commerce. Jika Anda sudah menyelesaikan hal-hal ini dengan cara yang berbeda, saya ingin mendengarnya di kolom komentar.
Sources
- ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
- ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com