Jadi apa sebenarnya yang berubah ketika sebuah perusahaan beralih dari satu chatbot AI ke puluhan alat AI? Awalnya terasa sederhana. Satu tim menambahkan chatbot untuk dukungan pelanggan. Tim lain menggunakan AI untuk mencari dokumen perusahaan dan catatan rapat tertulis secara otomatis. Alur kerja dapat membaca email, mengambil permintaan, dan mengirimkannya ke sistem yang tepat. Tak lama kemudian, perusahaan memiliki beberapa model, agen yang bisa bertindak, dan alat yang menjangkau data bisnis. Setiap tim sering terhubung langsung ke penyedia AI yang berbeda dengan kunci, batas, dan aturan keamanannya sendiri. Lah, biaya menjadi sulit dilacak. Sebuah kunci bisa berakhir di tempat yang salah. Dan saat agen memanggil alat, mungkin tidak ada satu puncatan jelas tentang apa yang coba dilakukan. Di sinilah Microsoft AI Gateway berperan. Di akhir episode ini, Anda akan memahami apa itu, bagaimana blok pembangun yang menyatu, dan kapan saatnya mulai masuk akal bagi bisnis Anda. Anggaplah ini seperti gedung perkantoran dengan banyak pintu samping. Anda bisa membiarkan setiap pintu terbuka dan berharap orang menggunakannya dengan benar, atau Anda bisa mengarahkan semua orang melalui satu pintu masuk yang terkelu. Satu pintu depan untuk AI. Microsoft AI Gateway adalah sekumpulan fitur manajemen api azure yang memberikan satu titik kendali untuk lalu lintas AI Anda. Mari kita berdalam bahasa yang sederhana. Layankan pengaturan AI perusahaan Anda seperti gedung perkantoran modern. Model AI adalah ruangan tempat pemikiran terjadi. Agen Anda adalah pekerja yang bergerak di dalam gedung, memutuskan tugas resmiman yang harus dilakukan berikut. Alat adalah pintu layanan yang menuju ke tempat seperti SDM, keuangan, catatan pelanggan, dan file internal. AI Gateway adalah meja resepsionis dan meja keamanan di bagian depan. Ia memeriksa siapa yang datang, menerapkan aturan, dan mencetak kemana permintaan pergi sebelum mencapai bagian gedung lainnya. Sebuah permintaan mengikuti jalur yang sederhana. Sebuah aplikasi, kopilot, atau agen mengirimkan permintaan ke Gateway. Gateway memeriksa aturan yang berlaku bagi pemanggil tersebut, lalu mengirimkannya ke model, alat, agen, atau API bisnis yang disetujui. Dan saat respons kembali, ia melewati Gateway lagi sebelum mencapai pengguna. Satu jalur itu memberi bisnis tempat untuk mengelola akses, batas, pemeriksaan keamanan, dan pencatatan tanpa harus membangun kendali tersebut ke dalam setiap aplikasi. Ini juga memisahkan dua pekerjaan yang seringkali tercampur. Tim aplikasi dapat fokus pada pengalaman yang sebenarnya digunakan orang. Mereka membangun asisten dukungan, layar pencarian dokumen, atau alur kerja yang menghemat waktu. Sementara itu, tim platform mengelola aturan bersama di balik layar, memutuskan layanan mana yang disetujui, identitas mana yang dapat menggunakannya, seberapa besar trafik yang boleh dikirimkan sebuah proyek, dan apa saja yang dicatat. Anda tentu tidak ingin setiap tim menciptakan rencana keamanan baru untuk setiap jadwal. Microsoft iGateway dapat ditempatkan di depan berbagai jenis trafik AI. Gateway ini dapat mengelola panggilan ke model AI dan panggilan alat protokol konteks model MCP. Gateway ini juga dapat mengelola trafik agen-agen A2A, dan API bisnis yang sudah digunakan perusahaan Anda, seperti API untuk memeriksa pesanan, membaca kebijakan SDM, atau membuka tiket dukungan. Bagian terakhir ini penting karena sebagian besar perusahaan tidak perlu membuang sistem yang ada untuk menggunakan AI. Mereka hanya memerlukan cara yang aman bagi AI untuk bekerja dengan sistem tersebut, dan Gateway membantu menekan kendali di sekitar koneksi itu. Sekarang Microsoft iGateway bukanlah sebuah muda. Ia tidak menulis jawaban sendiri. Ia juga bukan alat membuat agen. Anda tidak menggunakannya untuk merancang asisten SDM atau mengajari agen keuangan apa yang harus dilakukan. Dan ia tidak menggantikan Microsoft Foundry tempat tim dapat membangun, menguji, dan mengelola proyek AI. Sebaliknya, ia berada di tengah-tengah. Foundry dapat membantu Anda bekerja dengan model dan agen AI, sementara Azure API Management AI Gateway membantu mengontrol trafik yang dihasilkan model agen dan alat tersebut. Anda mungkin sudah mengenal Azure API Management sebagai cara untuk mengelola API biasa. API hanyalah cara bagi satu perangkat lunak untuk meminta sesuatu dari perangkat lunak lain. AI Gateway memperluas gagasan yang sama untuk pekerjaan AI. Karena permintaan AI memunculkan pertanyaan, siapa yang menggunakan model mana? Berapa banyak token yang dikonsumsinya? Bisa kakin ini membangun alat? Arus Caprom ini mencapai model tersebut sama sekali. Menempatkan Gateway di tengah memberi Anda satu tempat untuk menjawab pertanyaan tersebut. Dan titik tekanan pertama muncul ketika setiap aplikasi mulai memilih titik akhir modelnya sendiri. Satu titik akhir, banyak model. Ketika aplikasi Anda terhubung langsung ke titik akhir model tunggal, pilihan tersebut akan tertanam ke dalam kode itu sendiri. Seringkali, kode terikat pada satu penyedia, satu penyebaran spesifik, satu wilayah Azure, dan serangkaian batasan tetap. Itu berjalan lancar saat proyek masih kecil, tetapi bayangkan sistem pendukung Anda berjalan pada satu model di satu wilayah. Beberapa bulan kemudian, model itu mencapai kapasitasnya, model yang lebih baik muncul dengan harga lebih murah, atau bisnis Anda perlu pindah ke wilayah lain. Tanpa lapisan bersama, setiap tim aplikasi harus mengubah kode mereka, menguncinya lagi, dan meluncurkan pembaruan. Hal itu membuat perubahan menjadi lambat antak. Microsoft AI Gateway memberikan pintu depan yang stabil untuk aplikasi Anda. Aplikasi mengirim permintaan ke sana, dan pilihan model dapat berubah di balik layar tanpa Anda perlu menyentuh aplikasi tersebut. Anggaplah ini seperti nomor telepon perusahaan. Pelanggan menghubungi satu nomor meskipun panggilan diteruskan ke tim atau kantor yang berbeda. Anda tidak perlu tahu bagaimana panggilan itu ditanggap. Dengan AI Gateway, aplikasi Anda memanggil satu titik akhir yang disetujui, dan di balik titik akhir tersebut, Gateway mengirimkan permintaan ke model yang sesuai dengan tugasnya. Microsoft juga memiliki pendekatan yang lebih baru yang disebut Unified Model API. Sederhananya, ini memungkinkan aplikasi menggunakan cara bergaya OpenAI untuk membuat permintaan, sementara Gateway dapat menghubungkan permintaan tersebut ke berbagai penyedia model di balik layar. Jadi, aplikasi Anda mengirim satu jenis permintaan yang familiar, dan Gateway menangani semua detail penyedia. Tergantung pada pengaturan Anda, permintaan tersebut dapat masuk ke penyebaran Azure OpenAI model di Microsoft Foundry, Antropic, Google Gemini, atau Amazon Bedrock. Terutam mengikuti aturan yang Anda tetapkan, bukan pilihan yang dikodekan secara permanen di dalam setiap aplikasi. Hal itu memberi ruang bagi tim platform untuk melakukan perubahan tanpa mengganggu pengguna aplikasi. Katakanlah perusahaan Anda menjalankan asisten AI untuk dukungan pelanggan. Sebagian besar pertandaan sedana. Di mana pesanan saya? Bagaimana cara pengatasan desain? Pertanyaan tersebut dapat dijawab oleh model yang lebih kecil dan lebih murah dengan cepat tanpa pengeluaran berikut. Kemudian, seorang pelanggan mengirim pertanyaan panjang dan tidak biasa yang memerlukan penalaran cermat atau pengetahuan. Gateway mengarahkan jenis permintaan tersebut ke model yang lebih kuat. Aplikasi dukungan tetap mengirim permintaan dengan cara yang sama, sehingga tim Anda tidak perlu tahu model mana yang menangani pertanyaan tersebut, dan pengembangan Anda tidak perlu menyambungkan koneksi terpisah untuk setiap opsi. Bagaimana dengan kapasitas? Titik akhir model AI memiliki batasan. Mereka hanya dapat menangani sejumlah lalu lintas tertentu dalam satu periode waktu. Jika setiap permintaan masuk ke satu penyebaran, satu jam sibuk saja dapat memperlambat atau memblokir seluruh pengalaman pengguna. Gateway dapat menyebarkan lalu lintas ke beberapa penyebaran yang disetujui, mengarahkan ke wilayah lain saat satu wilayah penuh atau menggunakan rute cadangan jika titik akhir mati. Itu tidak berarti permintaan harus berpindah-pindah secara ini. Anda tetap yang menetapkan rute. Misalnya, lalu lintas yang menghadap pelanggan diprioritaskan pada model utama sementara pengujian internal menggunakan jalur berbeda, atau satu wilayah menangani pengguna lokal sementara yang lain bertindak sebagai cadangan. Poinnya sederhana. Aplikasi Anda terhubung ke satu pintu depan yang terkontrol dan di baliknya platform dapat menyesuaikan model, wilayah, atau penyedia dengan gangguan minimal. Hal ini pernah karena AI berkembang dengan cepat. Model yang berfungsi hari ini mungkin bukan pilihan terbaik di bulan depan. Jika setiap aplikasi terhubung langsung ke penyediaannya, mengganti model akan menjadi proyek bagi setiap tim. Dengan gateway keputusan mengenai model berada di satu tempat yang sama. Sedikit catatan tentang API model terpadu. Microsoft mendaftarkannya sebagai perhatian cukup. Fitur perhatian jauh bisa berubah dan mungkin belum siap untuk semua kasus penggunaan produksi. Namun pola yang lebih besar tidak bergantung pada satu fitur itu. Karena manajemen API Anda sudah bisa berada di depan titik akhir model, menerapkan aturan perutian, dan membantu Anda mengelola lebih dari satu backend. API model terpadu bertujuan untuk mempermudah pengalaman lintas penyedia bagi aplikasi. Memilih model yang tepat hanya separuh pekerjaan karena model bisa menjawab pertanyaan, tetapi agen bisa memutuskan untuk melakukan tindakan yang menjangkau sistem perusahaan yang nyata. Mengatur agen dan alat Agen membawa AI lebih jauh daripada sekadar menjawab pertanyaan. Ini adalah perangkat menaka yang dapat melihat tugas, memilih dari opsi yang disetujui, dan memanggil alat atau layanan untuk menyelesaikan pekerjaan. Agen SDM mungkin mencari kebijakan cuti, agen dukungan mungkin memeriksa pesanan, dan agen keuangan mungkin menyiapkan permintaan pembayaran. Pemampuan itu bermanfaat, tetapi juga mengubah profil risiko. Jawaban yang salah dari model mungkin membingungkan seseorang, tetapi agen yang menggunakan alat yang salah dapat mengekspos data, mengubah catatan, atau mengekspos data, atau memicu proses yang seharusnya tidak boleh disentuh. Inilah sebabnya alat membutuhkan aturannya sendiri. Anda akan mendengar istilah MCP atau protokol konteks model. Anggap saja ini sebagai bentuk konektor standar yang memberikan agen cara yang dikenal untuk menemukan dan menggunakan alat perusahaan seperti layan pencarian dokumen atau api pencarian pesanan. Alih-alih membangun koneksi yang berbeda untuk setiap agen dan setiap sistem MCP memberikan pola umum bagi tim. Lalu ada A2A, agen ke agen, cara standar bagi satu agen untuk menghubungi agen lainnya. Sebagai contoh, agen dukungan meminta detail pengiriman kepada agen pengiriman alih-alih mencoba menghami sistem pengiriman itu sendiri. Itu terdengar rapi di atas kertas, tetapi rantai agen menjadi rumit ketika setiap koneksi memiliki aturan akses yang berbeda, kredensial tersembunyi, dan alat yang tidak diketahui. Bayangkan agen keuangan yang menjawab pertanyaan faktur. Agen tersebut seharusnya hanya menggunakan alat pencarian faktur yang disetujui, tetapi seseorang memberinya akses luas ke sistem keuangan karena lebih cepat daripada menentukan alat yang terbatas. Seorang pengguna mengirimkan perintah yang tampak tidak berbahaya, agen tersebut mungkin meminta data yang tidak perlu atau memulai alur kerja yang seharusnya memerlukan persetujuan menutupi. Agen tersebut tidak berbahaya. Agen tersebut hanya memiliki terlalu banyak kebebasan saat menangani. Microsoft AI Gateway memungkinkan Anda menempatkan kontrol di depan server MCP dan API bisnis. Alih-alih jalur langsung dari aplikasi AI ke basis data, Anda mengekspos alat kecil yang terkontrol untuk satu pekerjaan spesifik. Sebagai contoh, agen bertanya, periksa status pesanan ini. Alat tersebut hanya mengembalikan statusnya, bukan semua pesanan atau catatan pelanggan lengkap. Ini adalah tugas yang terbatas, dan Gateway memperiksa siapa yang meminta sebelum mengizinkan pointers. Identitas berada di pusat pengaturan ini. Dengan Microsoft Enter ID, aplikasi masuk melalui identitas terkelola alih-alih berbagi kunci penyedia. Identitas terkelola membuktikan siapa dirinya tanpa pengembang harus menyalin rahasia ke dalam kode. Setiap agen harus memiliki identitasnya sendiri. Dengan begitu, Anda dapat melihat agen mana yang memanggil alat, mencabut akses untuk satu agen tanpa mengganggu yang lain dan menerapkan aturan yang berbeda. Agen HR tidak boleh mewarisi izin agen keuangan hanya karena keduanya menggunakan AI. Ini mengikuti prinsip zeroter. Periksa setiap permintaan, berikan akses hanya yang diperlukan untuk tugas saat ini, dan anggap setiap prompt atau respons alat bisa saja tidak aman. Dalam prakteknya, agen mendapatkan izin untuk satu alat dan tindakan tertentu. Agen bisa membaca saldo cuti, tetapi tidak bisa mengunduh file pengajian. Agen bisa membuat draft tiket dukungan, tetapi tidak bisa menutup kasus. Gateway juga menerapkan pemeriksaan keamanan pada prompt dan lalu lintas alat. Jika permintaan berisi konten berbahaya atau data yang tidak boleh keluar dari sistem, kebijakan akan menghentikannya sebelum mencapai backend. Tidak ada filter yang menangkap segalanya, tetapi meriksa lalu lintas di titik bersama jauh lebih aman daripada berharap setiap pembuat agen menambahkan perlindungan yang sama. Anda juga memerlukan katalog alat yang disetuju. API Center bertindak sebagai katalog pribadi untuk API dan layanan MCP, sehingga tim menemukan alat yang tepat tanpa mencari dokumen lama atau mencari dokumen lama atau menyalin alamat web yang belum terverifikasi. Itu membantu mengubah keputusan alat mana yang boleh digunakan agen saya menjadi keputusan bisnis yang terkontrol. Kontrol keamanan melindungi jalur, tetapi juga menciptakan pertanyaan baru. Tim mana yang menggunakan jalur tersebut, dan seberapa banyak penggunaan AI yang mereka hasilkan. Biaya token batas dan visibilitas. Biaya AI bekerja berbeda dari lisensi perangkat lunak biasa. Menteran berjalan berdasarkan tuh. Apa itu token? Itu adalah potongan kecil tag. Satu kata pendek mungkin menggunakan satu tuh. Kata yang lebih panjang menggunakan lebih banyak. Model menghitung semua yang Anda kirimkan. Pertanyaan Anda, instruksi yang Anda tambahkan, dokumen apapun yang Anda lampirkan, dan menjauh berikannya kembali. Jadi, pertanyaan sederhana menggunakan sangat sedikit, tetapi agennya membaca dokumen kebijakan panjang, mengajukan pertanyaan tindak lanjut, memanggil alat, dan kemudian membuat jawaban terperinci dapat menggunakan jauh lebih banyak terperinci, dapat menggunakan jauh lebih banyak terperinci, dapat menggunakan jauh lebih banyak terperinci. Anda mungkin pernah melihat ini pada transkrip rapat. Anda melihat beberapa nama catat. Sistem AI juga memproses instruksi sistemnya, transkrip, data perusahaan yang diambil, hasil alat, dan respons akhir. Setiap bagian menambah pengguna. Itulah mengapa satu agen yang sibuk dapat menghabiskan batas model bersama dengan sangat cepat. Bayangkan sebuah tim yang menguji asisten pewasaran baru pada hari Jumat sore. Seseorang memberinya sekumpulan besar file kampanye dan memintanya untuk membandingkan, menulis ulang, dan meringkasnya secara berulang. Sementara itu, dukungan pelanggan bergantung pada kapasitas model yang sama bagi orang-orang yang mencoba mendapatkan bantung. Jika beban kerja pengujian menggunakan kuota bersama, asisten dukungan mungkin melambat atau gagal saat pelanggan membutuhkannya. Masalahnya bukan sekadar perusahaan mengeluarkan uang. Beban kerja yang salah mengambil kapasitas dari beban kerja yang penting. Gerbang AI pengelolaan API Azure dapat menerapkan batas sebelum hal itu terjadi. Anda dapat menetapkan batas permintaan, batas token, dan kuota untuk aplikasi, tim, proyek, atau konsumen. Kuota dapat mencakup jendela singkat, token per menit, atau periode yang lebih lama seperti jatah harian atau bulanan. Hal itu memberikan batasan pada sebuah beban kerja. Asisten pemasaran dapat memiliki anggaran yang sesuai dengan tujuannya. Dukungan pelanggan dapat memiliki jatah sendiri dan prioritas yang lebih tinggi. Ketika asisten pemasaran mencapai batasnya, gerbang dapat menolak atau memperlambat permintaan berikut. Dukungan pelanggan tetap berjalan karena satu proyek pengujian tidak dapat menggunakan sedia. Hal ini juga mengubah diskusi mengenai biaya bulanan. Tanda tampilan bersama, tim keuangan mungkin menerima satu tagian yang besar dan bertanya, siapa yang menggunakan semua ini? Jawabannya bisa sulit ditemukan ketika tim terhubung langsung ke layanan yang berbeda dengan kunci bersama. Gerbang dapat merekam pemanggil, model, penggunaan token, status respons, dan panggilan alat yang terkait dengan permintaan. Hal itu memberikan jejak yang lebih jelas. Anda dapat melihat apakah pengeluaran tersebut berasal dari asisten HR, lingkungan pengujian pengembang, chatbot yang menghadap pelanggan, atau agen yang terus mencoba lagi setelah kesalahan. Anda juga dapat melihat pola yang tidak biasa, seperti satu aplikasi mengirimkan perintah yang jauh lebih besar dari biasa. Jika tim Anda memulai di Microsoft Foundry, gerbang juga dapat terhubung ke pekerjaan tersebut. Proyek Foundry dapat menggunakan batas token tingkat proyek, sementara gerbang menerapkan aturan lalu lintas di sekitar. Hal itu memberikan titik awal yang lebih sederhana bagi pembuat AI, sementara tim platform tetap memiliki tempat bersama untuk mengolah batas dan pemantauan. Ada juga fitur berguna yang disebut penembolokan semantik. Katakanlah satu karyawan bertanya, di mana saya bisa menemukan kebijakan perjalanan. Beberapa detik kemudian karyawan lain bertanya, di mana kebijakan kita untuk perjalanan bisnis? Kata-katanya mungkin berbeda, namun maknanya bisa cukup mirip sehingga Gateway dapat menggunakan kembali jawaban sebelumnya daripada memanggil model lagi. Hal itu dapat menekan biaya dan mempercepat resmi. Cara ini yang cocok untuk pertanyaan di mana pemilik ulama sukat. Anda tidak akan menyimpan dalam cese permintaan tentang saldo cuti seseorang atau status pesanan karena jawaban tersebut bisa berubah. Perutuan juga dapat membantu efisiensi biayanya. Perusahaan dapat mengirim pekerjaan yang sesuai ke model berpiaya rendah menggunakan kapasitas yang sudah dipesan sebelum membayar penggunaan ekstra dan beralih ke jalur cadangan saat limit tercapai. Meski begitu, Gateway tidak menghilangkan kebutuhan kembali milik. Tim membutuhkan anggaran. Seseorang perlu meninjau jawaban model. Seseorang perlu memutuskan apakah suatu agen sebaiknya dibuat atau dipilih. Gateway menyediakan pengukur, pagar pembatas, dan catatan lalu lintas begini. Gateway tidak membuat keputusan bisnis yang sunturan. Setelah Anda dapat melihat dan mengendalikan lalu lintas, seluruh pengaturan menjadi lebih mudah dibayangkan melalui contoh seri hari. Perjalanan permintaannya sederhana. Bayangkan seorang asisten SDM di dalam perusahaan. Seorang karyawan bertanya, berapa hal cuti melahirkan yang bisa saya ambil dan bisakah Anda memulai permintaan saya? Tujuannya sederhana, memberikan jawaban yang cepat dan berguna kepada karyawan, lalu membantu langkah selanjutnya yang disetuju. Namun, asisten SDM tidak boleh memberikan data penggajian, membuka semua file SDM, atau menyimpan kunci penyedia model di dalam kodenya. Permintaan dimulai saat karyawan masuk, Sebelum asisten mengirim apapun ke model atau alat, Gateway, meriksa siapa karyawan tersebut, apakah mereka boleh menggunakan asisten SDM, dan batasan apa yang berlaku untuk aplikasi itu. Karyawan hanya melihat satu jenilah obrolan sederhana, sementara pemeriksaan ini terjadi belak-belak. Selanjutnya, asisten memerlukan jawaban. Pertanyaan kebijakan dasar dapat diarahkan ke endpoint model yang disetuju perusahaan. Jika endpoint tersebut sibuk atau mencapai batas yang ditetapkan, Gateway dapat mengikuti rute cadangan yang telah disetujui perusahaan. Karyawan tetap mendapatkan jawaban melalui asisten SDM yang sama, alih-alih melihat error karena penyebaran model tertentu sedang sibuk. Kemudian karyawan meminta untuk memulai permintaan cuti. Pada titik ini, agen memerlukan lebih dari sekadarmu. Agen memerlukan alat yang dapat memeriksa detail karyawan dan membuat permintaan yang tepat. Agen meminta untuk menggunakan alat MCP yang disetujui untuk pengolahan cuti. Gateway juga meriksa permintaan tersebut. Bisakah agen SDM ini memanggil alat tersebut? Apakah karyawan ini diizinkan untuk memulai jenis permintaan ini? Apakah tindakan tersebut sesuai dengan izin yang diberikan kepada agen? Barulah setelah itu alat tersebut menerima panggil. Alat tersebut tidak mengembalikan daftar catatan karyawan yang sangat besar. Karyawan, kebijakan yang berlaku, dan konfirmasi bahwa permintaan telah dibuat sebagai draft. Respon yang terbatas itu penting. Agen memiliki cukup informasi untuk membantu, tetapi tidak mendapatkan akses luas hanya karena mereakses luas, hanya karena mengajukan pertanyaan lupa. Sekarang, bayangkan karyawan menempelkan teks dari dokumen luar ke dalam obrolan. Teks tersebut berisi instruksi yang mencoba menipu asisten agar mengabaikan aturannya atau meminta informasi rahasia. Gateway dapat menerapkan pemeriksaan keamalan sebelum perintah mencapai model atau sebelum alat menerima permintaan. Jika permintaan melanggar aturan, proses dapat dihentikan di sana. Pemeriksaan serupa dapat meninjau respon sebelum mencapai karyawan. Tidak semua masalah berasal dari perintah yang buruk. Model mungkin menghasilkan respon yang menyertakan informasi yang seharusnya tidak dikembalikan. IT-Control bersama memberikan perusahaan tepat untuk mengeriksa jalur tersebut dan mendek lanjutinya. Sementara itu permintaan tersebut membuat catatan. Perusahaan dapat menautkan token yang digunakan ke proyek asisten SDM. Perusahaan dapat melihat model mana yang menangani pertanyaan apakah pemangkilan alat berhasil, apakah permintaan diblokir, dan berapa lama prosesnya. Hal itu membuat dukungan dan peninjauan menjadi jauh lebih. Jika tim SDM melaporkan bahwa karyawan tidak dapat membuat permintaan cuti, tim operasional dapat mencari pemangkilan alat yang gagal. Jika aturan keamanan melokir pertanyaan yang valid, mereka dapat melihat polanya dan meningkatkan kebijakan. Jika satu agen tiba-tiba menggunakan kapasitas AI jauh lebih banyak dari biasanya, perubahan itu menjadi terlik. Dan jika perusahaan memperbarui aturan seperti mewajibkan pemeriksaan tambahan sebelum permintaan cuti tertentu, mereka dapat memperbarui kebijakan gateway sekali saja. Perusahaan tidak perlu menunggu pembaruan kode terpisah di setiap aplikasi SDM chat, poten alur kerja yang menggunakan jalur terkontrol yang sama. Pola permintaan yang sama tetap berfungsi saat perusahaan menambahkan model lain, wilayah baru, alat internal lainnya, atau agen lain yang menangani tugas SDM terkait. Namun mulai yang kecil, gateway menjadi berguna ketika lalu lintas AI mulai menjadi lalu lintas bersama. Dari mana harus mulai? Jadi di mana Anda sebenarnya mau mulai? Mulailah dengan memilih satu beban kerja nyata. Mungkin asisten dukungan yang sudah memanggil model, atau agen yang direncanakan tim Anda untuk SDM keuangan atau pencarian dokumen internal. Jangan mencoba menangani setiap model dan setiap alat sekali. Adalah, jangan lintas menunjuk kekacauan. Alih-alih memberikan kunci penyedia langsung ke setiap aplikasi, letakkan titik akhir model beban kerja itu di balik gateway AI manajemen API Azure. Anggap ini sebagai satu titik pemeriksaan keamanan untuk trafik Ayan. Lo tetapkan dasarnya. Tunjuk pemilik yang jelas untuk beban kerja itu. Gunakan akses berbasis entra, agar hanya orang atau layanan yang tepat yang bisa mencapainya. Tetapkan batas token yang sesuai dengan tugas, tidak lebih, tidak akurat. Aktifkan pencatatan log agar Anda permintaan. Tambahkan satu aturan common konten yang bisa diuji dan ditinjau tim. Mulai dengan sederhana. Setelah jalur model dan batas akses berfungsi, tambahkan alat MCP yang disetujui satu per satu. Setiap alat harus memiliki tugas yang spesifik dan alasan yang jelas bagi agen untuk menggunakan. Jangan ada tambahan yang tidak perlu. Dari sana Anda berkembang dari satu beban kerja terkendali menjadi model alat dan agen bersama. Tanpa titik kontrol awal itu, setiap aplikasi AI baru menciptakan jalur tak terkelola ke data perusahaan dan tambahan biaya pada tagihan AI. Untuk wawasan berikutnya, simak Azure API Management Simply Explain yang menjadi dasar pembangunan Microsoft AI Gateway.