AI guardrails
Concept
Kontrol seperti system prompt, pembatasan fungsi yang dapat diakses, dan lapisan izin yang membatasi apa yang dapat dilakukan pengguna terhadap model atau agen AI, digunakan untuk mencegah kebocoran data dan prompt injection.
Juga dibahas
Episode tentang AI guardrails juga membahas Agentic SDLC, GitHub Copilot CLI, GitHub Copilot coding agent, Gentle AI, Gentleman Programming, dan Ralph loop.
Description
AI guardrails adalah kontrol yang membatasi apa yang dapat dilakukan pengguna terhadap model atau agen AI. Contoh umumnya adalah system prompt, pembatasan fungsi yang dapat diakses, dan lapisan izin. Kontrol ini digunakan untuk mencegah kebocoran data dan prompt injection, dan berada di bawah topik yang lebih luas, yaitu AI governance, yang mencakup kebijakan dan tanggung jawab yang diterapkan oleh guardrails pada tingkat teknis.
Kebutuhan akan guardrails berasal dari cara aplikasi bertenaga AI digunakan. Dalam episode M365.FM "How AI Changed Software Development Forever — Building the Agentic Future with Andre Baltieri [MVP]", prompt injection digambarkan sebagai permukaan serangan baru. Pengguna dapat dengan sengaja memanipulasi prompt, mencoba mengambil informasi di luar konteks yang dimaksudkan, menghabiskan sumber daya perusahaan, atau membujuk sistem AI untuk melakukan tindakan yang tidak pernah diantisipasi perancangnya. Episode ini membahas instruksi sistem, pembatasan di tingkat aplikasi, dan akses terkontrol sebagai cara untuk menanggapi hal tersebut.
Salah satu pola konkret dari episode itu berkaitan dengan akses data. Alih-alih memberi agen akses database yang tidak terbatas, pengembang sebaiknya menyediakan fungsi yang dikontrol dengan cermat, yang hanya mengembalikan informasi yang diperlukan untuk tugas tertentu. Hal ini paling penting ketika agen dapat membaca atau mengubah data perusahaan, karena lapisan fungsi kemudian menentukan batas apa yang dapat dilihat atau diubah oleh agen, terlepas dari apa yang diketik pengguna dalam prompt. Dalam arti ini, guardrail bukan hanya instruksi teks kepada model, tetapi juga batas struktural pada alat dan data yang dapat dijangkau model.
Guardrails juga muncul dalam konteks biaya dan tanggung jawab. Episode "How to Build Low-Cost AI Agents in Microsoft Cloud" menyertakan bagian tentang guardrails AI yang bertanggung jawab di Azure. Episode ini menyatakan bahwa organisasi sebaiknya menyelaraskan semua agen dengan kebijakan tata kelola internal, mengisolasi data rahasia, dan membatasi akses sehingga agen hanya menggunakan apa yang mereka butuhkan. Episode ini juga merekomendasikan standarisasi integrasi pengetahuan dan alat untuk mengurangi duplikasi dan menyederhanakan pemeliharaan, serta membuat jelas setiap kali agen AI terlibat dalam suatu interaksi. Episode yang sama menghubungkan pemantauan dengan pekerjaan ini, dengan menyebutkan alat seperti Evidently AI untuk mendeteksi pola pengeluaran yang tidak biasa dan menyarankan agar pengaturan pemantauan ditinjau secara rutin sehingga masalah diperbaiki sebelum membesar.
Sisi regulasi dibahas dalam "Govern High-Risk Power Platform AI Under the EU AI Act". Episode tersebut menjelaskan apa yang salah ketika organisasi menerapkan copilot atau chatbot tanpa Responsible AI guardrails. Episode ini menunjukkan bahwa model bahasa besar modern bersifat non-deterministik, bahwa prompt injection bukanlah hal hipotetis, dan bahwa keluaran yang buruk dapat merambat ke seluruh alur kerja bisnis lebih cepat daripada kesalahan manusia. Episode ini kemudian menghubungkannya dengan EU AI Act dan implikasinya bagi pembangun Power Platform dan Microsoft 365, terutama untuk hal-hal yang menyentuh bidang seperti ketenagakerjaan atau kredit.
Secara keseluruhan, sumber-sumber ini menggambarkan guardrails sebagai langkah berlapis, bukan satu fitur tunggal. System prompt menetapkan perilaku yang dimaksud, pembatasan fungsi yang dapat diakses membatasi apa yang dapat dilakukan agen dengan data perusahaan, lapisan izin mengontrol siapa yang dapat menjangkau apa, dan kebijakan tata kelola serta pemantauan memberikan pengawasan. Keputusan seputar guardrails biasanya mencakup seberapa sempit membatasi akses agen, bagaimana memperlakukan input pengguna sebagai potensi ancaman, serta bagaimana menyelaraskan kontrol teknis dengan kebijakan internal dan regulasi yang berlaku.
Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.
| Type | Concept |
|---|---|
| Kind | Practice |
Frequently asked questions
Questions marked with AI were written with AI from the facts on this page.
Apa itu AI guardrails? (AI)
AI guardrails adalah kontrol seperti system prompt, pembatasan fungsi yang dapat diakses, dan lapisan izin yang membatasi apa yang dapat dilakukan pengguna terhadap model atau agen AI. Kontrol ini digunakan untuk mencegah kebocoran data dan prompt injection.
Bagaimana guardrails membantu mencegah prompt injection? (AI)
Episode tentang membangun masa depan agentic menggambarkan prompt injection sebagai permukaan serangan baru, di mana pengguna memanipulasi prompt untuk mengambil informasi di luar konteks yang dimaksudkan. Instruksi sistem, pembatasan di tingkat aplikasi, dan akses terkontrol dibahas sebagai cara untuk membatasinya.
Mengapa menyediakan fungsi terkontrol alih-alih akses database langsung bagi agen? (AI)
Menurut episode bersama Andre Baltieri, fungsi yang dikontrol dengan cermat hanya mengembalikan informasi yang diperlukan untuk tugas tertentu. Hal ini sangat penting ketika agen dapat membaca atau mengubah data perusahaan.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts and companies for this topic
Nobody has listed this topic yet. Add it to your profile.
Maintained by Mirko Peters (Microsoft MVP) · Last updated: