M365Con 2027 – مؤتمر مجاني عبر الإنترنت · 11–22 Jan 2027 · 120 sessions m365con.net

AI guardrails

Concept

الضوابط الوقائية للذكاء الاصطناعي هي ضوابط مثل تعليمات النظام وتقييد الوظائف المتاحة وطبقات الصلاحيات التي تحدّ مما يمكن للمستخدمين أن يجعلوا نموذج الذكاء الاصطناعي أو الوكيل يفعله، وتُستخدم لمنع تسرب البيانات وحقن الأوامر (Prompt Injection).

✦ CONCEPTAI guardrailsM365.FM
Title graphic: AI guardrails (Concept)

مواضيع تُناقش أيضًا

في الحلقات التي تتناول AI guardrails تُناقش أيضًا: Agentic SDLC، GitHub Copilot CLI، GitHub Copilot coding agent، Gentle AI، Gentleman Programming وRalph loop.

Description

الضوابط الوقائية للذكاء الاصطناعي هي ضوابط تحدّ مما يمكن للمستخدمين أن يجعلوا نموذج الذكاء الاصطناعي أو الوكيل يفعله. من الأمثلة النموذجية على ذلك تعليمات النظام، وتقييد الوظائف المتاحة، وطبقات الصلاحيات. وتُستخدم هذه الضوابط لمنع تسرب البيانات وحقن الأوامر، وتندرج ضمن الموضوع الأوسع المعروف بحوكمة الذكاء الاصطناعي، الذي يشمل السياسات والمسؤوليات التي تترجم الضوابط الوقائية إلى تطبيق تقني.

تنشأ الحاجة إلى هذه الضوابط من طريقة استخدام التطبيقات المدعومة بالذكاء الاصطناعي. ففي حلقة M365.FM بعنوان "How AI Changed Software Development Forever — Building the Agentic Future with Andre Baltieri [MVP]"، يوصف حقن الأوامر بأنه سطح هجوم جديد. يمكن للمستخدمين التلاعب عمداً بالأوامر، ومحاولة استرجاع معلومات خارج السياق المقصود، أو استهلاك موارد الشركة، أو إقناع نظام الذكاء الاصطناعي بتنفيذ إجراءات لم يتوقعها مصمّموه. وتناقش الحلقة تعليمات النظام، والقيود على مستوى التطبيق، والوصول المُتحكَّم فيه كوسائل للتصدي لذلك.

من الأنماط الملموسة التي تتناولها تلك الحلقة ما يتعلق بالوصول إلى البيانات. فبدلاً من منح الوكيل وصولاً غير مقيّد إلى قاعدة البيانات، ينبغي للمطوّرين أن يعرضوا وظائف مُتحكَّماً بها بعناية، تعيد فقط المعلومات اللازمة لمهمة بعينها. ويكتسب هذا الأمر أهمية خاصة حين يستطيع الوكلاء قراءة بيانات المؤسسة أو تعديلها، لأن طبقة الوظائف هي التي تحدد حدود ما يمكن للوكيل رؤيته أو تغييره، بغضّ النظر عمّا يكتبه المستخدم في الأمر. وبهذا المعنى، فإن الضابط الوقائي ليس مجرد تعليمة نصية موجهة إلى النموذج، بل هو أيضاً حدّ بنيوي يقيّد الأدوات والبيانات التي يمكن للنموذج الوصول إليها.

وتظهر الضوابط الوقائية أيضاً في سياق التكلفة والمسؤولية. تتضمن حلقة "How to Build Low-Cost AI Agents in Microsoft Cloud" قسماً عن الضوابط الوقائية للذكاء الاصطناعي المسؤول في Azure. وتقول إن على المؤسسات أن تواءم جميع الوكلاء مع سياسات الحوكمة الداخلية، وأن تعزل البيانات السرية، وأن تقيّد الوصول بحيث لا يستخدم الوكلاء إلا ما يحتاجونه. كما توصي بتوحيد المعرفة وتكامل الأدوات لتقليل التكرار وتبسيط الصيانة، وبالإفصاح بوضوح كلما كان وكيل الذكاء الاصطناعي طرفاً في an تفاعل. وتربط الحلقة نفسها هذا العمل بالمراقبة، مشيرة إلى أدوات مثل Evidently AI لرصد أنماط الإنفاق غير المعتادة، ومنصحةً بمراجعة إعداد المراقبة بشكل متكرر حتى تُعالج المشكلات قبل أن تتفاقم.

أما الجانب التنظيمي فيتناوله الحلقة "Govern High-Risk Power Platform AI Under the EU AI Act". تستعرض تلك الحلقة ما يحدث من أخطاء حين تنشر المؤسسات المساعدين الذكيين (Copilots) أو روبوتات الدردشة دون ضوابط الذكاء الاصطناعي المسؤول. وتشير إلى أن نماذج اللغة الكبيرة الحديثة غير حتمية، وأن حقن الأوامر ليس احتمالاً نظرياً، وأن المخرجات الخاطئة يمكن أن تنتشر عبر سير العمل المؤسسي أسرع من الخطأ البشري. ثم تربط ذلك بقانون الذكاء الاصطناعي الأوروبي وانعكاساته على مطوّري Power Platform وMicrosoft 365، خاصة فيما يمسّ مجالات مثل التوظيف والائتمان.

وإجمالاً، تصف المصادر الضوابط الوقائية بوصفها تدابير متعددة الطبقات لا ميزة واحدة. فتعليمات النظام تحدد السلوك المقصود، وتقييد الوظائف المتاحة يحدّ مما يستطيع الوكيل فعله بالبيانات المؤسسية، وطبقات الصلاحيات تتحكم في من يمكنه الوصول إلى ماذا، بينما تتولى سياسات الحوكمة والمراقبة الإشراف. وتتعلق القرارات المتصلة بالضوابط الوقائية عادةً بمدى تضييق نطاق وصول الوكيل، وكيفية معاملة مدخلات المستخدم بوصفها محتملة العداء، وكيفية مواءمة الضوابط التقنية مع السياسات الداخلية واللوائح المعمول بها.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypeConcept
KindPractice

Frequently asked questions

Questions marked with AI were written with AI from the facts on this page.

ما هي الضوابط الوقائية للذكاء الاصطناعي؟ (AI)

الضوابط الوقائية للذكاء الاصطناعي هي ضوابط مثل تعليمات النظام وتقييد الوظائف المتاحة وطبقات الصلاحيات التي تحدّ مما يمكن للمستخدمين أن يجعلوا نموذج الذكاء الاصطناعي أو الوكيل يفعله. وتُستخدم لمنع تسرب البيانات وحقن الأوامر.

كيف تساعد الضوابط الوقائية في التصدي لحقن الأوامر؟ (AI)

تصف الحلقة المتعلقة ببناء المستقبل القائم على الوكلاء حقن الأوامر بوصفه سطح هجوم جديداً، حيث يتلاعب المستخدمون بالأوامر لاسترجاع معلومات خارج السياق المقصود. وتُناقش تعليمات النظام والقيود على مستوى التطبيق والوصول المُتحكَّم فيه كوسائل للحد من ذلك.

لماذا تُعرض وظائف مُتحكَّم فيها بدلاً من منح الوكيل وصولاً مباشراً إلى قاعدة البيانات؟ (AI)

وفقاً للحلقة مع Andre Baltieri، تعيد الوظائف المُتحكَّم فيها بعناية فقط المعلومات اللازمة لمهمة بعينها. ويكتسب هذا الأمر أهمية خاصة حين يستطيع الوكلاء قراءة بيانات المؤسسة أو تعديلها.

Glossary

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Experts and companies for this topic

Nobody has listed this topic yet. Add it to your profile.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: