M365Con 2027 – مؤتمر مجاني عبر الإنترنت · 11–22 Jan 2027 · 120 sessions→ m365con.net

المدونة · Mirko Peters

كيف تختبر وكلاء الذكاء الاصطناعي وإضافات Copilot بطريقة قابلة للتكرار

By · · Updated

كيف تختبر وكلاء الذكاء الاصطناعي بطريقة قابلة للتكرار: إنشاء مجموعة اختبار، واختيار أدوات التقييم، وتقييم استدعاءات الأدوات وتتبع الانحدارات، مع مثال عملي على Copilot Studio لقادة ضمان الجودة.

Automatically translated with AI from the original post. Read the English original

كيف تختبر وكلاء الذكاء الاصطناعي سؤال عملي لأي قائد لضمان الجودة يُطلب منه اعتماد أحد هذه الوكلاء: فالمدخل نفسه قد يُنتج إجابات مختلفة، ولم تعد العادة القديمة في مقارنة المخرجات بقيمة متوقعة واحدة صالحة. هذا الدليل موجّه إلى قادة ضمان الجودة الذين يحتاجون إلى منهجية قابلة للتكرار للوكلاء المبنيين باستخدام Copilot Studio أو أدوات أخرى. سترى ما يجعل الوكلاء صعبي الاختبار، ونهجًا متعدد الطبقات، وكيفية إنشاء مجموعة اختبار، وأدوات التقييم التي يجب استخدامها، وكيفية الإبقاء على النتائج قابلة للمقارنة مع مرور الوقت. ويعرض مثال عملي بأرقام افتراضية كيف يطبّق فريق صغير هذا كله.

النقاط الرئيسية

  • يعطي وكيل الذكاء الاصطناعي إجابات مختلفة للمدخل نفسه، لذلك يعني الاختبار القابل للتكرار التقييم وفق معايير وعتبات متفق عليها، لا مطابقة سلسلة نصية واحدة بالضبط.
  • قسّم اختبارات الوكيل إلى طبقات: اختبارات وحدة عادية للتوجيه والتحليل، وتقييم جودة مخرجات نموذج اللغة، وسيناريوهات شاملة من البداية إلى النهاية للتدفقات متعددة الخطوات.
  • تبدأ مجموعة الاختبار الجيدة صغيرة، وتغطي مهام المستخدمين الفعلية، والأخطاء المعروفة، والحالات الحدّية، والسلوكيات عالية المخاطر، وتُحفظ تحت التحكم في الإصدارات بجانب المطالبات.
  • تحقق من المسار كما تتحقق من الإجابة: فالرد الذي يبدو صحيحًا لكنه تجاوز استدعاء أداة مطلوبة يُعد فشلًا.
  • شغّل كل حالة عدة مرات، وقارن معدلات الفشل بخط الأساس، واحتفظ بالحالات التي يجب أن تنجح والإجراءات المحظورة كبوابات صارمة.

ما الذي يجعل وكلاء الذكاء الاصطناعي صعبي الاختبار

يتصرف التطبيق الكلاسيكي بقابلية للتنبؤ: فالمدخل نفسه يقود إلى النتيجة نفسها. أما وكيل الذكاء الاصطناعي فيعمل فوق نموذج لغوي كبير، لذا تتفاوت إجاباته، كما يقرر الأدوات التي يستدعيها وترتيب استدعائها. وهذا يعني أنك تحتاج إلى التحقق من شيئين: الإجابة النهائية، والمسار الذي سلكه الوكيل للوصول إليها.

قد تُنتج نماذج اللغة هلوسة، أي أنها تقدم معلومات خاطئة بثقة، لذلك يحتاج كل نظام ذكاء اصطناعي تُطلقه إلى فحوصات لهذا الأمر. ويزداد الخطر مع سير العمل الوكيلي، حين يستدعي وكيل الذكاء الاصطناعي واجهة برمجة تطبيقات، أو يقرأ ملفًا، أو يعدّل سجلًا نيابةً عن المستخدم. لذا يشمل اختبار هذا الوكيل أكثر من النصوص التي يكتبها.

تُرفض في مقالة SitePoint عن اختبار وكلاء الذكاء الاصطناعي في عالم غير حتمي المطابقة الحرفية لمخرجات النموذج، لأن الإجابات الصحيحة يمكن صياغتها بطرق كثيرة. فهي تستبدل سؤال "هل هي مطابقة تمامًا؟" بسؤال "هل هي جيدة بما يكفي؟". هذا التحول هو جوهر اختبار وكلاء الذكاء الاصطناعي، وهو يؤثر في كيفية كتابة النتائج المتوقعة، وتحديد درجات النجاح، والإبلاغ عن المخاطر.

لا يجعل التفاوت الاختبار مستحيلًا. بل يعني أن اختبار الوكلاء يعتمد على النطاقات والعتبات والتشغيل المتكرر، بينما يبقى الكود العادي تحت الاختبارات العادية.

كيف تختبر وكلاء الذكاء الاصطناعي على أربع طبقات

تقسم مقالة SitePoint نفسها اختبار الوكيل إلى ثلاث طبقات، بينما تضيف إرشادات LangChain حول اختبار نماذج اللغة ووكلاء الذكاء الاصطناعي فكرة رابعة، هي بوابات الإصدار. وتشكل هذه الطبقات معًا خطة عملية:

  1. المنطق البسيط. توجيه الأدوات وتحليل المدخلات وتنسيق المخرجات وتغييرات الحالة كلها شيفرة برمجية عادية. تعمل اختبارات الوحدة العادية مع تأكيدات دقيقة بشكل جيد هنا، وتقترح SitePoint تشغيلها مع كل عملية إيداع (commit).
  2. جودة المخرجات. قيّم إجابات نموذج اللغة من حيث الأمانة (faithfulness) والصلة بالسؤال (relevance) والهلوسة (hallucination). هذه الفحوص أبطأ، وتكلّف مالاً عندما يُستخدم نموذج حكم (judge model)، لذلك تقترح SitePoint تشغيلها عند الدمج (merge) أو وفق جدول زمني.
  3. سيناريوهات الطرف إلى الطرف. شغّل محادثات متعددة الأدوار وعمليات أدوات متعددة الخطوات، من الرسالة الأولى للمستخدم وحتى النتيجة النهائية. هذا هو مقابل الاختبار الشامل من الطرف إلى الطرف لوكيل الذكاء الاصطناعي، وهو الطبقة التي تكشف المشكلات التي تقع بين المكونات.
  4. بوابات الإصدار. توصي LangChain بتشغيل الفحوص في خط التسليم (delivery pipeline) على كل تغيير مرشح، مع عتبات متفق عليها للجودة والسلوك والأداء مثل زمن الاستجابة (latency) والتكلفة.

لا تتخطَّ الطبقة الأولى لأن وكيل الذكاء الاصطناعي يبدو وكأنه سحر. كثير من أعطال وكلاء الذكاء الاصطناعي أخطاء برمجية عادية في طريقة تحليل المدخلات أو في اختيار الأداة المناسبة، وهي رخيصة الاكتشاف.

بناء مجموعة اختبار تظل مفيدة

مجموعة الاختبار، التي يُطلق عليها غالباً مجموعة التقييم (eval set)، هي محور أعمال تقييم الذكاء الاصطناعي. تنصح LangChain بالبدء بعدد صغير من الحالات عالية الجودة التي تغطي مهام المستخدمين الفعلية والأعطال المعروفة والسلوك عالي المخاطر، ثم التوسع بها كلما كشفت المحادثات الحقيقية مشكلات جديدة. ضمّن الطلبات الشائعة والمدخلات العدائية وحالات الحدود والأمثلة التي صحّحها خبراء المجال. يمكن أن تحتوي كل حالة على مدخل، ومخرج مرجعي، ومعايير تقييم، وخطوات مطلوبة أو محظورة، وبيانات وصفية للتصفية.

تضيف SitePoint عادة تجعل النتائج قابلة للتتبع: احفظ مجموعة البيانات في نظام التحكم في المصدر، وأدرِ إصداراتها جنباً إلى جنب مع قوالب التعليمات (prompt templates)، حتى يمكن ربط أي تغيير في الدرجات بتغيير محدد في الوكيل.

قد تبدو مجموعة البداية لمسؤول ضمان الجودة كما يلي:

  • الأسئلة الشائعة بالصياغة التي يستخدمها الناس فعلاً.
  • الأعطال المعروفة من الحوادث أو الشكاوى السابقة، وتُحفظ كحالات انحدار (regression) دائمة.
  • حالات الحدود، مثل الأسئلة الغامضة، والخلط بين لغتين، والمعلومات الناقصة، والطلبات التي ينبغي لوكيل الذكاء الاصطناعي رفضها.
  • الطلبات عالية المخاطر، ومنها محاولات حقن التعليمات (prompt injection)، والأسئلة عن بيانات لا ينبغي للمستخدم رؤيتها، والطلبات التي تقع خارج نطاق عمل الوكيل.
  • حالات يجب اجتيازها، حيث يؤدي أي فشل فيها إلى إيقاف الإصدار.

اكتب النتيجة المتوقعة بأكبر قدر ممكن من الدقة. فالتوقعات الغامضة تنتج درجات مشوشة، أياً كانت الأداة التي تقوم بالتقييم.

اختر أدوات التقييم: الشيفرة البرمجية أو نموذج الحكم أو الإنسان

تصف LangChain ثلاثة أنواع من أدوات التقييم (graders)، ولكل نوع موقعه:

  • فحوص الشيفرة مناسبة للقواعد الحتمية: صيغة JSON صحيحة، ووجود معرّف حساب مطلوب، واستدعاء أداة محددة. وهي رخيصة وقابلة للتكرار.
  • نموذج الحكم يقيّم الصفات القائمة على التقدير، مثل الارتكاز إلى المصادر (groundedness) واتباع التعليمات وإتمام المهمة. تنصح LangChain بالتحقق من درجات نموذج الحكم مقابل أمثلة يراجعها البشر قبل الاعتماد عليها.
  • المراجعة البشرية تتولى الحالات الملتبسة أو عالية المخاطر. يضع المراجعون وسوم على الأعطال، ويمكن أن تنضم تلك الحالات إلى مجموعة الاختبار كاختبارات انحدار مستقبلية.

تحقّق من المسار، لا من الإجابة وحدها. تسمي LangChain ذلك تقييم المسار (trajectory evaluation): ترتيب الأدوات، والمعاملات، وخطوات الموافقة، والحلقات التكرارية. ومثالها وكيل استرداد أموال يجب أن يستدعي البحث في السياسة قبل الرد. الإجابة التي تبدو صحيحة لكنها تتجاوز البحث في السياسة تبقى فاشلة. لهذا ينبغي أن تسجل كل حالة اختبار استدعاء الأداة المتوقع، لا النص المتوقع فقط.

تحتاج الدرجات إلى عتبات. تقترح SitePoint حداً أدنى لكل مقياس بدلاً من هدف دقيق واحد، وتشمل أمثلتها القيمة 0.85 للأمانة (faithfulness) و0.7 لصلة الإجابة بالسؤال (answer relevancy). اعتبر هذه الأرقام أمثلة، وحدد أرقامك الخاصة وفقاً لمستوى المخاطر لديك.

اختبار وكيل Copilot Studio

يتضمن Copilot Studio ميزة تقييم مدمجة، وتسرد صفحة Microsoft عن إنشاء مجموعة اختبار التفاصيل التي يحتاجها مسؤول ضمان الجودة.

  • مجموعات الاختبار: تتسع مجموعة الاختبار ذات الاستجابة الواحدة لما يصل إلى 100 حالة اختبار. يمكنك توليد مجموعة سريعة من عشرة أسئلة انطلاقاً من وصف الوكيل، أو توليد المزيد من مصدر معرفة أو من الموضوعات، أو إعادة استخدام أسئلة من محادثة اختبار، أو استيراد ملف CSV أو TXT، أو كتابة الحالات يدوياً.
  • أساليب الاختبار: الجودة العامة، وسلامة المحتوى، ومقارنة المعنى، واستخدام الأدوات، ومطابقة الكلمات المفتاحية، وتشابه النص، والمطابقة التامة، ومعايير مخصصة. تحتاج جميع الأساليب باستثناء الجودة العامة إلى إجابة متوقعة أو كلمات مفتاحية أو قدرات محددة لكل حالة.
  • الهوية: يستخدم الاختبار الآلي مصادقة المستخدم المسجّل الدخول للوصول إلى مصادر المعرفة والأدوات. شغّل الاختبار بالمستخدم نفسه في كل مرة حتى تبقى النتائج قابلة للمقارنة، وتأكد من أن هذا المستخدم يستطيع الوصول إلى كل مصدر يحتاجه الوكيل.
  • القيود: لا تستطيع المجموعات المولَّدة كشف الثغرات في المعلومات، لأنها تستمد أسئلتها فقط مما يعرفه الوكيل بالفعل. تُحفظ النتائج لمدة 89 يوماً، لذا صدّرها إلى ملف CSV للاحتفاظ بخط أساس.

تنتج عن الصفحة تنبيهان. قد تتضمن حالات الاختبار المولَّدة بيانات حساسة يمكن للحساب المرتبط الوصول إليها، ويمكن لصانعين آخرين لديهم صلاحية الوصول إلى الوكيل الاطلاع على مجموعات الاختبار المرتبطة، لذا راجعها قبل مشاركتها. كما أن المجموعة المولَّدة نقطة بداية وليست مجموعة مكتملة. أضف يدوياً الإخفاقات المعروفة لديك والطلبات الحساسة.

اجعل النتائج قابلة للتكرار

تأتي قابلية التكرار من عادات في سير عمل الاختبار لديك، وليس من ميزة بعينها:

  1. شغّل كل حالة أكثر من مرة. تقترح SitePoint تشغيل كل حالة ثلاث مرات على الأقل وأخذ المتوسط. وتقترح LangChain مقارنة معدلات الفشل للمخرجات المتغيرة.
  2. قارن بخط أساس. شغّل النسخة المرشحة والنسخة الحالية على مجموعة الاختبار نفسها. تحذّر LangChain من أن المتوسط الأفضل قد يخفي تراجعاً في حالة حرجة واحدة، لذا راقب أمثلة الاجتياز الإلزامي.
  3. استخدم بوابات صارمة للإجراءات المحظورة. تقترح LangChain فحوصات حتمية بعتبة صفر إخفاقات للإجراءات التي لا يجوز للوكيل تنفيذها أبداً.
  4. أعد التشغيل بعد كل تغيير، وأتمتِ العملية. تحافظ الأتمتة في خط التسليم على استمرار هذه العادة. يُعدّ تغيير الموجِّه تغييراً في الشيفرة، وكذلك تغيير النماذج أو الاسترجاع أو تعريفات الأدوات أو الذاكرة أو التوجيه.
  5. احتفظ بالأدلة. صدّر النتائج واحفظها مع إصدار مجموعة الاختبار وإصدار الوكيل.

مثال: وكيل لسياسة الإجازات

الأرقام من نسج الخيال.

يبني فريق وكيلاً في Copilot Studio يجيب عن أسئلة سياسة الإجازات. ينشئ مسؤول ضمان الجودة 40 حالة اختبار. اثنتان وعشرون منها أسئلة شائعة، وثماني منها إخفاقات معروفة من التجربة التجريبية، وست منها تستخدم صياغات غير معتادة مثل تواريخ غير واضحة، وأربع منها طلبات حساسة، من بينها سؤال عن إجازة موظف آخر. وست حالات مُعلَّمة كأمثلة اجتياز إلزامي.

يستخدم المسؤول مطابقة الكلمات المفتاحية للحقائق الثابتة مثل عدد أيام الإجازة، ومقارنة المعنى للشروحات، وفحص استخدام الأداة للتأكد من أن الوكيل يستدعي البحث في السياسة قبل الإجابة. تُشغَّل كل حالة ثلاث مرات.

في أول تشغيل كامل، نجحت 34 حالة من أصل 40 في جميع التشغيلات الثلاثة. ومن بين الحالات الست الفاشلة، ترتبط حالتان بمثال اجتياز إلزامي، وفي إحداها أجاب الوكيل دون استدعاء البحث في السياسة. يصحّح الفريق التعليمات ويعيد التشغيل، فيبلغ 38 حالة ناجحة من أصل 40 مع نجاح جميع أمثلة الاجتياز الإلزامي. يصدّر المسؤول النتائج كخط أساس، ويضع قاعدة مفادها أن أي تغيير في الموجِّه أو النموذج يعيد تشغيل الحالات الأربعين كافة، وأن أي تراجع في حالة اجتياز إلزامي يمنع الإصدار في سير عمل التسليم.

الأخطاء الشائعة

  • مطابقة النص حرفياً. تختلف الإجابات الصحيحة، لذا تُنتج المطابقة التامة إخفاقات زائفة.
  • الحكم على الإجابة وحدها. قد يصل الوكيل إلى إجابة تبدو جيدة عبر تخطي خطوة مطلوبة.
  • تشغيل كل حالة مرة واحدة. تشغيل واحد ناجح لا يثبت الكثير.
  • الاعتماد على مجموعة اختبار مولَّدة وحدها. لا تستطيع كشف الثغرات فيما لم يُخبر به الوكيل قط.
  • الثقة العمياء بنموذج الحكم. تحقّق من درجاته مقارنةً بأمثلة راجعها البشر.
  • اختبار المسار المثالي فقط. ضمّن الصياغات غير المعتادة والطلبات الحساسة والإخفاقات المعروفة.

كيف يمكن للبرمجيات أن تساعد

ابدأ بما تقدمه منصة الوكلاء لديك. يتضمن Copilot Studio تقييماً مدمجاً، وتوجد أطر تقييم مفتوحة المصدر وتجارية للوكلاء الذكيين المخصصين. اختر أداة اختبار تتيح لك تحديد إصدارات مجموعات الاختبار، وتشغيل كل حالة عدة مرات، وفحص استدعاءات الأدوات، وتصدير النتائج. أضف خط التسليم لديك كبوابة، واستخدم جدول بيانات أو أداة إدارة اختبارات لتتبع الحالات ومالكيها. نفّذ تجربة تجريبية على وكيل واحد قبل توحيد المعيار.

الخطوة التالية

اكتب عشر حالات اختبار لوكيل ذكاء اصطناعي تشغّله بالفعل، تتضمن ثلاث حالات فشل معروفة وطلبين محفوفين بالمخاطر، وقيّم كل حالة ثلاث مرات. ثم احفظ النتائج كخط أساس مرجعي، بحيث يصبح اختبار وكلاء الذكاء الاصطناعي في فريقك خطوة روتينية بدلاً من أن يكون موضع جدل.

Entities in this article

AI agent AI evaluation Copilot Studio End-to-end testing

Related articles

RSS