M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions→ m365con.net

בלוג · Reliqio

הוספת שכבת LLM ל-Backend של .NET עם Semantic Kernel

By ·

איך אנחנו מוסיפים יכולות AI ל-Backend קיים של .NET: Semantic Kernel, RAG על Azure AI Search, פרומפטים שנבדקים, לוגים וכמה מנגנוני הגנה.

Automatically translated with AI from the original post.

כמעט כל לקוח עם Backend קיים של .NET שואל אותנו את אותה שאלה, מוקדם או מאוחר: "אפשר להוסיף לזה קצת AI?" בדרך כלל הכוונה לסיכומים, לחיפוש טוב יותר או לעוזר תמיכה. ובדרך כלל מישהו בצוות כבר הציע שירות נפרד ב-Python בשביל זה.

אפשר לעשות את זה. אבל ברוב הפרויקטים שעבדנו עליהם לא היה בזה צורך. Semantic Kernel משתלב בצורה טובה באפליקציית ASP.NET Core, ואתם שומרים על ה-Pipeline, על הלוגים ועל הבדיקות הקיימים. הנה בערך איך אנחנו מגדירים את זה.

להסתיר את המודל מאחורי Semantic Kernel

תתייחסו ל-LLM כמו לכל תלות חיצונית אחרת, למשל ספק תשלומים. ל-Semantic Kernel כבר יש הפשטה בשם IChatCompletionService [1], כך שהקוד שלכם לא נוגע ישירות ב-SDK של ספק מסוים. רושמים אותה ב-DI, ומעבר מ-Azure OpenAI לספק אחר הופך לשינוי בהגדרות.

אצלנו זה נראה כך: ה-Kernel נרשם פעם אחת ב-Program.cs, לכל מקרה שימוש יש שירות קטן משלו (למשל TicketSummaryService), ושם הפריסה, ה-temperature ומגבלות הטוקנים נמצאים במחלקת אופציות. בקרים מכירים רק את השירות. זה גם מקל על בדיקות יחידה, כי אפשר להחליף את שירות ההשלמות במימוש מזויף.

לנסות RAG לפני שחושבים על Fine-tuning

Fine-tuning נשמע מרשים, אבל לנתונים עסקיים RAG כמעט תמיד מספיק. אנחנו מאנדקסים מסמכים ב-Azure AI Search עם שדות וקטוריים [2], שולפים לכל בקשה כמה קטעים מובילים ומעבירים אותם למודל. זה זול יותר, רואים בדיוק מה המודל קיבל, וכשמסמך משתנה התשובות משתנות באותו יום.

כמה דברים שעזרו לאיכות התשובות יותר מכפי שציפינו:

  • לפצל מסמכים לפי כותרות וסעיפים, ולא לפי מספר תווים קבוע.
  • לשמור לכל קטע את הדייר, השפה והתאריך, ולסנן לפיהם לפני הדירוג.
  • להשתמש בחיפוש היברידי (מילות מפתח + וקטורים). במסמכים טכניים, חיפוש וקטורי בלבד החמיץ שוב ושוב מונחים מדויקים כמו קודי שגיאה.
  • תמיד להחזיר את המקורות יחד עם התשובה. המשתמשים סומכים על זה יותר, וגם תאתרו שליפה לא טובה מהר יותר.

פרומפטים הם קוד, ולכן בודקים אותם

תבניות הפרומפטים נכנסות לריפו ליד השירות שמשתמש בהן. הן עוברות ביקורת ב-Pull Requests כמו כל דבר אחר. אנחנו גם שומרים סט קטן של 20 עד 50 שאלות עם תשובות צפויות, ומריצים אותו ב-CI. אם מישהו "משפר" פרומפט והתשובות נעשות גרועות יותר, ה-Build נכשל. זה כבר חסך לנו יותר מפעם אחת.

לתעד כל קריאה

לכל בקשה אנחנו רושמים טוקני פרומפט והשלמה, זמן תגובה, גרסת המודל ומזהי המסמכים שנשלפו. Semantic Kernel מפיק OpenTelemetry, כך שכל זה מופיע ב-Application Insights לצד שאר ה-Traces. בלי זה אי אפשר להסביר תשובה שגויה, ואין שום מושג כמה כל פיצ'ר באמת עולה.

מנגנוני הגנה

  • לאמת פלט מובנה מול JSON Schema לפני שהקוד משתמש בו.
  • להעביר קלט משתמש ופלט מודל דרך Azure AI Content Safety [3].
  • להכניס מגבלות קצב ותקציבי טוקנים לכל דייר ל-Middleware, ולא לקוד שקורא למודל.

לצפות שזה ייכשל מדי פעם

נקודות הקצה של LLM מוגבלות בקצב, נתקעות ב-Timeout ומדי פעם מחזירות JSON שבור. עטפו את הקריאות ב-Retry, Timeout ו-Circuit Breaker (Polly או Microsoft.Extensions.Http.Resilience), והציגו למשתמש חלופה מסודרת במקום 500. Streaming גם עוזר מאוד: אנשים מחכים הרבה יותר בסבלנות כשהמילים הראשונות כבר מופיעות.

להתחיל בקטן

מה שעבד לנו:

  1. לבחור קודם פיצ'ר פנימי אחד בסיכון נמוך. סיכומי טיקטים הם מועמד טוב.
  2. לשחרר אותו מאחורי Feature Flag לכמה משתמשים ולבקש משוב על התשובות.
  3. לבדוק Traces ועלויות כל שבוע, ולכוונן שליפה ופרומפטים לפני שמוסיפים משהו חדש.
  4. להציג ללקוחות רק כשתוצאות ההערכה והעלויות מפסיקות להשתנות בקפיצות.

לסיכום

כשעושים את זה כך, חלק ה-AI הוא עוד תלות אחת בארכיטקטורה. שומרים על קוד ה-.NET, על הפריסה ועל הניטור, ואפשר להחליף מודלים כשיוצא משהו טוב יותר.

זו הגישה שאנחנו משתמשים בה ב-Reliqio [4]. אנחנו עובדים עם מייסדים כשותפים טכנולוגיים במוצרי B2C מבוססי AI בתחומי healthtech, fintech ו-e-commerce. אם פתרתם את אחד הדברים האלה אחרת, אשמח לשמוע איך בתגובות.

Sources

  1. ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
  2. ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
  3. ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
  4. ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com

Entities in this article

Semantic Kernel Azure AI Search .NET ASP.NET Azure OpenAI Service

Related articles

RSS