M365Con 2027 – כנס אונליין חינמי · 11–22 Jan 2027 · 120 sessions m365con.net

בלוג · Mirko Peters

מלכודת ה-RAG חסרת המצב: מדוע ארכיטקטורת AI בזמן שאילתה נכשלת

By ·

ברוכים השבים לבלוג! אם עקבתם אחרי הדיונים שלנו בפודקאסט על בינה מלאכותית ארגונית, אתם יודעים שאנחנו מקדישים הרבה זמן לבחינה של מה שמעבר להייפ הראשוני של כלי הפרודוקטיביות המודרניים. ...

Automatically translated with AI from the original post. Read the English original

עטיפה: הקופיילוט שלך אינו זוכר — מדוע RAG נכשל וכיצד LLM Wiki מתקנת זאת

ברוכים השבים לבלוג! אם עקבתם אחרי הדיונים שלנו בפודקאסט על בינה מלאכותית ארגונית, אתם יודעים שאנחנו מקדישים הרבה זמן לבחינה של מה שמעבר להייפ הראשוני של כלי הפרודוקטיביות המודרניים. בהדגמה רגילה, כלים כמו Microsoft Copilot יכולים להיראות מפתיע של חכמים. הם יכולים למצוא מסמך פרויקט, לסכם מדיניות, לחלץ מידע מ-SharePoint ולחבר בין חלקי תוכן ארגוני לתשובה משכנעת. אבל מאחורי חוויית המשתמש המרשימה הזו מסתתרת מגבלה ארכיטקטונית בסיסית: אחזור אינו זיכרון. Copilot יכול לחפש בארגון שלכם, but זה לא אומר שהוא בנה הבנה מתמשכת של הארגון שלכם. בפוסט הזה נצלול לעומק המכניקה של Retrieval-Augmented Generation כדי להבין כיצד chunking ולולאות שאילתה חסרות מצב מונעות מה-AI לשמר הקשר שנצבר לאורך אינטראקציות ארגוניות. מומלץ מאוד לצפות בפרק הפודקאסט הקשור, Your Copilot Has No Memory — Why RAG Fails and LLM Wiki Fixes It, לפירוט שמיעתי מעמיק יותר של המושגים האלה.

Copilot לא זוכר — הוא מאחזר

חוויית השימוש ב-Copilot יוצרת אשליה חשובה. כשהוא מצליח לחבר מידע מ-Microsoft 365, זה יכול להיראות כאילו המערכת למדה משהו על הארגון שלכם. עם זאת, אם תשאלו שאלה דומה מאוחר יותר, המערכת עלולה להניב תוצאה שונה, משום שהיא מבצעת פעולת אחזור נוספת ולא רק מעלה בזיכרון את ההבנה שנרכשה קודם. ההבחנה הזו הופכת לקריטית כשארגונים עוברים מסיכום בסיסי ומתחילים לצפות מ-AI לתמוך בהחלטות אמיתיות.

אם שאלות זהות למעשה יניבו תשובות לא עקביות, בהתאם למידע שאוחזר, משתמשים יהססו במהירות להסתמך על AI לעבודה קריטית לעסק. התוצאה יכולה להפוך לבעיית אימוץ ולא רק לבעיה טכנית. משתמשים רוצים צפיות, וכאשר עוזר נותן תשובה אחת ביום שני ותשובה סותרת ביום חמישי לאותה הנחיה בדיוק, האמון מתחיל להישחק במהירות.

מה Retrieval-Augmented Generation עושה בפועל

RAG הוא קיצור של Retrieval-Augmented Generation. ברמה פשוטה, מסמכי הארגון מחולקים לקטעים (chunks), הקטעים מיוצגים באמצעות embeddings, שאלת המשתמש מומרת לייצוג דומה, והמערכת מחפשת קטעים רלוונטיים מבחינה סמנטית. המידע בעל הדירוג הגבוה ביותר מסופק לאחר מכן למודל השפה כהקשר ליצירת התשובה שלו.

הארכיטקטורה הזו שימושית מאוד. היא מאפשרת למודל שפה גדול לענות על שאלות באמצעות מידע שמעולם לא היה חלק מנתוני האימון המקוריים שלו, ומספקת דרך מעשית לבסס תשובות AI על תוכן ארגוני. אבל היא גם יוצרת אילוץ ארכיטקטוני חשוב: המודל מקבל קטעים שנבחרו לשאילתה הנוכחית, ולא שומר ייצוג מתמשך ומלא של הידע הארגוני.

בעיית ה-chunking

ידע ארגוני כמעט אף פעם לא קיים כפסקאות מבודדות. תוכנית פרויקט עשויה להכיל תלויות המפוזרות על פני עשרות עמודים. מדיניות עשויה להפנות למדיניות אחרת. ארכיטקטורה טכנית יכולה להסתמך על החלטות שתועדו לפני חודשים בפרוטוקולי פגישות, בשיחות Teams, בדפי SharePoint ובמסמכי תכנון.

RAG מסורתי מפרק את המקורות האלה ליחידות קטנות יותר ומחליט אילו קטעים נראים רלוונטיים לשאלה הנוכחית. לכן המודל רואה קטעים נבחרים, ולא בהכרח מבין את המסמך המלא ואת כל הקשרים שבו. במקרים של אחזור מידע פשוט, זה יכול לעבוד מצוין. בשאלות שדורשות קשרים, הקשר היסטורי, תלויות, החלטות שהצטברו או הסקה על פני מקורות רבים, המגבלות נעשות הרבה יותר בולטות.

מלכודת ה-RAG חסרת המצב

זרימת עבודה קונבנציונלית לאחזור מידע אינה כוללת מושג מובנה של "דבר שכבר הובן". שאלה מתקבלת, מידע נאחזר, תשובה נוצרת, והתהליך מתחיל מחדש עבור פעולת האחזור הבאה. כאן בדיוק חוסר היכולת של RAG's לשמור מצב (statelessness) הופך למכשול משמעותי.

ידע שהתגלה במהלך אינטראקציה אחת אינו הופך אוטומטית לידע ארגוני עמיד הזמין לכל אינטראקציה עתידית. עבור AI ארגוני, זהו הבדל עצום. ארגונים לא זקוקים רק לחיפוש טוב יותר. הם זקוקים יותר ויותר למערכות המסוגלות לשמור על הבנה מובנית של פרויקטים, תהליכים, מדיניות, טכנולוגיות, אנשים, החלטות, תלויות והקשרים המחברים ביניהם.

חיפוש ידע לעומת גיבוש ידע

זה מוביל לרעיון הארכיטקטוני המרכזי שאנחנו בוחנים בסדרת השמע האחרונה שלנו: במקום לשחזר שוב ושוב את הידע הארגוני בזמן השאילתה, מה אם AI יגבש את הידע הזה מראש? LLM Wiki מייצג את השינוי הזה בחשיבה.

במקום להתייחס לכל מסמך ארגוני כאוסף נוסף של קטעים הממתינים לאחזור, בינה מלאכותית יכולה לסנתז מידע לארטיפקטים של ידע מובנים, המייצגים את מה שהארגון מבין כרגע. השינוי החשוב אינו רק ממשק משתמש אחר. מדובר במעבר של האינטליגנציה משחזור בזמן שאילתה לעבר סינתזה מתמשכת של ידע.

למה LLM Wiki משנה את המודל

דמיינו אלפי מסמכים המתארים את אותו מוצר, לקוח, פרויקט, מדיניות או ארכיטקטורה. RAG מסורתי ממתין לשאלה ואז מנסה לאתר את הקטעים שסביר ביותר שיענו עליה. לעומת זאת, בגישת LLM Wiki המערכת מנסה להפוך באופן מתמשך את המקורות המפוזרים לדפי ידע קוהרנטיים.

יחסים, החלטות, הגדרות, תלויות, הקשר היסטורי ומקורות תומכים יכולים להפוך לחלק מייצוג ידע מתוחזק. Copilot או סוכן AI אחר יכולים אז לאחזר משכבה המכילה הבנה ארגונית מסונתזת, במקום לנסות שוב ושוב לשחזר את ההבנה הזו ממסמכים גולמיים.

ממאגר מסמכים לשכבת ידע

זה משנה את תפקידן של מערכות כמו SharePoint. SharePoint יכול להמשיך לשמש כמאגר המוסמך למסמכים, עמודים, מדיניות, מצגות, ארטיפקטים של פגישות ותוכן שיתופי. אבל תוכן ארגוני גולמי אינו מהווה באופן אוטומטי ידע ארגוני שמיש.

שכבת ידע שנוצרה על ידי AI יכולה לשבת מעל מערכות המקור ולהפוך מידע מפוזר למשהו הקרוב יותר למפת ארגון: פרויקטים המקושרים להחלטות, מדיניות המקושרת לתהליכים, מערכות המקושרות לבעלים, ומושגים המקושרים לראיות התומכות בהם. המטרה אינה לבטל את מסמכי המקור. המטרה היא להפוך את היחסים הטמונים בהם למפורשים וגלויים.

למה פרומפטים טובים יותר אינם פותרים את הארכיטקטורה

הנדסת פרומפטים יכולה לשפר את האופן שבו המודל מפרש את ההקשר שנאחז, אבל היא אינה יכולה להבטיח שההקשר הנכון נאחז מלכתחילה. אם שכבת האחזור מחזירה קטעים חלקיים, מפספסת תלות חשובה או מציגה מסמך מיושן, גם מודל מצוין מסיק מסקנות על סמך קבוצת מידע לא שלמה.

לכן שיפור המודל לבדו אינו יכול לפתור כל בעיה של AI ארגוני. האיכות והמבנה של הידע שמסופק למודל נותרים מרכזיים. שום כמות של "קסמי פרומפטים" לא תתקן ארכיטקטורה הנשענת על תוצאות חיפוש חולפות במקום על זיכרון מובנה ומתמשך.

בעיית הממשל הולכת וגדלה

לארכיטקטורה הזו מצורפת גם אזהרה משמעותית. אם סביבת SharePoint של הארגון מכילה מדיניות מיושנת, תיעוד כפול, תהליכים נטושים, הוראות סותרות או מסמכים ללא בעלות ברורה, LLM Wiki יכול לסנתז את המידע הלקוי באותה יעילות שבה הוא מסנתז מידע טוב.

הסכנה היא שידע מסונתז עשוי להיראות נקי ומוסמך הרבה יותר ממה שהתוכן הבסיסי מצדיק. לכן AI הופך את ממשל המידע המסורתי לחשוב יותר, לא פחות. בעלות על תוכן, ניהול מחזור חיים, ניהול גרסאות, מדיניות שמירה, תהליכי ארכיון, מקורות מוסמכים, מטא-דאטה ומערכות רשומה מוגדרות היטב הופכים לרכיבי יסוד בארכיטקטורת AI.

מוכנות ל-AI מתחילה באיכות התוכן

ארגונים רבים מתייחסים למוכנות ל-Copilot כאל פרויקט של רישוי, אבטחה, פריסה או הדרכה. הרכיבים האלה חשובים, אבל סביבת הידע שמתחתיהם חשובה לא פחות. אם אף אחד לא יודע איזה מסמך מייצג את התהליך העדכני, ה-AI לא יכול לפתור לבד את העמימות הארגונית.

אם שלושה מחלקות מתחזקות גרסאות סותרות של אותה מדיניות, ל-AI יש שלוש גרסאות של האמת. אם מסמכים מיושנים נשארים ניתנים לחיפוש לנצח, הם נשארים חומר עיגון פוטנציאלי. לכן AI ארגוני חושף חוב בניהול ידע שארגונים יכלו להתעלם ממנו עד כה.

למה אמון קובע את אימוץ Copilot

ההשלכות הטכניות הופכות במהירות להשלכות עסקיות. משתמשים עשויים לסבול אי-עקביות מדי פעם כשה-AI משמש לניסוח מייל או לסיכום פגישה. הם הופכים להיות הרבה פחות סבלניים כשמצפים מה-AI להסביר מדיניות, לתמוך בהחלטות לקוחות, לפרש סטטוס של פרויקט, לספק מידע על תאימות או להנחות תהליכים תפעוליים.

ברגע שמשתמשים נתקלים בתשובות לא עקביות לשאלות חשובות, הם חוזרים לעתים קרובות למומחים אנושיים מהימנים ולתהליכים ידניים מבוססים. זו סיבה מרכזית לכך שהאימוץ של Copilot יכול להישטח גם לאחר השקה שנראית מוצלחת. לכן אמון הופך לדרישה ארכיטקטונית, ולא רק למדד אימוץ.

סיכום

לסיכום, בעוד ש-Retrieval-Augmented Generation (RAG) נתן ל-AI ארגוני דרך עוצמתית לשאוב מידע ממסמכים חיצוניים, לולאות השאילתה חסרות המצב שלו ומגבלות החלוקה לקטעים (chunking) אומרות שלעתים קרובות הוא לא מגיע לזיכרון ארגוני אמיתי. ללא הידור ידע מתמשך, מערכות כמו Copilot ימשיכו להתקשות בעקביות, בקשרי הקשר עמוקים ובאמון ארגוני. המעברממאגרי מסמכים גולמיים לשכבת ידע מובנית ומהודרת, כמו הגישה המתפתחת של LLM Wiki, הוא המפתח לגישור בין הדגמות מרשימות לבין כלים עסקיים אמינים. כדי להעמיק בנושא ולשמוע את הניתוח המלא שלנו על תיקון זיכרון ה-AI הארגוני, הקפידו להאזין לפרק המלא באתר Your Copilot Has No Memory — Why RAG Fails and LLM Wiki Fixes It.

Entities in this article

הנושאים של המאמר הזה:

Retrieval-augmented generation (RAG) – מושג LLM Wiki – מושג SharePoint – כלי לשיתוף פעולה של Microsoft Microsoft 365 Copilot – עוזר בינה מלאכותית של Microsoft Chunking – מושג Copilot adoption – מושג Large language model (LLM) – מושג Embeddings – מושג

Related articles

מאמרים נוספים על Retrieval-augmented generation (RAG):

RSS