שלום לכולם וברוכים הבאים לפרק נוסף של פירורי ידע מבית מייקרוסופט כאן ב-M365FM אני המערך שלכם מרקופיטרס הנושא של היום הוא כזה שכמעט כולם שמעו עליו, אך מעטים באמת מבינים אותו מסדי נתונים וקטוריים כנראה נתקלתם במונח הזה במאמרים על בינה המלאכותית או שמעתם אותו בשיחות על קופיילוט וצ'ייטיפ אבל מה זה בעצם מסד נתונים וקטורי? האם זה רק מסד נתונים רגיל עם שם מפונפן יותר? או שזה משהו שונה לחלוטין? תארו לעצמכם שאתם מחפשים באתר מסחר אלקטרוני, ז'קט אדום ומקבלים תוצאות שמציגות מעיל ארגמן ובגד עליון בורדו איך המחשב יודע שאלו אותם הדברים? זה לא התאמה של מילות מפתח ארגמן זה לא אדום ומעיל זה לא ז'קט ובכל זאת, מנוע החיפוש מבין שהם קשורים וזוהי חיפוש וקטורי בפעולה עד סוף הפרק הזה, תבינו מה הם באמת מסדי נתונים וקטוריים מדוע הם מניעים חיפוש מבוסס בינה מלאכותית וקופילות? ואיך הם משתלבים בענן של מייקרוסופט אנחנו נשמור על זה בשפה פשוטה בלי מתמטיקה, בלי ז'רגון, רק אבני בניין ברורות מה זה בעצם וקטור? נתחיל עם שאלת הליבה מה בדיוק זה וקטור? כשרוב האנשים שומעים את המילה וקטור הם מדמיינים חץ משיעורי פיזיקה עם כיוון וגודל במחשוב, זה הרבה יותר פשוט וקטור הוא בסך הכל רשימה של מספרים מערך חד ממדי שמייצג משהו בפורמט שהמחשב יכול לעבוד איתו הנה דרך מעשית לדמיין את זה אם הייתי אומר לכם להיפגש איתי בקומה השלישית באגף ב' חדר 12 אלו שלושה מספרים שמתארים מיקום ספציפי זהו וקטור תלת ממדי שאומר לכם בדיוק איפה שהוא נמצא בבניין עכשיו תדמיינו שאני מוסיף עוד פרטים צבע הדלת, גודל החדר, מחיר למטר רבוע כל פרט חדש הופך לעוד ממד אז ככל שבונים יותר ממדים כך אפשר לקלוט יותר מידע על אותו הדבר מכונית יכולה להתאר על ידי מהירות צריכת דלק, מחיר, משקל ודרוג בטיחות זה וקטור חמישה ממדי מוצר יכול להתאר על ידי מאות מאפיינים מה שנותן לכם וקטור רב ממדי הנה העניין וקטורים מאפשרים לנו להפוך דברים למספרים שמחשבים יכולים להשוות מילים, תמונות, צלילים, מסמכים כל דבר יכול להפוך לרשימת מספרים ברגע שהכל מספרים אפשר להתחיל למדוד כמה שני דברים באמת דומים שני חדרים באותה קומה עם צבעי דלת דומים הסתיימו קרובים זה לזה במרחב הוקטורי וגם שני מוצרים עם מאפיינים דומים מתקבצים יחד הרעיון הפשוט הזה הוא מה שהופך חיפוש בינה מלאכותית מודרני לאפשרי מבקטורים ועד התמאות Embeddings, לא כל הוקטורים זהים יש סוג מיוחד שנקרא התמאה, Embedding, ושם תמון הכוח האמיתי אז מה היא בדיוק התמאה? התמאה היא וקטור שמייצג משמעות מודל למידת מכונה, כמו Text Embedding 3 Small Shell Azure Open AI קורא טקסט ומציב אותו במרחב רב-ממדי המודל למד ממיליארדי דוגמאות לכן הוא מבין את הקשר בין מילים מלך ומלכה ימוקמו קרוב זה לזה כי יש להם הקשר דומה מלך וקפה ימוקמו רחוק זה מזה כי אין להם הקשר כזה הנה מה שזה אומר במילים פשוטות כשמחפשים מעיל אדום המערכת מוצאת ז'קט בצבע ארגמן מודל ההתמאה מזהה שאדום וארגמן קרובים במשמעותם וגם מעיל וזקט קרובים ההתמאות של שני הביטויים האלה הופכות לשכנות במרחב הוקטורי המחשב כבר לא מבצע התאמה של אותיות ומבצע התאמה של משמעות עכשיו תנו לי לתת לכם דוגמה קלאסית קחו את הוקטור של מלך הכסירו את הוקטור של גבר והוסיפו את הוקטור של אישה התוצאה קרובה מאוד לווקטור של מלכה מלך פחות גבר ועוד אישה שווה מלכה זה אולי נשמע כמו קסם אבל זו הדרך שבה המודל מתמיע יחסים בתוך מספרים הוא למד שמלך ומלכה חולקים יחס דומה לזה של גבר ואישה והיחס הזה מקודד בקואורדינטות לכן מודלי התמאה לוקחים את הנתונים הגולמיים שלכם טקסט, תמונות או אודיו וממירים אותם לרשימת מספרים שמייצגת את משמעותם המספרים האלה הופכים לקואורדינטות במרחב רב-ממדי לאחר מכן, כשאתם מחפשים השאילתה שלכם אומרת לאותם סוגי קואורדינטות כל מה שנשאר לעשות הוא למדוד את המרחק ביניהם זהו הרעיון המרכזי מדוע מסדי נתונים מסורתיים נכשלים? אם התמאות הן כל כך עוצמתיות למה שלא נשתמש פשוט במסד נתונים רגיל? בואו נענה על זה מסדי נתונים סיקואל מסורתיים בנויים להתאמות מדויקות כותבים כאשר צבע שווה אדום והוא מוצא כל שורה שבה עמודת הצבע היא אכן אדום זה עובד נהדר עבור נתונים מובנים כמו שמות לקוחות תאריכי הזמנה או מחירי מוצרים אבל זה נכשל לחלוטין כשצריך משמעות מאופלת נסו לכתוב שאילתת סיקואל שמוצאת מעיל ארגמן כשהנתונים שלכם אומרים רק ז'קט בורדו אי אפשר כי סיקואל לא מבין מושגים מסדי נתונים מסורתיים מאכסנים נתונים בשורות ובעמודות הם מותאמים לחיבורים לצבירת נתונים ולחיפושים מדויקים הם לא יודעים שרכב ומכונית הם אותו הדבר הם לא יודעים שנרגש ונלהב הן רגשות דומים הם פשוט משווים אחרו זאת ואם הנתונים שלכם אינם מובנים כמו קובצי PDF, תמונות, הקלטות אודיו או מסמכים ארוכים מסדי נתונים מסורתיים יכולים לשמור אותם כבלוב אך הם לא באמת יכולים לחפש בתוכן שלהם תצטרך חיפוש טקסט מלא שעדיין מסתמך על התאמת מילות מפתח אם המשתמש מקליד, דוח תקציב אך המסמך אומר סיכום פיננסי חיפוש מילות מפתח יפספש אותו לחלוטין חשוב על זה כך מסד נתונים רגיל הוא כמו ארון טיוק אתה צריך לדעת את שם הקובץ המדויק כדי למצוא את מה שאתה מחפש הוא יודע בדיוק איזו תיקיע לשלוף גם אם היא מתויגת כסיכום פיננסי רבעון 3 הספרן מבין כוונה לא רק תביות לכן קיימים מסדי נתונים וקטוריים הם מאחסנים, embeddings, embeddings אותם וקטוריים לוחדי משמעות ומאנדקסים אותם בדרך שהופך את חיפוש דמיון למהיר הם לא מחליפים מסדי נתונים מסורתיים הם מוסיפים שכבת הבנה מעל והשכבה הזו משנה הכל הם מוסיפים שכבת הבנה מעל והשכבה הזו משנה הכל כיצד מסדי נתונים וקטוריים עובדים אז איך כל זה עובד מאחורי הקלעים? בואו נעבור על שני השלבים העיקריים התמאה, אינג'סטיון ושאילתה התמאה היא שלב ההגדרה אתה לוקח את הנתונים הגולמיים שלך תיאורי מוצרים, כרטיסי תמיכה, מסמכים פנימיים מה שיש לך ומעביר כל פריט דרך משהו שנקרא מודל התמאה המודל הזה הופך את הטקסט לוקטור שהוא בעצם רשימת מספרים שלוחדת את המשמעות לאחר מכן אתה מאכסן את הוקטור במסד הנתונים יחד עם מטה דאטה, הטקסט המקורי, חותמת זמן אולי קטגוריה או כתובת מקור עכשיו, הנה החלק החכם אם היו לך מיליון מסמכים בדיקת כל וקטור בנפרד הייתה לוקחת נצח לכן מסדי נתונים וקטוריים משתמשים במה שהוא שנקרא אינדוקס חשוב על אינדוקס כעל יצירת מפה של המרחב הוקטורי במקום לדפוק על כל דלת שתי שיטות מפוצות הן IVF וHNSW IVF מייצג אינדקס קבצים הפוך Inverted File Index הוא עובד על ידי קיבוץ וקטורים דומים להשקולות כשאתה מחפש, במקום לסרוק את כל מיליון הוקטורים אתה בודק רק את ההשקולות המבטיחים ביותר זה כמו לחפש ספר בספרייה אתה ניגש ישר למחלקה הנכונה במקום לסרוק כל מדף HNSW מייצג עולם קטן היררכי ניתן לניווט היררכיקל נביגבל סמולורלד הרעיון די אלגנטי הוא בונה מפה רב שכבתית של הוקטורים שלך השכבה העליונה מחזיקה כמה וקטורים מייצגים שנותנים תחושה כללית של איפה דברים נמצאים כל שכבה למטה הופכת מפורטת יותר כשאתה מחפש, אתה מתחיל למעלה, מוצא את הסביבה הכללית ואז צולל למטה שכבה אחר שכבה עד שאתה מגיע להטעמה המדויקת זה כמו להשתמש במפת עיר תחילה, אחר כך במפת שכונה, ואז במפת רחובות כל אחד מקרב עוד צעד התוצאה היא שניתן לחפש במיליוני וקטורים במילי שניות זה מה שמניע תכונות בינה מלאכותית בזמן אמת כשאתה מקליד שאלה לקופילות ומקבל תשובה תוך שניות אפשרו מסעד נתונים וקטורי הרגע ביצע חיפוש דמיון על פני אלפים או מיליוני מסמכים שלב השאילתה עובד באותו אופן רק בכיוון ההפוך אתה מקליד את השאלה שלך השאלה הזו מומרת לוקטור באמצעות אותו מודל התמאה בדיוק לאחר מכן, מסעד הנתונים מוצא את השכנים הקרובים ביותר לבקטור השאילתה שלך באמצעות האינדקס הוא מחזיר את התוצאות הדומות ביותר מדורגות לפי מרחה ככל שהקטורים קרובים יותר, התוצאה רלוונטית יותר העקוס סיסטם של מייקרוסופט שבו וקטורים חיים אז, איפה כל זה נמצא בעולם של מייקרוסופט? התשובה הקצרה היא בכל מקום מייקרוסופט מוסיפה יכולות וקטוריות לפלטפורמות הנתונים שבהן אתה כבר משתמש במקום לדחוף אותך למסעד נתונים מומחי נפרד בואו נעבור על העיקריות שבהן Azure Eye Search הוא מאגר הוקטורים הנפוץ ביותר עבור רג ארגוני זהו תהליך של יצירה מואשרת בשליפת מידע Retrieval Augmented Generation הוא תומך בחיפוש היברידי מה שאומר שהוא משלב התאמת מילות מפתח מסורתית עם דמיון וקטורי למה זה משנה? כי חלק מהחיפושים עובדים הכי טוב עם מילות מפתח קודי מוצר מדויקים, שמות ותאריכים בעוד שאחרים דורשים הבנה סמנטית חיפוש היברידי נותן לך את שניהם Azure Eye Search כולל גם הוקטוריזציה משולבת כך שניתן להגדיר צינור איבוד, פייפליין שמחלק מסמכים לקטעים, מייצר התמאות ומהנדקס אותם באופן אוטומטי ללא כתיבת קוד מותאם לקוסמוס די בי יש כעת חיפוש וקטורי טבעי עם אינדוקס דיסק אין דיסק אין מייצג שכן קרוב משוער מבוסס דיסק והוא בנוי עבור שיהוי של פחות מ-20 מילי שניות גם בקנה מידע עצום זה מצוין עבור נתונים טיפוליים שכבר קיימים בקורמוס די בי נניח שאתה בונה אפליקציית מסחר אלקטרוני עם קוסמוס די בי כצד השרת שלך כעת אתה יכול להוסיף חיפוש וקטורי ישירות לכתלוג המוצרים שלך מבלי להעביר נתונים לשירות נפרד לקוח מחפש נעלי קיץ קלות והאפליקציה שלך מוצאת מוצרים עם תיאורים דומים בתוך מסד הנתונים הקיים שלך גם Azure SQL Server 2025 ו-Azure SQL Database הצטרפו לחגיגה הם כוללים כעת סוג נתונים וקטורי טבעי ופונקציות כמו חיפוש וקטורי זה אומר שניתן להכסן התמאות לצד הנתונים היחסיים שלך רשומות לקוחות עם ייצוג וקטורי של העדפותיהם פריטי מלאי עם תיאורים וקטוריים וחרטיסי תמיכה עם התמאות וקטוריות של התוכן שלהם אינך זקוק למסד נתונים וקטורי נפרד קישורי ה-SQL הקיימים שלך עדיין תקפים פשוט הוסף עמודה וקטורית, צור אינדקס והתחל לבצע שאילתות לפי דמיון כך Copilot משתמש בזה מתחת למכסי המנוע כשאתה שואל, הראה לי את דוח המחירות של הרבעון השלישי מהשנה שעברה Copilot לא מחפש את הביטוי המדויק דוח מחירות רבעון 3 היא ממירה את השאלה שלך לבקטור מחפשת בין מסמכים באינדקס, אימיילים, קבצי שרפוינט, מסמכי וונדרייב, צ'טים בטימס ומוצאת את המסמך שההתמאה שלו היא הקרובה ביותר לשאילת שלך היא עשויה למצוא קובץ שנקרא סיכום פיננסי רבעון 3-2024 כי המשמעות תואמת גם עם המילים המדויקות לו זוהי חיפוש וקטורי בפעולה התובנה המרכזית כאן היא האסטרטגיה של מייקרוסופט במקום לומר, לכו לקנות מסד נתונים וקטורי מתמחה הם מוסיפים יכולות וקטוריות לכלים שאתם כבר משתמשים בהם Azure Eye Search, Cosmos DB, SQL Server כולם מדברים וקטורים עכשיו אתם לא צריכים ללמוד מערכת חדשה אתם רק צריכים להבין את הקונספט ומייקרוסופט מטפלת בעבודה הקשה מקרי שימוש בעולם האמיתי בבינה מלאכותית אז איפה באמת רואים מסדי נתונים וקטוריים בעבודה כיום הנה איך זה בא לידי ביטוי בעולם REG הוא המקרה המשמעותי ביותר זה ראשי תיבות של Retrieval Augmented Generation יצירה מואשרת משליפה וזה האופן שבו רוב הבינה המלאכותית הארגונית פועלת כאה כששואלים תשדבות שאלה הוא לא מנחש מנתוני האימון שלו במקום זאת, הוא מחפש במסד נתונים וקטורי מסמכים רלוונטיים תופס את ההתאמות הקרובות ביותר ומגיש אותן למודל השפה כהקשר המודל אז בונה תשובה מתוך אותם מסמכים בפועל זה אומר תשובות מדויקות לגבי המדיניות המוצרים או הנתונים של החברה שלכם ללא מסדי נתונים וקטוריים הבינה המלאכותית הייתה מנחשת על סמך ידע כללי מהאינטרנט איתם, היא שואבת ישירות מהקבצים האמיתיים שלכם מנועי המלצות הם מקרי שימוש ענק נוסף נטפליקס, אמזון, יוטיוב כולם עובדים באותו אופן הם הופכים משתמשים לווקטורים על סמך התנהגות מה שאתם צופים, קונים או לוחצים עליו והם הופכים פריטים לווקטורים על סמך תיאורים, ביקורות ומאפיינים ואז הם פשוט מוצאים את השכנים הקרובים ביותר אם הוקטור שלכם קרוב לווקטור של סרט הם ימליצו על הסרט הזה זהו חיפוש דמיון בקנה מידה עצום שרץ מאות פעמים בשנייה עבור כל משתמש בנפרד חיפוש סמנטי הוא מקרה השימוש הגדול השלישי זהו חיפוש לפי משמעות, לא לפי מילות מפתח נציג תמיכה מקליד הלקוח לא מצליח להתחבר אחרי היפוש סיסמה הוא מוצא מאמר שנקרא פתרון תקלות עימות לאחר עדכוני אישורים המילים לא תואמות, אבל המשמעות כן זה מה שחיפוש וקטורים מאפשר עבור צוות שמטפל במאות פניות ביום זה מקצר את זמן הטיפול באופן דרמטי ואז ישנה זיהוי חריגות פחות מובן מעיליו, אבל עוצמתי אתם מטמיעים התנהגות נורמלית דפוסי עסקאות טיפוסיים, מדדי מערכת רגילים פעולות משתמש סטנדרטיות שומרים את הוקטורים האלה ואז מסמנים כל דבר שנוחת רחוק מהאש קול עסקה שלא נראית בכלל כמו הנורמה זו הונאה מדד שרת שחורג משמעותית מהטווח הרגיל זו תקרית בהתהוות מסדי נתונים וקטוריים הופכים זאת למהיר מספיק כדי לרוץ בזמן אמת בעולם של מייקרוסופט זה מופיע בכל מקום פאוור אפס משתמש בחיפוש וקטורי להצעות AI כשאתה בונה תפסים דיינמיקס 365 משתמש בו לחיפוש חכם על פני רשומות לקוחות תמלילי פגישות בטימס הופכים לבקטורים כך שניתן לחפש מה החלטנו לגבי התקציב ולמצוא את הרגע המדויק בהקלטה קופיילוט למיקרוסופט 365 הוא למעשה מערכת רג ענקית שרצה על גבי הנתונים האישיים והארגוניים שלך וכולם הונעת על ידי חיפוש וקטורי שמירה על סינקירון מלא ETL וקטורי כעת, הנה האתגר המעשי נתונים משתנים, מסמכים מתעדכנים, מוצרים חדשים מתווספים מדיניות ישנה עוברת לארכיון בכל פעם שנתוני המקור שלך משתנים גם הווקטורים שלך צריכים להשתנות כאן נכנס לתמונה ה-ETL הווקטורי ETL מייצג חילוץ, טרנספורמציה וטיינה, Extract, Transform, Log עבור מסדי נתונים וקטוריים, התהליך נראה כך ראשית, אתה מחלץ מסמכים חדשים או ששונו מהמקור שלך אולי מקולת יחסון בלוב, ספריית שרפוינט או מסד נתונים סיקוואר לאחר מכן, אתה מבצע להם טרנספורמציה על ידי חלוקת הטקסט לחתיכות ניתנות לניהול והעברת כל חתיכה דרך מודל האמבדינג שלך לבסוף, אתה טוען את הווקטורים שנוצרו לתוך מאגר הווקטורים שלך יחד עם מטה דאטה כמו כתובת ה-URL של המקור, חותמת זמן וגרסת המודל שבה נעשה שימוש השיטה המומלצת כאן, עבדו בצורה הדרגתית אל תבצעו מחדש אמבדינג לכל הקורפוס שלכם בכל פעם שמשהו משתנה עבדו רק על המסמכים שבאמת השתנו עקבו אחרי איזו גרסת מודל יצרה כל אמבדינג שדרגו את המודל והווקטורים הישנים יהפכו ללא עקביים עם החדשים ושימו לב לעלויות שלכם ממשקי ה-API של האמבדינג גובים תשלום לפי תוקן כך שעיבוד מיליוני מסמכים יצטבר מהר ב-Azure זרימת עבודה טיפוסית היא פשוטה אך סנו את המסמכים שלכם בבלוב סטוריג לאחר מכן, הגדירו אינדקסר Azure AI Search עם סט כלים משולב שמטפל בחלוקה ובאמבדינג באופן אוטומטי מייקרוסופט מספקת את כלי פיצול הטקסט לחלוקה ואת כלי מודל האמבדינג של Azure OpenAI ליצירת וקטורים האינדקסר רץ לפי לוח זמנים, אוסף קבצים חדשים מאבד אותם ומעדכן את הווקטורים באינדקס אין צורך בקוד מותאם אישית לצינור העיבוד הנה טעות נפוצה, התעלמות ממטה דאטה כל וקטור זקוק להפנייה למקור שלו לשם וגרסת מודל האמבדינג ולחותמת זמן של יצירה ללא זאת, לא תוכלו לעקוב מאיפה הגיע תוצאה לא תוכלו לבצע אמבדינג מחדש כשהמודלים משתנים ותתקשו בביקורות טעימות התייחסו לווקטורים שלכם כמו לכל נתון עסקי אחר עקבו אחר שרשרת היוחסים שלהם הצעדים הבאים שלכם אז, מוכנים לנסות את זה בעצמכם? התחילו פשוט פיתחו את פורטל Azure ווצרו משאב Azure Eye Search לאחר מכן, הפעילו חיפוש וקטורי על אינדקס קיים העלו כמה מסמכים בחרו מודל התמאה, אמבדינג והריצו שאילתה דמיון תראו שזה עובד תוך פחות משעה למפתחים, קחו את ה-SDK של פייטון התמיעו קומץ מסמכים באמצעות Azure Open AI החסנו אותם בחיפוש הוקטורי של Cosmos DB וחתבו שאילתה שמוצאת את ההתאמה הקרובה ביותר מייקרוסופט מספקת דוגמאות קוד ברורות ותיעוד שילבו אתכם בתהליך אתם לא חייבים להפוך למדעני נתונים כדי להשתמש בבסיסי נתונים וקטוריים הכלים של מייקרוסופט מטפלים ביצירת ההתמאות, באינדוקס ובלוגיקת השאילתות העבודה היחידה שלכם היא להבין את הקונספט ולהפנות את הכלים לנתונים שלכם הנה אתגר חישבו על בעיית החיפוש שאתם מתמודדים איתה היום אולי זה מציאת מסמכים פנימיים, חיפוש בכתלוג מוצרים או מענה לי שאלות לקוחות מתוך בסיס ידע האם חיפוש וקטורי יכול להצליח יותר מהתאמת מילות מפתח? בחרו קבוצת נתונים קטנה, אפילו מאה מסמכים ונסו את זה תרגישו בהבדל מיד אז עכשיו אתם מבינים מה הם באמת בסיסי נתונים וקטוריים הם לא טכנולוגיית AI מסתורית הם פשוט דרך להכסן ולחפש את המשמעות של הנתונים שלכם במקום את המילים המדויקות הם מניעים את החיפוש החכם ואת תכונות AI בתוך Microsoft 365, Azure וקופילות בכל פעם שאתם שואלים שאלה ומקבלים תשובה רלוונטית אפשהו בסיס נתונים וקטורי מצא את ההתאמה הקרובה ביותר לשאילתה שלכם העובדות המובנות שלכם, שמות לקוחות, סכומי הזמנות, ספירות מלאי אלו עדיין חיים בבסיסי נתונים עשורתיים בסיסי נתונים וקטוריים מוסיפים את שכבת ההבנה הם מאפשרים לאפליקציה שלכם לחפש לפי משמעות, לפי כוונה ולפי הקשר זו התמונה הגדולה, הרשמו לערוץ לעוד הסברים פשוטים על הטכנולוגיה של מייקרוסופט בפעם הבאה, נסתכל על האופן שבו צינורות רג באמת עובדים ואיך תוכלו לבנות אחד כזה אחר הצהריים תודה שהקשבתם