AI हैलुसिनेशन कैसे रोकें

AI के जवाब अक्सर डेमो में बेहद भरोसेमंद लगते हैं, लेकिन असली कंपनी के डेटा और असली यूज़र्स के सामने वही सिस्टम गलत जानकारी गढ़ने लगता है। इसे हैलुसिनेशन कहते हैं। बिना ग्राउंडिंग के Copilot जैसे समाधान ऐसे जवाब दे सकते हैं जो सही दिखते हैं पर सच नहीं होते।

इस लेख में हम देखेंगे कि Retrieval Augmented Generation (RAG), Azure AI Search के Hybrid और Semantic फ़ीचर और Evaluators मिलकर हैलुसिनेशन कैसे रोकते हैं। साथ ही यह भी कि एजेंट्स, गवर्नेंस और Azure AI Foundry को प्रोडक्शन में सुरक्षित तरीके से कैसे इस्तेमाल करें।

AI हैलुसिनेशन क्या है और ग्राउंडिंग क्यों ज़रूरी है

डेमो में सब कुछ जादू जैसा लगता है, क्योंकि वहाँ इनपुट साफ़ और नियंत्रित होते हैं। प्रोडक्शन में मॉडल को सही जवाब देने के लिए अच्छी तरह व्यवस्थित डेटा और सटीक रिट्रीवल चाहिए। अगर आप मॉडल से सिर्फ़ अनुमान से बात करवाते हैं, तो नतीजा वही होगा: कचरा अंदर, कचरा बाहर।

इसका एक विशिष्ट उदाहरण है कि AI किसी ऐसी "Q3 Discount Policy" का हवाला दे दे जो असल में मौजूद ही नहीं है। मॉडल ने कुछ चुराया नहीं होता। उसके पास ठोस आधार नहीं था, इसलिए उसने खाली जगह को अपनी कल्पना से भर दिया।

ग्राउंडिंग का मतलब है कि मॉडल के हर उत्तर का आधार आपका सत्यापित डेटा हो। Azure AI Studio और Azure AI Foundry दोनों इसी पैटर्न पर टिके हैं। वे अलग-अलग तरह के डेटा का समर्थन करते हैं: भाषा, Vision, Speech और यहाँ तक कि Video Retrieval भी। पर यहीं एक ज़रूरी बात है: RAG उतना ही अच्छा है जितना उसका डेटा।

Azure AI Search में Hybrid Search और Semantic Re-Ranking

सिर्फ़ कोई एक रिट्रीवल विधि जोड़ देना काफ़ी नहीं है। सटीक नतीजों के लिए Azure AI Search में Hybrid (Keyword और Vector Search) के साथ Semantic Re-Ranker का इस्तेमाल करना चाहिए।

Hybrid Search क्या करता है

Hybrid Search शाब्दिक Keyword मिलान और अर्थ पर आधारित (semantic) खोज के बीच संतुलन बनाता है। इससे सिस्टम सिर्फ़ मिलते-जुलते शब्द नहीं पकड़ता, बल्कि सवाल का मतलब भी समझता है।

Semantic Re-Ranking की भूमिका

Re-Ranker मिले हुए नतीजों को दोबारा क्रमबद्ध करता है, ताकि सबसे सही संदर्भ सबसे ऊपर रहे। मॉडल को जितना सटीक संदर्भ मिलता है, उसे कुछ गढ़ने की ज़रूरत उतनी कम पड़ती है।

Multimodal सेटअप के साथ

इन्हें Multimodal सेटअप में जोड़ने पर मॉडल टेढ़े-मेढ़े, स्कैन किए हुए और धुंधली तस्वीरों वाले दस्तावेज़ों को भी समझ सकता है। तब वह नीतियों या सामग्री को मनगढ़ंत तरीके से तैयार करने के बजाय असल सामग्री पर भरोसा करता है।

RAG रोलआउट विफल क्यों होते हैं

कई एंटरप्राइज़ पहले दिन से बेहतरीन नतीजे चाहते हैं, लेकिन मूल्यांकन (evaluation) लूप के लिए बजट नहीं रखते। प्रासंगिकता और सुसंगतता की जाँच के बिना समस्या तब तक पकड़ में नहीं आती, जब तक उपयोगकर्ता परेशान न हो जाएँ। आउटपुट सही लगता है, पर उसे किसी ने मूल स्रोत से मिलाकर नहीं देखा।

सोचिए, आप बिना मॉनिटरिंग के कोई डेटाबेस प्रोडक्शन में नहीं डालेंगे। फिर भी multimodal AI को अक्सर प्लग-इन-और-चलाओ जादुई बॉक्स की तरह लॉन्च कर दिया जाता है।

एक ही स्टैक, दो उलटे नतीजे

एक Foundry ग्राहक ने रिट्रीवल को ट्यून किया, अपने एजेंट्स को ठीक से ग्राउंड किया और observability में निवेश किया। इससे उनका सेल्फ़-सर्विस AI सचमुच उपयोगी बना और ग्राहक उस पर भरोसा कर सके। दूसरी तरफ़ कुछ कंपनियों ने बिना ग्राउंडिंग या मूल्यांकन के सपोर्ट पेज पर साधारण चैटबॉट लगा दिया। नतीजा: वारंटी दावे सेल्स लीड के रूप में दर्ज हुए, सपोर्ट कतारें भर गईं और भरोसा टूट गया। स्टैक एक ही था, परिणाम उलटे।

निष्कर्ष साफ़ है: multimodal सिस्टम इसलिए नहीं ढहते कि AI पर्याप्त स्मार्ट नहीं है, बल्कि इसलिए कि डेटा ठीक से तैयार, अनुक्रमित (indexed) और मॉनिटर नहीं किया गया। Hybrid Search, Semantic Re-Ranking और निरंतर मूल्यांकन के साथ आप चालान, अनुबंध, तस्वीरें और ऑडियो नोट्स जैसी चीज़ें ऐसे उत्तरों के साथ प्रोसेस कर सकते हैं जो कल्पना पर नहीं, वास्तविकता पर आधारित हों।

Evaluators से Groundedness और Coherence कैसे मापें

Azure AI Foundry की Observability सुविधाएँ और इनबिल्ट Evaluators वैकल्पिक चीज़ें नहीं हैं। ये Groundedness, प्रासंगिकता (relevance), सुसंगतता (coherence) और स्रोत की सत्यता मापने का प्रमाणित तरीका हैं। इनके बिना आप सिर्फ़ अंदाज़ा लगा रहे हैं कि आपका सिस्टम स्मार्ट है या विनम्र लहजे में मनगढ़ंत बातें बना रहा है।

Evaluators के साथ आप आउटपुट में विचलन आने पर आत्मविश्वास से हस्तक्षेप कर सकते हैं और उसे ठीक कर सकते हैं। Foundry और Copilot Studio की मूल्यांकन पाइपलाइनें Groundedness चेक, प्रासंगिकता स्कोरिंग, पारदर्शिता डैशबोर्ड और व्याख्यात्मकता जैसी सुविधाएँ देती हैं। आप थ्रेशहोल्ड समायोजित कर सकते हैं, इनपुट और आउटपुट दोनों को फ़िल्टर कर सकते हैं और बॉट से उसका काम दिखाने को कह सकते हैं।

AI एजेंट: उपयोगी सहायक या महँगा शोपीस

ग्राउंडिंग ठीक हो जाए तो अगला जोखिम सामने आता है। डेटा पाइपलाइन साफ़ होने पर भी उसे चलाने वाला एजेंट लड़खड़ा सकता है। एजेंट मॉडल, डेटा, ट्रिगर और क्रियाओं का समन्वय करता है, यानी ट्रैफ़िक पुलिस जैसा। कभी वह सब कुछ सुचारु रूप से निर्देशित करता है, कभी अव्यवस्था पैदा कर देता है।

Copilot और एजेंट में फ़र्क

Copilot आपके प्रॉम्प्ट का जवाब देता है और हमेशा आपके नियंत्रण में रहता है। एजेंट आपका इंतज़ार किए बिना खुद कदम उठाते हैं और अस्पष्ट निर्देशों का भी अक्षरशः पालन करते हैं, भले ही नतीजे का कोई अर्थ न बने।

दायरा सीमित क्यों रखें

सीमित दायरे में एजेंट सचमुच असली समस्याओं के लिए टिकट बनाता है और इंसानी घंटे बचाता है। खुला छोड़ देने पर वह हेल्पडेस्क को सही हार्डवेयर पर प्रिंटर खराब होने जैसी फ़र्ज़ी चेतावनियों से भर सकता है। कई टीमें एजेंट को "प्रक्रियाएँ अनुकूलित करें, अंतर्दृष्टि दें, लोगों की मदद करें" जैसा चुनावी वादों वाला जॉब डिस्क्रिप्शन दे देती हैं। ऐसे बिना दायरे वाले एजेंट रिकॉर्ड डुप्लिकेट कर सकते हैं या अंतहीन लूप में फँस सकते हैं।

Microsoft स्टैक में क्या कहाँ आता है

Copilot Studio वह लो-कोड जगह है जहाँ मेकर्स एजेंट का व्यवहार, फ़्लो, प्रॉम्प्ट और इवेंट ट्रिगर डिज़ाइन करते हैं। AI Foundry की Agent Service वह एंटरप्राइज़ ढाँचा है जो इन्हें observability के साथ प्रोडक्शन में चलाता है, जहाँ आप monitoring, logs और metrics जोड़ते हैं।

Autonomous एजेंट्स का जाल और सुरक्षा चेकलिस्ट

Autonomous एजेंट वहाँ होते हैं जहाँ प्रचार खतरनाक हो जाता है। वे अनुमति का इंतज़ार नहीं करते, इसलिए गलत फ़ैसले का नुकसान तुरंत होता है और पूरे tenant में फैल सकता है। छोटे डेमो में सब ठीक चलता है, पर प्रोडक्शन में शोरभरे इनपुट आने पर एजेंट गलत नतीजों के आधार पर सैकड़ों रिकॉर्ड रीसेट करना शुरू कर सकता है। इससे महीने के अंत का कामकाज तक ठप हो सकता है। समाधान तकनीक छोड़ना नहीं, बल्कि पहले सुरक्षा अपनाना है। किसी भी autonomous ऑटोमेशन से पहले तीन काम ज़रूरी हैं:

1. पहचान और एक्सेस का दायरा तय करें: एजेंट को न्यूनतम अधिकार दें, सभी एडमिन रोल नहीं।
2. लॉगिंग और रोलबैक: हर कार्रवाई का ऑडिट योग्य निशान हो और हर गंभीर कार्रवाई को पलटने का रास्ता हो।
3. कंटेंट और व्यवहार फ़िल्टर: Azure में एजेंट सेफ़्टी और नॉलेज कॉन्फ़िगरेशन ऐसे फ़िल्टर देते हैं जो एजेंट को अनुचित उत्तर देने या स्क्रिप्ट से भटकने से रोकते हैं।

एथिक्स की परत इसे और अहम बनाती है। कल्पना कीजिए कि कोई HR एजेंट कर्मचारियों को जोखिम भरा पता दे दे, या कोई फ़ाइनेंस एजेंट सप्लायर के भुगतान को धोखाधड़ी मानकर रोक दे। ये मामूली गलतियाँ नहीं हैं, इनके कानूनी और अनुपालन संबंधी परिणाम होते हैं।

Human in the loop

Microsoft ऐसे पैटर्न का उल्लेख करता है जहाँ इंसान अंतिम सुरक्षा कवच बना रहे। इसे फ़्लाइट ऑटोपायलट की तरह समझें: बेहद उपयोगी, पर manual override के साथ। यह किसी किशोर को ड्राइविंग सिखाने जैसा है। आप चाबी सौंपकर गाड़ी से उतर नहीं जाते। आप बगल में बैठते हैं, सीमाएँ तय करते हैं और ऐसा ब्रेक रखते हैं जिसे खुद दबा सकें। stage testing, approval workflow और audit के बिना सीधे live जाना अपने tenant का stress test करना है।

Azure AI Foundry: फ़ैक्टरी या बारूदी सुरंग

Azure AI Foundry Microsoft की फ़्लैगशिप पेशकश है, यानी AI के हर काम के लिए एक फ़ैक्टरी। इसमें शामिल हैं:

• मॉडल कैटलॉग, जिसमें Microsoft, OpenAI, Meta, Mistral और DeepSeek जैसे मॉडल हैं
• कस्टमाइज़ेशन के लिए RAG, Fine Tuning और Distillation
• ऑर्केस्ट्रेशन के लिए Agent Service
• मूल्यांकन और डिबगिंग के लिए prompt flow जैसे टूल
• सुरक्षा के बुनियादी फ़ीचर: identity और access control, content safety फ़िल्टर और observability डैशबोर्ड

समस्या खाली टूलबॉक्स नहीं है। समस्या यह है कि बहुत से लोग GPT-4 Turbo का स्विच ऑन करने को ही "प्रोडक्शन के लिए तैयार" मान लेते हैं। Foundry फ़ैक्टरी फ़्लोर है, हैकथॉन का खिलौनों का डिब्बा नहीं।

आम गलतियाँ और स्टंबलिंग ब्लॉक्स

गलत मॉडल चुनना और असली इनपुट को नज़रअंदाज़ करना

काम के हिसाब से सही मॉडल चुनना चाहिए, सिर्फ़ इसलिए सबसे बड़ा मॉडल नहीं कि वह स्मार्ट सुनाई देता है। एक संगठन ने प्रोडक्ट फ़ोटो टैगिंग के लिए GPT-4 Turbo चलाया। लैब में साफ़ स्टूडियो फ़ोटो पर नतीजे शानदार थे। प्रोडक्शन में इनपुट वेयरहाउस की धुंधली फ़ोन तस्वीरें निकलीं। AI ने स्टूल को ऑफ़िस चेयर के रूप में टैग कर दिया और UPC लेबल को नकली सीरियल नंबर में बदल दिया। इससे भरोसे को झटका लगा और लागत भी बढ़ी।

पहचान और एक्सेस की अनदेखी

SharePoint पर Foundry का सेटअप करते समय एक टीम ने अनजाने में प्रतिबंधित HR डेटा इंटर्न्स के सामने उजागर कर दिया। यह चालाकी नहीं, अनुपालन आपदा थी, जिसे इनबिल्ट access नियमों से टाला जा सकता था। इसी तरह tenant scoping के बिना HR रिपॉज़िटरी से जुड़ा बॉट किसी साधारण सवाल के जवाब में चैट में कर्मचारियों के वेतन का ब्योरा डाल सकता है। इससे प्राइवेसी का उल्लंघन, मनोबल की समस्या और नियामकों की नज़र, सब एक साथ आ सकते हैं।

बिलिंग की अनदेखी

Foundry की कीमत खपत पर आधारित है। हर कनेक्टर, हर रिट्रीवल कॉल और हर मैसेज मीटर का बिल आपके tenant के खाते में जाता है। Azure Pricing Calculator से अनुमान न लगाने और उपयोग को ट्रैक न करने पर फ़ाइनेंस टीम को चौंकाने वाले इनवॉइस मिल सकते हैं।

प्रोटोटाइप को सीधे प्रोडक्शन में डालना

सैंडबॉक्स में प्रोटोटाइप बनाना आसान होता है, पर कई टीमें बिना evaluation पाइपलाइन के उसे प्रोडक्शन में धकेल देती हैं। Groundedness, Fluency, Relevance और Coherence के Evaluators छोड़ने का मतलब अँधेरे में डिप्लॉय करना है। फिर उपयोगकर्ता आउटपुट में बदलाव देखते हैं, भरोसा गिरता है और एक्ज़ीक्यूटिव फ़ंडिंग रोक देते हैं। यह प्लेटफ़ॉर्म की नहीं, टीमों की गवर्नेंस की विफलता है।

Responsible AI और Lifecycle Governance

Responsible AI कॉन्फ़िगरेशन, ऑडिट, फ़िल्टर और शासन के ठोस कदमों का नाम है। इसके लिए ऐसी access नीतियाँ चाहिए जो दबाव में न झुकें, ऐसे फ़िल्टर जो हानिकारक प्रॉम्प्ट को सचमुच रोकें, और इतने विस्तृत लॉग कि नियामक संतुष्ट हो सके। व्यवहार में इसका मतलब है HR Copilot को फ़ाइनेंस डेटा से अलग रखना, scoping नियम तय करना ताकि टीम के बॉट SharePoint के गोपनीय डेटा तक न पहुँचें, और लॉग इस तरह टैग करना कि साबित हो सके कि कोई उत्तर कैसे बना।

Azure AI Content Safety हिंसक, अश्लील और आपत्तिजनक प्रॉम्प्ट और प्रतिक्रियाओं को उपयोगकर्ता तक पहुँचने से पहले फ़िल्टर करता है, लेकिन यह सिर्फ़ बुनियादी सुरक्षा है। अगली परत मूल्यांकन पाइपलाइनों की है। Microsoft सुरक्षा के लिए 34,000 पूर्णकालिक इंजीनियर और 15,000 विशेषज्ञ साझेदार लगाने की बात करता है। फिर भी आपके tenant के भीतर पहचान सुरक्षित करना, डेटा अलगाव सेट करना और नीतियाँ कॉन्फ़िगर करना आपकी ही ज़िम्मेदारी है।

टेस्ट, मंज़ूरी, रिलीज़, ऑडिट

Lifecycle Governance एक चक्र है: टेस्ट करें, मंज़ूरी दें, रिलीज़ करें, ऑडिट करें और दोहराएँ। हर चरण पर चेकपॉइंट होने से आप ड्रिफ़्ट को समस्या बनने से पहले पकड़ लेते हैं। मॉडल विकसित होते हैं, प्रॉम्प्ट बदलते हैं और आउटपुट भटक जाते हैं, इसलिए एक बार का काम काफ़ी नहीं है। गवर्नेंस लालफ़ीताशाही नहीं है। यह गति को खत्म नहीं करती, बल्कि गति को आपको खत्म करने से रोकती है।

व्यावहारिक सीख: हैलुसिनेशन रोकने की चेकलिस्ट

• RAG को साफ़, अनुक्रमित और मॉनिटर किए गए डेटा पर खड़ा करें, क्योंकि कचरा अंदर होगा तो कचरा ही बाहर आएगा।
• Azure AI Search में Hybrid Search (Keyword और Vector) के साथ Semantic Re-Ranker इस्तेमाल करें।
• पहले दिन से Groundedness, Relevance, Coherence और Fluency के इनबिल्ट Evaluators चलाएँ और मूल्यांकन के लिए बजट रखें।
• एजेंट का दायरा, वैलिडेशन स्टेप और telemetry पहले तय करें। जाँचें कि वह मानवी घंटे घटाता है या नहीं।
• एजेंट को न्यूनतम अधिकार दें, हर कार्रवाई लॉग करें और गंभीर कार्रवाइयों के लिए रोलबैक रखें।
• Human in the loop और manual override बनाए रखें।
• काम के हिसाब से मॉडल चुनें और Azure Pricing Calculator से लागत का अनुमान लगाकर उपयोग ट्रैक करें।
• Identity scoping और content safety को बाद की चीज़ नहीं, शुरुआती बुनियाद मानें।
• टेस्ट, मंज़ूरी, रिलीज़ और ऑडिट का चक्र चलाते रहें।

निष्कर्ष

हैलुसिनेशन AI की कमज़ोरी से ज़्यादा डेटा, मूल्यांकन और गवर्नेंस की कमज़ोरी का नतीजा है। RAG, Azure AI Search के Hybrid और Semantic फ़ीचर और Evaluators मिलकर जवाबों को कल्पना से हटाकर वास्तविकता पर टिकाते हैं। Azure AI Foundry और Copilot Studio टूल देते हैं, पर उन्हें प्लग-एंड-प्ले मान लेना असली खतरा है। याद रखने का सरल सूत्र है: पहले गवर्नेंस, फिर प्रयोग, फिर प्रोडक्शन। पहचान और observability को छोड़ना अपने जोखिम पर है, क्योंकि प्रोटोटाइप को प्रोडक्शन में बदलने का काम टूल नहीं, गवर्नेंस करती है।