Immaginate questo. State lavorando su un'app della vostra azienda. Magari il portale delle risorse umane, un database di assistenza clienti o il wiki interno con tutte le politiche da seguire. Digitate una domanda nella barra di ricerca. Qualcosa come, come invio una nota a spese per una cena con un cliente. Premete invio e cosa ottenete? Nuda. O peggio, un elenco di pdf casuali di tre anni fa che corrispondono vagamente alle parole digitali. La ricerca è qualcosa che usiamo ogni singolo giorno. Il più delle volte è terribile. Ma il punto è questo, non deve esserlo per forza. Se le vostre app potessero davvero capire cosa state chiedendo e se potessero cercare come fa Google trovando la risposta giusta anche quando non usate le parole perfette, oggi parliamo di Azure AI Search. Cos'è in realtà, come funziona nel retroscena e perché è il motore di ricerca su cui si basano le app moderne. Prendete un caffè e iniziamo. Perché la ricerca non funziona. Per capire perché la ricerca solitamente fallisce dobbiamo guardare come la fanno la maggior parte delle app. Il metodo tradizionale è chiamato ricerca per parole chiave o ricerca lessica. Digitate la parola portatile nella casella e sistema a cercare ogni singolo documento che contiene esattamente quella parola. Nel retroscena molti di questi sistemi usano un algoritmo chiamato BM25. Non è complicato ma è ingegnoso a modo suo. BM25 classifica risultati in base ad alcuni fattori. Con quanta frequenza il termine di ricerca appare in un documento quanto è lungo il documento e quanto è raro il termine nell'intero set di dati. Immaginatelo come un contaparole davvero sofisticato che determina quali documenti sono più rilevanti in base a quei fattori. È qui che il sistema cede.

Il linguaggio umano è complesso. Le persone non pongono domande usando le stesse parole presenti nei documenti. Lasciate che vi faccio un esempio concreto. Un utente digita questo in un portale di supporto. Il mio portatile continua a bloccarsi durante le videochiamate. La ricerca per parole chiave cercherà diligentemente documenti contenenti portatile e continua a bloccarsi durante video e chiamate video e chiamate. Ma cosa succede se il miglior articolo sull'argomento si intitola risoluzione dei blocchi di sistema durante le riunioni attive o gestione del throttling della CPU su portatili collegati alla docking state? La ricerca per parole chiave ignora completamente questi risultati. Perché le parole non corrispondono. Il problema fondamentale è questo. La ricerca per parole chiave comprende l'ortogramma. Comprendi i pattern dei caratteri ma non ne comprende il significato. Ottenete risultati che hanno le lettere giuste ma spesso il contenuto sbagliato. Quindi se la corrispondenza esatta delle parole lascia così tante lacune qual è l'alternativa? Il nuovo metodo, la ricerca vettoriale. Dunque la ricerca vettoriale è un modo di operare completamente diverso. Invece di cercare corrispondenze esatte tra le parole cerca il significato. Sembra astratto quindi analizziamolo nel dettaglio.

La definizione più semplice da ricordare è questa. Un vettore è solo una lista di numeri che rappresenta qualcosa che il computer può elaborare. Tutto qui, una lista di numeri. Un embedding è un tipo speciale di vettore che cattura il significato di un test. Prende una frase, un paragrafo o persino un intero documento e lo trasforma in una lunga lista di numeri. Il computer non comprende le parole ma comprende i numeri. Ecco un'analogia che può aiutare. Immagini i vettori come le coordinate su una mappa. Su una mappa i luoghi simili sono vicini tra loro, nello spazio vettoriale. I concetti simili finiscono per essere vicini. Il vettore per re e il vettore per regina sono vicini perché rappresentano idee correlate. Il vettore per re e il vettore per mera sono molto distanti. Il computer non sa cosa significhi re in senso umano ma può misurare la distanza tra le sue coordinate e quelle di ogni altra parola o documento. È come avere un gps per l'idea? Il sistema sa quanto sono distanti i concetti semplicemente osservando i numeri. Quando si effettua una ricerca tramite vettori il sistema converte la query in un embedding. Quindi trova i documenti cui i embedding sono più vicini al tuo.

Trova elementi semanticamente simili che condividono il significato, non solo il vocabolario. Immagina di cercare un documento sulla risoluzione dei problemi di un computer blocco. Con la ricerca per parole chiave dovresti digitare esattamente blocco o si è bloccato. Ma con la ricerca vettoriale puoi digitare il mio computer continua a bloccarsi e troverà il documento giusto. È questo il potere di comprendere il significato? Torniamo al nostro esempio di ricerca inefficiente. Un utente digita il mio portatile continua a bloccarsi? Con la ricerca vettoriale il sistema può restituire l'articolo sui blocchi di sistema durante le riunioni teams anche se nessuna di quelle parole appare nella query. Perché? Perché il significato di blocco di sistema è molto vicino a computer che si blocca nello spazio vettoriale. Questi concetti risiedono vicini l'uno all'altro su quella mappa. Al sistema non interessano le parole esatte, interessa ciò che intende. Questa è la svolta. I computer iniziano a comprendere l'intento, non solo ortografie. Trovano risposte che la ricerca per parole chiave si perderebbe completamente. Ma anche la ricerca vettoriale è un punto di... può mancare corrispondenze esatte che sono assolutamente fondamentali. Se un tecnico cerca uno specifico codice di errore come l'errore X807-Z570, una ricerca vettoriale potrebbe dare priorità a documenti su errori del disco o corruzione del file system invece del documento esatto che analizza quel codice specifico. Sacrifica la precisione in favore della comprensione. Quindi abbiamo due metodi. La ricerca per parole chiave è ottima per la precisione. Trova termini esatti, ID prodotto, numeri di contratto. La ricerca vettoriale è ottima per significato. Trova la risposta giusta anche quando non usi le parole giuste. Ognuna dei punti c'è. Questo solleva una domanda ovvia. E se si potessero combinare entrambi gli approcci per ottenere il meglio da entrambi i mondi? La svolta ibrida. La ricerca ibrida è il meglio di entrambi i mondi.

Esegue contemporaneamente sia la ricerca per parole chiave che quella vettoriale, quindi combina i risultati in un unico elenco classificato. Invece di scegliere un approccio rispetto all'altro, il sistema utilizza un metodo chiamato Reciprocal Rank Fusion o RRF. Ecco come funziona. RRF analizza la posizione di ogni documento nei risultati per parole chiave e nei risultati vettoriali, quindi assegna un punteggio comune. Se un documento è valido in entrambi riceve una spinta, è come prendere due pareri di esperti e mediarli. La risposta finale è più affidabile di una sola presa singolarmente. Questo è importante perché la ricerca per parole chiave e quella vettoriale hanno punti di forza fondamenti diversi. La ricerca per parole chiave c'è la mia corrispondenza esatta. È il punto di riferimento per i di prodotto, numeri di contratto, nomi specifici, codici di errore. È precisa e prevedibile. La ricerca vettoriale c'è nella somiglianza semantica, trovando documenti che condividono il significato con la tua query anche quando le parole esatte non appaiono. Insieme coprono i punti ciechi dell'altro. Il sistema cattura corrispondenze esatte e concettuali in un'unica query. Questa è la vera potenza. E non è solo teoria. La ricerca sulla ricerca ibrida aziendale mostra che offre una precisione di recupero dal 70 all'80 per centima seconda del set di dati. È circa il 15-20 per cento più rispetto a quello che si ottiene con la sola ricerca vettoriale. La differenza è significativa e si riflette sui risultati aziendali reali. Prendiamo le piattaforme di Contabilia Texan. Hanno implementato la ricerca ibrida nella loro esperienza di assistenza a clienti tramite un'azienda chiamata Coveo. Entro tre mesi hanno visto un aumento del 20 per cento alla risoluzione self-service. I clienti hanno trovato risposte autonomamente più spesso senza dover contattare l'assistenza. Altri clienti, nello stesso caso di studio, hanno visto una riduzione fino al 40 per cento del tempo di risoluzione per i casi di assistenza.

Ciò significa che gli agenti hanno trovato le informazioni giuste più velocemente, i clienti hanno ottenuto risposte più rapidamente, i costi dell'assistenza sono diminuiti. Non è solo una bella funzione, è un impatto misurabile sul profitto. Questo è il punto chiave. La ricerca ibrida non è solo un buon aggiornamento, una spunta e un elenco di funzionalità. È decisamente migliore. Offre una precisione migliore, un migliore richiamo e risultati migliori per l'utente. Ed è questa combinazione di approcci a rendere Azure e iSearch così potente per le applicazioni moderne. Ma c'è un'altra tecnologia che questa combinazione sblocca, una che sta ricevendo molta attenzione al momento. Si chiama RUG, la connessione RUG, quindi parliamo di RUG. RUG è un termine complesso, ma ecco la definizione più semplice. È un framework che fornisce agli assistenti all'accesso a informazioni su cui non sono stati addestrati. I modelli linguistici di grandi dimensioni come GPT sanno molto di storia, scienza e programmazione, ma non conoscono i documenti interni, le policy, la storia dei clienti o le procedure specifiche seguite dal tuo team. Molti pensano che si possa semplicemente riversare tutta quella conoscenza interna nel modello stesso. Non funziona. È costoso e difficile da giornare.

Risolvi questo problema in modo intelligente. Invece di stipare tutto nel modello, recuperi le informazioni rilevanti da una base di conoscenza nel momento in cui qualcuno pone una domanda. Prendi la query dell'utente, cerchi nei tuoi dati interni, trovi i documenti più pertinenti e fornisci quel contesto all'LLM insieme alla domanda originale. L'LLM genera quindi una risposta basata sui tuoi dati. Questa è la magia. Ora, Azure AI Search è la metà di recupero di quell'equazione. È il motore che trova i documenti giusti affinché l'LLM possa rispondere con precisione. Senza un solido livello di recupero, un sistema RAG è valido solo quanti documenti che trova. Ed è qui che la ricerca ibrida brilla davvero, perché le query RAG sono spesso domande in linguaggio naturale e le risposte risiedono spesso in documenti che usano terminologie totalmente diverse. Lascio che ti dia alcuni numeri che mostrano davvero la differenza. Uno studio sulla ricerca in applicazioni aziendali ha rilevato che un framework RAG ibrido ha migliorato la precisione di recupero top cap da 18 a 25 volte rispetto alla sola ricerca per parole chiave. La precisione nel completamento delle attività di flusso di lavoro è migliorata di 21. Ciò significa che gli utenti avevano molte più probabilità di completare con successo compiti complessi quando supportati da un sistema RAG che utilizza la ricerca ibrido. Nel complesso, sistemi RAG implementati correttamente possono aumentare la precisione della ricerca in media dell'85% con alcuni domini specializzati che raggiungono il 91% e poiché l'LLM genera risposte basate sul contesto recuperato piuttosto che sulle proprie supposizioni, i sistemi RAG hanno mostrato una riduzione di circa il 40% nelle risposte allucinanti. Ecco perché Azure AI Search è fondamentale per creare agenti e copiloti. Fornisce il recupero basato su fatti concreti che rende gli LLM affidabili in un contesto aziendale. Se stai creando un assistente che deve rispondere alle domande in modo accurato e citare le fonti, la ricerca ibrida unita RAG è l'architettura a cui dovrai ricorrere. Quindi la ricerca ibrida più RAG è una combinazione potente. Ma come si traduce tutto questo nella pratica?

L'impatto nel mondo reale. Dunque, dove si manifesta concretamente? Lascia che ti faccio alcuni esempi. L'e-commerce è probabilmente l'esempio più noto. Un cliente digita scarpe da corsa comode in una barra di ricerca. La scheda del prodotto potrebbe riportare calzature sportive ammortizzate perché il team di marketing ha scelto termini diversi. La sola ricerca per parole chiave perderebbe completamente risultato. Con Azure AI Search il sistema comprende che comode e ammortizzate significano più o meno la stessa cosa in questo contesto. Propone il prodotto giusto anche quando le parole non coincidono. Questo significa che il cliente trova ciò che cerca invece di abbandonare il sito frustrato. I portali di assistenza clienti funzionano allo stesso modo. Immagina che un cliente scriva come possa annullare il mio abbonamento. La polisi pertinente potrebbe intitolarsi risoluzione del contratto di servizio. La ricerca ibrida trova quel documento esatto tramite la corrispondenza di parole chiave sulla terminologia legale ma propone anche una facco correlata sulla chiusura anticipata del piano tramite la somiglianza semantica. Il cliente ottiene una risposta completa invece di dover scavare tra cinque diversi articoli. Il recupero di documenti legali è un altro esempio. Gli avvocati devono cercare nei contratti numeri di clausola e riferimenti di sezione esatti. Questo è il dominio delle parole chiave ma devono anche trovare formulazioni simili in accordi diversi anche quando la dicitura varia. La ricerca ibrida gestisce entrambi in un'unica query e nei settori regolamentati poter tracciare esattamente il motivo per cui è apparso un risultato è fondamentale per la conformità. Anche le basi di conoscenza internet agronomata. Un dipendente che cerca la politica sulle ferie ottiene il documento ufficiale delle risorse umane ma anche un'email correlata dal team legale sui giorni di riporto e un recente aggiornamento pubblicato sull'intranet aziendale. La ricerca comprende che tutti questi elementi sono collegati alla stessa domanda. La produzione manifatturiere è un esempio meno ovvio ma potente. Un tecnico digita riparazione sul riscaldamento motore in un'interfaccia di ricerca. Il sistema restituisce la sezione di risoluzione dei problemi dal manuale dell'attrezzatura più uno schema scansionato che mostra le parti interessate. Anche se il diagramma è un'immagine, Azure AI Search può estrarre e indicizzare il suo contenuto testuale in modo che appaia nei risultati di ricerca. Il filo conduttore di tutti questi esempi sono i dati non strutturati. PDF, documenti Word, Tic di assistenza via mail, immagini scansionate. Le query sui database tradizionali e la ricerca per parole chiave non sono mai state progettate per questo tipo di. Azure AI Search è costruita appositamente per questo mondo e più lo si osserva più diventa chiaro che la ricerca ibrida non è solo una bella funzionalità. È un elemento fondamentale del modo in cui vengono create le applicazioni modelle. Come i vari pezzi si incastrano solo. Quindi come funziona tutto questo nel concreto? Azure AI Search ha tre componenti fondamentali.

L'origine dati, l'indicizzatore e l'indice di ricerca. L'origine dati è il luogo in cui risiedono le tue informazioni. Potrebbe trattarsi di un archivio blob, un database SQL di Azure, Cosmos DB o persino SharePoint. È la materia prima che deve andare ricercabile. Tensalo come a una pila di documenti in attesa di essere organizzati. L'indicizzatore è la pipeline che legge i dati dalla fonte, estrae il contenuto, applica l'arricchimento AI configurato e crea l'indice di ricerca. È come modo semplice per visualizzarlo. Immagina un bibliotecario che entra in un magazzino pieno di libri. Li legge tutti, prende appunti dettagliati, identifica temi, identità chiave e organizza tutto in uno schedario. Quella lettura è presa di appunti e il processo di indicizzazione. L'indice di ricerca è quello schedario. Non sono i libri stessi. È il sistema strutturato ottimizzato che ti permette di trovare esattamente ciò che ti serve in pochi minuti secondi. Quando digiti una query, il sistema non torna ai documenti originali per scansionarli. Invece consulta l'indice che sa già esattamente dove si trova ogni cosa. Questa preorganizzazione è chiamata indice invertito. Invece di memorizzare documenti con un elenco di parole, memorizzi le parole con un elenco di documenti. Ciò significa che quando cerchi un termine vai dritto al punto giusto, senza dover sfogliare ogni pagina. Il risultato è un enorme miglioramento della velocità. Invece di scansionare ogni singolo documento, il che richiede più tempo, man mano che i dati crescono, vai dritto alla posizione corretta. Con milioni di documenti, quella differenza tra una ricerca che richiede secondi e una che ne richiede millisecondi e una che ne richiede millisecondi. Ora sai cos'è Azure AI Search, come si integrano i componenti principali e perché la ricerca ibrida cambia le regole del gioco. Concludiamo con alcune cose che puoi fare concretamente.

Per prima cosa, comprendi i tuoi dati. Se sono già strutturati, come tabelle di prodotti in SQL, record di clienti in un database o qualsiasi cosa con righe e colonne pulite, puoi interrogarli direttamente con SQL. Azure AI Search è progettato per testi non strutturati. Si tratta di PDF, email, documenti word, ticket di assistente. È lì che offre il suo vero valore. In secondo luogo, se stai creando un'applicazione RAG o un assistente AI, Azure AI Search con ricerca ibrida è il motore di recupero ideale. Ti offre corrispondenze esatte per precisione, comprensione semantica per il contesto. Questa combinazione produce risposte più affidabili e citabili rispetto ai singoli approcci. Terzo, non complicare eccessivamente la configurazione. Portale Azzurri dispone di una procedura guidata per l'importazione. Connetti il tuo archivio blob, configura alcune impostazioni e lascia che l'indicizzatore crea il primo indice. Puoi eseguire la tua prima ricerca in meno di un'ora. Dunque, questo è Azure AI Search in parole semplici. Prendi informazioni disordinate e non strutturate, trasformandone in conoscenza ricercabile e pronta per l'IA. Grazie per essere stati con me. Iscriviti e ci vediamo nel prossimo episodio.