Allora, cosa cambia esattamente quando un'azienda passa da un chatbot e ha decine di strumenti AI? All'inizio sembra semplice. Un team aggiunge un chatbot per l'assistenza a clienti. Un altro usa l'IA per cercare documenti aziendali e le note delle riunioni vengono scritte automaticamente. Un flusso di lavoro può leggere un'email, estare una richiesta e inviarla al sistema corretto. In poco tempo l'azienda ha diversi modelli, agenti che possono compiere azioni e strumenti che accedono ai dati aziendali. Ogni team spesso si connette direttamente a un diverso fornitore di AI usando la propria chiave, i propri limiti e le proprie regole di sicurezza. I costi diventano difficili da tracciare. Una chiave può finire nel posto sbagliato. Quando un agente richiama uno strumento, nessuno potrebbe avere un registro chiaro di ciò che ha tentato di fare. E' qui che entra in gioco Microsoft AI Gateway. Alla fine di questo episodio capirai cos'è, come si integrano i suoi componenti e quando inizia ad avere senso per la tua azienda. Immagina come un edificio per uffici con molte porte laterali. Potresti lasciare ogni porta aperta sperando che le persone le usino correttamente. Oppure puoi far passare tutti attraverso l'ingresso gestito. Un'unica porta principale per me. Microsoft AI Gateway è un insieme di funzionalità di gestione API di Azure che offre al tuo traffico IA un unico punto di controllo. Analizziamo le parole semplici. Immagina l'infrastruttura IA della tua azienda come un moderno edificio per uffici. I modelli IA sono le stanze in cui avviene l'elaborazione. I tuoi agenti sono i lavoratori che si muovono nell'edificio decidendo quale attività provata a svolgere successivamente. Gli strumenti sono porti di servizio che portano verso aree come HR, finanza, registri clienti e file interni. L'AI Gateway è la reception, il banco della sicurezza all'ingresso. Controlla chi entra, applica le regole e registra dove vanno le richieste prima che raggiungano il resto dell'edificio. Una richiesta segue un percorso semplice. Un'app, un copilota o un agente invia una richiesta al Gateway. Il Gateway verifica le regole applicabili a quel chiamante quindi la invia al modello, allo strumento, all'agente, all'API aziendale provato. E quando arriva una risposta questa passa di nuovo attraverso il Gateway prima di raggiungere l'utente. Quell'unico percorso offre all'azienda un luogo in cui gestire accessi, limiti, controlli di sicurezza e log senza integrare tali controlli in ogni singola app. Ciò separa anche due compiti che spesso vengono confusi. I team di sviluppo applicazioni possono concentrarsi sulle esperienze che le persone ormene. Costruiscono l'assistente di supporto, la schermata di ricerca documenti e il flusso di lavoro che fa risparmiare tempo. Nel frattempo il team della piattaforma gestisce le regole condivise dietro le quinte, decidendo quali servizi approvare, quali identità possono usarli, quanto traffico un progetto può inviare e cosa viene registrato. Non vuoi che ogni team inventi un nuovo piano di sicurezza per ogni chatbot. Microsoft AI Gateway può porsi davanti a diverse tipologie di traffico AI. Può gestire le chiamate ai modelli AI e le chiamate agli strumenti MCP, Model Context Protocol. Può anche gestire il traffico agent-to-agent-adway e le API aziendali che la tua azienda già utilizza come un API per verificare un ordine, leggere una policy HR o aprire un ticket di supporto. Quest'ultima parte è importante perché la maggior parte delle aziende non deve eliminare i propri sistemi esistenti per usare l'AI. Hanno solo bisogno di un modo sicuro affinché l'AI interagisca con quei sistemi e un gateway aiuta a controllare tale connessione. Ora, Microsoft AI Gateway non è un modello. Non scrive risposte da solo. Non è nemmeno un generatore di agenti, quindi non lo usi per progettare un assistente HR o insegnare a un agente finanziario cosa fai. E non sostituisce Microsoft Foundry, dove i team possono creare, testare e gestire progetti AI. Invece si colloca nel mezzo. Foundry può aiutarti a lavorare con modelli e agenti AI, mentre Azure API Management AI Gateway aiuta a controllare il traffico generato da quei modelli, agenti e strumenti. Forse conosci già Azure API Management come un modo per gestire le normali API. Un API è semplicemente un modo in cui un software può richiedere qualcosa a un altro software. AI Gateway stende questa stessa idea al lavoro dell'AI, perché le richieste AI pongono nuove domande. Chi ha usato quale modello? Quanti token ha consumato? Questa gente può chiamare quello strumento? Questo prompt dovrebbe arrivare al modello. Inserire il gateway nel mezzo ti offre un unico punto per rispondere a queste domande. E il primo punto critico appare quando ogni applicazione inizia a scegliere il proprio endpoint di modello. Un endpoint molti modelli Quando la tua applicazione si connette direttamente a un singolo endpoint di modello, quella scelta viene integrata nel codice stesso. Spesso il codice è vincolato a un provider, un deployment specifico, una regione Azure e un set fisso di limiti. Funziona bene finché il progetto è piccolo, ma immagina che il tuo sistema di supporto giri su un modello in una regione. Mesi dopo, quel modello raggiunge la sua capacità, arriva a un modello migliore, a un costo inferiore, a un costo inferiore, o la tua azienda deve spostarsi in un'altra regione. Senza un livello condiviso, ogni team deve modificare il proprio codice, testarlo di nuovo e rilasciare un aggiornamento. Ciò rende il cambiamento lento e complicato. Microsoft AI Gateway offre alle tue applicazioni un punto di accesso stabile. Inviando le richieste lì, la scelta del modello può cambiare delle quinte senza che tu debba toccare l'app. Pensalo come il numero di telefono di un azienda. I clienti compongono un unico numero, anche se la chiamata viene passata a un team o a un ufficio diverso. Non hanno mai bisogno di sapere come viene gestito. Con AI Gateway, la tua app chiama un endpoint approvato e, dietro di esso, il Gateway invia la richiesta al modello più adatto al compito. Microsoft ha anche un nuovo approccio chiamato Unified Model API. In parole semplici, permette a un'applicazione di effettuare una richiesta nello stile di OpenAI, mentre il Gateway può collegarla a diversi fornitori di modelli dietro le quinte. Quindi la tua app invia un tipo di richiesta familiare e il Gateway gestisce tutti i dettagli relativi ai fornitori. A seconda della configurazione, quella richiesta potrebbe andare su un deployment di Azure OpenAI, un modello in Microsoft Foundry, Antropic Google Gemini o Amazon Bedrock. Il percorso segue le regole che ha impostato, non una scelta predefinita sepolta in ogni applicazione. Ciò dà al team della piattaforma lo spazio per apportare modifiche senza disturbare chi utilizza l'app. Supponiamo che la tua azienda gestisca un assistente clienti e ha per assistenza. La maggior parte delle domande è sempre, dove è il mio ordine? Come posso reimpostare la password? Queste possono essere risolte rapidamente da un modello più piccolo ed economico, senza spendere più del necessario. Poi un cliente invia una domanda lunga e insolita che richiede un ragionamento attento o conoscenze sul prodotto. Il Gateway instra da quel tipo di richiesta verso un modello più potente. L'app di supporto invia comunque le richieste nello stesso modo, quindi il tuo team non deve sapere quale modello abbia gestito la domanda e i tuoi sviluppatori non devono creare connessioni separate per ogni opzione. Per quanto riguarda la capacità, gli endpoint dei modelli AI hanno dei lì. Possono gestire solo una certa quantità di traffico in un determinato lasso di tempo. Se ogni richiesta colpisce un unico deployment, un'ora di punta può rallentare o bloccare l'intera esperienza. Un Gateway può distribuire il traffico su più deployment approvati, instradandolo verso un'altra regione, quando una è piena o usando un percorso di backup se un endpoint va offline. Ciò non significa che le richieste debbano rimbalzare a caso. Se sempre tu stabilire, ad esempio, il traffico rivolto ai clienti ha la priorità sul modello principale, mentre i test interni usano un percorso diverso, oppure una regione gestisce gli utenti locali mentre un'altra funge da backup. Punto è semplice. Le tue applicazioni si collegano ad un unico punto di accesso controllato e dietro di esso la piattaforma può regolare modelli, regioni o fornitori con interruzioni minime. È importante perché l'IA si evolve rapidamente. Un modello che funziona oggi potrebbe non essere la scelta migliore a mezzo prossimo. Se ogni app comunica direttamente con il suo provider, cambiare modello diventa un progetto per ogni team. Con il gateway, la scelta del modello risiede in un unico luogo condiviso. Una breve nota sull'app unificata per i modelli. Microsoft la elenca come anteprima pubblica. Le funzionalità in anteprima possono cambiare e potrebbero non essere pronte per ogni caso d'usione. Tuttavia, il modello generale non dipende da quella specifica funzione, poiché la gestione delle tue API può già porsi davanti agli endpoint dei modelli, applicare regole di routing e aiutarti a gestire più di un backend. L'app unificata per i modelli mira a rendere più semplice quell'esperienza multiprovider per le applicazioni. Scegliere il modello giusto è solo metà del lavoro, perché un modello può rispondere a una domanda, ma un agente può decidere di intraprendere un'azione che coinvolge i sistemi aziendali reali. Governance di agente e strumenti. Un agente porta lì a, oltre alla semplice risposta alle domande. È un software in grado di esaminare un compito, scegliere tre opzioni approvate e richiamare uno strumento o un servizio per completare l'opera. Un agente ha care una politica sulle ferie, un agente di supporto o controllare un ordine, un agente finanziario o preparare una richiesta di pagamento. Questa capacità è utile, ma cambia anche il profilo di rischio. Una risposta errata da un modello confonde qualcuno, ma un agente che usa lo strumento sbagliato può esporre dati, modificare un record o attivare un processo che non dovrebbe mai toccare. Ecco perché gli strumenti necessitano di regole proprie. Sentirai il termine MCP o protocollo di contesto del modello. Pensalo come a una forma di connettore standard che offre a un agente un modo noto per trovare e usare uno strumento aziendale, con un servizio di ricerca a documenti o un EP di ricerca a ordine. Piuttosto che creare una connessione diversa per ogni agente e ogni sistema, MCP offre ai team uno schema comune. Poi c'è A2A, da agente ad agente, un modo standard per un agente di contattare in un altro. Ad esempio, un agente di supporto chiede a un agente di spedizione i dettagli di consegne invece di cercare di capire il sistema di spedizione stesso. Sembra tutto ordinato sulla carta, ma una catena di agenti diventa complicata quando ogni connessione ha regole di accesso diverse, credenziali nascoste e strumenti sconosciuti. Immagina un agente finanziario che risponde a domande sulle fatture. Dovrebbe usare solo uno strumento di ricerca a fattura approvato, ma qualcuno gli dà un ampio accesso al sistema finanziario perché è più veloce che definire uno strumento limitato. Un utente invia un prompt dall'aspetto innocuo, ma istruzioni nascoste in un documento allegato spingono l'agente verso un'azione non approvata. Se l'agente ha troppi accessi potrebbe richiedere dati non necessari o avviare un flusso di lavoro che dovrebbe richiedere l'approvazione umana. L'agente non è malevolo. Aveva solo troppa libertà nel gestire input non attendo. Microsoft AI Gateway ti permette di inserire controlli davanti ai server MCP e alle API aziendali. Invece di un percorso diretto da un'app AI a un database, espone uno strumento piccolo e controllato per un compito specifico. Ad esempio, un agente chiede controllo allo stato di questo ordine. Lo strumento restituisce solo lo stato, non ogni ordine o l'intero registro clienti. È un compito limitato e il gateway verifica chi sta chiedendo prima di consentire la chiamata. L'identità è al centro di questa configurazione. Con Microsoft N3D le app accedono tramite identità gestite invece di condividere chiavi del provider. Un'identità gestita dimostra chi è senza che uno sviluppatore debba copiare un segreto nel codice. Ogni agente dovrebbe avere la propria identità. In questo modo puoi vedere quale agente ha chiamato uno strumento per evocare l'accesso a uno senza bloccare gli altri e applicare regole diverse. Un agente HR non dovrebbe ereditare i permessi di un agente finanziario solo perché entrambi usano le AI. Questo segue il principe Zero Trust. Verifica ogni richiesta. Concedi solo l'accesso necessario per il compito attuale e supponi che ogni prompt o risposta dello strumento possa essere in sicuro. In pratica l'agente ottiene il permesso per uno specifico strumento di azione. Può leggere il saldo ferie ma non scaricare il file delle buste paga. Può creare una bozza di ticket di supporto ma non chiudere un caso. Il gateway applica anche controlli di sicurezza ai prompt e al traffico degli strumenti. Se una richiesta contiene contenuti dannosi o dati che non dovrebbero lasciare il sistema una policy la blocca prima che raggiunga il back-end. Nessun filtro cattura tutto ma controllare il traffico in un punto condiviso è molto più sicuro che sperare che ogni creatore di agenti aggiunga la stessa protezione. Ha anche bisogno di un catalogo di strumenti approvati. API Center fange da catalogo privato per API e servizi MCP così i team trovano lo strumento giusto senza cercare in vecchi documenti o copiare indirizzi web non verificati. Questo aiuta a trasformare la scelta di quale strumento può usare il mio agente in una decisione aziendale controllata. I controlli di sicurezza proteggono il percorso ma creano anche una nuova domanda. Quali team stanno usando quel percorso e quanto utilizzo dell'AI stanno generando? Cost in token, limiti e visibilità. I costi dell'AI funzionano in modo diverso rispetto a una normale licenza software. Il contatore si basa sui token. Cosa è un token? È una piccola porzione di test. Una parola breve vuol utilizzare un token. Una parola più lunga ne usa di più. Il modello conta tutto ciò che invii. La tua domanda, le istruzioni che aggiungi, qualsiasi documento allegato e la risposta che fornisce. Quindi una domanda semplice usa pochissimo ma un agente che legge un lungo documento di policy fa domande di follow up, chiama uno strumento e poi crea una risposta dettagliata può consumare molto più di quanto ti aspetti. Probabilmente ti sarà già capitato con la trascrizione di una riunione. Vedi alcune pagine di appunto. Il sistema di A elabora anche le proprie istruzioni, la trascrizione, i dati aziendali recuperati, i risultati degli strumenti e la risposta finale. Ogni parte contribuisce all'utilizzo. Ecco perché un agente molto attivo può esaurire un limite di modello condiviso sorprendente in fretta. Immagina un team che testa un nuovo assistente di marketing venerdì pomeriggio. Qualcuno gli fornisce un'ampia serie di file di campagna e gli chiede di confrontarli, riscriverli e riassumerli in un ciclo. Nel frattempo l'assistenza clienti dipende dalla stessa capacità del modello per le persone che cercano aiuto. Se il carico di lavoro di test utilizza la quota condivisa, l'assistente di supporto potrebbe rallentare o bloccarsi quando i clienti ne hanno bisogno. Il problema non è solo che l'azienda ha speso denaro. Il carico di lavoro sbagliato ha sottratto capacità a quello più importante. Il gateway IA di gestione API di Azo può applicare dei limiti prima che ciò accada, può impostare limiti di richieste, limiti di token e quote per un'app, un team, un progetto o un utente. Una quota può coprire una finestra breve, token al minuto, o un periodo più lungo come la disponibilità giornaliera o mensile. Ciò conferisce a ogni carico di lavoro un conflitto. L'assistente di marketing può avere un budget adatto al suo scopo. L'assistenza clienti può avere la propria disponibilità e una priorità più elevata. Quando l'assistente di marketing raggiunge il suo limite, il gateway può rifiutare o rallentare le sue richieste successive. L'assistenza clienti continua a funzionare perché un progetto di test non può esaurire tutto ciò che è disponibile. Questo cambia anche il discorso sui costi mensili. Senza una visione condivisa, un team finanziario potrebbe ricevere un'unica grande fattura per lì e chiedere chi ha consumato tutto questo. La risposta può essere difficile da trovare quando i team si collegano direttamente a servizi diversi con chiavi condivise. Un gateway può registrare il chiamante, il modello, l'uso dei token, lo stato della risposta, le chiamate e gli strumenti collegate a una richiesta. Questo ti offre una traccia più chiara. Puoi vedere se la spesa proviene da un assistente HR, un ambiente di test per sviluppatori, un chatbot per i clienti o un agente che ha continuato a riprovare dopo un errore. Puoi anche individuare modelli insoliti, come un'applicazione che invia prompt molto più grandi del normale. Se il tuo team inizia con Microsoft Foundry, il gateway può collegarsi anche a quel lavoro. Progetti Foundry possono utilizzare i limiti di token a livello di progetto mentre il gateway applica le regole del traffico a tono destro. Ciò offre ai creatori di IA un punto di partenza più semplice, mentre il team di piattaforma ha comunque un luogo condiviso per gestire limiti e monitoraggio. C'è anche una funzione utile chiamata caching semantico. Mettiamo che un dipendente chieda, dove posso trovare la politica di viaggio? Pochi secondi dopo un altro chiede, qual è la nostra politica per i viaggi d'affari? Le parole cambiano, ma il significato può essere abbastanza simile da permettere al gateway di riutilizzare una risposta precedente evitando di chiamare il nuovo modello. Ciò può ridurre i costi e velocizzare la risposta. È adatto solo per le domande in cui riutilizzo senso. Non memorizzeresti nella cache una richiesta sul saldo ferie o sullo stato di un ordine, perché quelle risposte possono cambiare. Anche l'istradamento può aiutare con i costi. Un'azienda può inviare il lavoro idoneo a un modello più economico, utilizzare la capacità già riservata prima di pagare per l'uso extra e passare a un percorso di backup quando si raggiunge un limite. Tuttavia, un gateway non elimina la necessità di una supervisione. Team hanno bisogno di budget. Qualcuno deve revisionare le risposte al modello. Qualcuno deve decidere se un'agente debba effettivamente esistere. Il gateway fornisce il monitoraggio, i guardrail e la registrazione del traffico. Non prende decisioni aziendali al posto tu. Una volta che puoi vedere e controllare il traffico, l'intera configurazione diventa più facile da immaginare come un esempio quotidiano. Un semplice percorso di richiesta. Immagina un assistente HR interno di un'azienda. Un dipendente chiede quanti giorni di congedo parentale posso prendere e poi avviare la richiesta per me. L'obiettivo è semplice. Dare al dipendente una risposta rapida e utile può aiutare con il passaggio successivo approvato. Tuttavia, l'assistente HR non deve divulgare dati sulle buste paga, aprire ogni file HR o includere nel suo codice la chiave di un fornitore di modelli. La richiesta inizia quando il dipendente accede. Prima che l'assistente indica qualcosa a un modello o a uno strumento, il gateway verifica l'identità del dipendente. Si può usare l'assistente HR e quali limiti si applicano a quell'app? Il dipendente vede una semplice finestra di chat mentre questi controlli avvengono dietro le quinte. Successivamente, l'assistente ha bisogno di risposta. Una domanda di base sulla policy può essere inviata all'endpoint del modello approvato dall'azienda. Se quel endpoint è occupato o raggiunge un limite stabilito, il gateway può seguire un percorso di backup già approvato dall'azienda. Il dipendente riceve comunque una risposta tramite lo stesso assistente HR invece di vedere un errore perché una distribuzione del modello è troppo carica. Il dipendente chiede di avviare la richiesta di congelo. A questo punto l'agente ha bisogno di qualcosa in più rispetto modello. Ha bisogno di uno strumento in grado di verificare i dettagli del dipendente e creare la richiesta corretta. L'agente richiede di utilizzare uno strumento MCP approvato per la gestione dei congedi. Il gateway controlla anche quella richiesta. Questo agente HR può chiamare questo strumento. Questo dipendente è autorizzato ad avviare questo tipo di richiesta. L'azione è conforme ai permessi assegnati all'agente. Solo allora lo strumento riceve la chiamata. Lo strumento non restituisce un enorme elenco di record di dipendente. Restituisce solo ciò che è necessario per l'attività. Il saldo ferro è disponibile del dipendente. La policy applicabile la conferma che la richiesta è stata creata come bozza. Questa risposta limitata è importante. L'agente ha informazioni sufficienti per aiutare, ma non ottiene un accesso ampio solo perché ha posto una domanda in linguaggio semplice. La immagine è che il dipendente incolli nella chat del testo proveniente da un documento sterile. Il testo contiene istruzioni che cercano di ingannare l'assistente affinché ignori le sue regole e richieda informazioni riservate. Il gateway può applicare controlli di sicurezza prima che il prompt raggiunga il modello o prima che uno strumento riceva una richiesta. Se la richiesta viola una regola può fermarsi lì. Lo stesso tipo di controllo può esaminare una risposta prima che raggiunga il dipendente. Non tutti i problemi derivano da un prompt errato. Un modello potrebbe produrre una risposta che include informazioni che non dovrebbe restituire. Un punto di controllo condiviso offre all'azienda un luogo dove ispezionare tale percorso a intervenire. Nel frattempo la richiesta crea un REC. L'azienda può collegare il token utilizzato al progetto dell'assistente a CAR. Può vedere quale modello ha gestito la domanda, se la chiamata lo strumento è riuscita, se una richiesta è stata bloccata e quanto tempo ha richiesto il processo. Ciò rende il supporto e la revisione molto più semplice. Se un team a CAR segnala che i dipendenti non riescono a creare richieste di ferie, il team operativo può cercare chiamate agli strumenti fallite. Se una regola di sicurezza blocca domande valide, possono vedere lo schema e migliorare la policy. Se un agente utilizza improvvisamente molta più capacità AI del normale, tale cambiamento diventa visibile. E se l'azienda aggiorna una regola, come richiedere un controllo extra prima di certe richieste di ferie, può aggiornare la policy del gateway una sola volta. Non deve attendere aggiornamenti del codice separati per ogni app a CAR, chatbot e flusso di lavoro che utilizza lo stesso percorso controllato. Lo stesso modello di richiesta continua a funzionare quando l'azienda aggiunge un altro modello, una nuova area geografica, più strumenti interni o un altro agente che gestisce un compito a CAR correlato. Inizia in piccolo. Un gateway diventa utile quando il traffico AI inizia a diventare traffico condiviso. Da dove iniziare? Quindi, da dove si inizia concretamente? Inizia scegliendo un singolo carico di lavoro reale, magari un assistente di supporto che richiama già un modello o un agente che il tuo team sta pianificando per HR, finanza, ricerca e documentare interno. Non cercare di affrontare ogni modello e ogni strumento contemporaneo. E' la strada più rapida verso il caos. Invece di fornire le chiavi del provider direttamente a ogni applicazione, posiziona l'endpoint del modello di quel carico di lavoro dietro il gateway AI di Agile API Management. Immaginalo come l'unico posto di blocco per il traffico della tua AI. Poi definisci le basi. Nomina un responsabile chiaro per il carico di lavoro. Usa l'accesso basato su Entra, così solo le persone e i servizi giusti possono raggiungere. Imposta un limite di token adatto al lavoro, né più né meno. Attiva il logging, così puoi vedere cosa sta succedendo. Aggiungi una regola di sicurezza dei contenuti che il tuo team possa testare a verificare. Parti dal sempre. Una volta che il percorso del modello e il perimetro di accesso funzionano, aggiungi strumenti MCP approvati uno alla volta. Ogni strumento dovrebbe avere un compito preciso e una chiara ragione per cui l'agente deve usarlo. Niente extra, non necessario. Da lì passerai da un carico di lavoro controllato a modelli, strumenti e agenti condivisi. Senza quel punto di controllo iniziale, ogni nuova API A crea un altro percorso non gestito verso i dati aziendali e un'altra voce sul conto dell'IA. Per la prossima pillola di conoscenza guarda Azure API Management spiegato in modo semplice. Questa è la base su cui si fonda Microsoft AI Gateway,