Quanto è accurato Microsoft Copilot? Cosa determina la risposta che ti fornisce
Di Mirko Peters ·
Cosa determina una risposta di Copilot in Microsoft 365: prompt, dati di grounding, autorizzazioni, modalità del modello e licenza. Inoltre, i limiti dichiarati da Microsoft sull'accuratezza e come verificare l'output.
Tradotto automaticamente con l'IA dal post originale. Leggi l'originale in inglese
La risposta di Copilot è determinata da cinque elementi: il prompt, i dati usati per il grounding, le autorizzazioni di chi pone la domanda, la configurazione della licenza e del tenant e la modalità del modello. Sull'accuratezza Microsoft è diretta: Copilot può sbagliare, e le sue pagine raccomandano di esaminare e verificare l'output. Questo articolo classifica i fattori che incidono sulla qualità ed elenca i controlli raccomandati da Microsoft. Le pagine di Microsoft Learn usano sia il nome Microsoft Copilot sia Microsoft 365 Copilot, ad esempio nei nomi dei livelli Basic e Premium.
Punti chiave
- La risposta di Copilot dipende dal prompt, dai dati su cui è basata, dalle autorizzazioni dell'utente, dal livello di licenza e dalla modalità del modello.
- Microsoft descrive i servizi di IA come soggetti a errori e probabilistici. L'output può essere impreciso, incompleto, distorto o privo di fondamento.
- Copilot utilizza solo i dati organizzativi a cui l'utente che ha effettuato l'accesso può già accedere.
- Microsoft non fornisce punteggi di accuratezza. La sua indicazione è di esaminare e verificare, e di considerare non confermate le affermazioni di cui non è possibile risalire alla fonte.
- Quattro controlli suggeriti da Microsoft: Fonte, Verificato, Contesto e Resiliente.
Come viene prodotta una risposta
La nota di trasparenza di Microsoft 365 Copilot descrive quattro passaggi:
- Copilot riceve il prompt di un utente da un'app, come Word o PowerPoint.
- Copilot elabora il prompt per renderlo più specifico. Il prompt può includere testo tratto da file di input o altri contenuti trovati tramite Microsoft Graph. Viene quindi inviato al modello linguistico di grandi dimensioni (LLM). Copilot accede solo ai dati a cui l'utente ha già accesso.
- Copilot elabora ulteriormente la risposta dell'LLM. Ciò include ulteriori chiamate di grounding a Microsoft Graph, controlli di IA responsabile come i classificatori di contenuto, controlli di sicurezza, conformità e privacy, e la generazione di comandi.
- Copilot restituisce la risposta all'app, dove l'utente la esamina.
Senza dati web o organizzativi, la nota afferma che Copilot si basa solo sui propri LLM per comprendere i prompt e generare le risposte. I dati di grounding possono migliorare la qualità, l'accuratezza e la pertinenza di una risposta.
Cosa determina la risposta
Il prompt
Microsoft sostiene che scrivere buoni prompt è la chiave per ottenere risultati migliori. Le sue raccomandazioni per gli utenti finali sono: includere dettagli, strutturare i prompt, fornire istruzioni in forma positiva, iterare e rigenerare, e rivedere e verificare sempre. Quando un prompt è ambiguo, Copilot può arricchirlo con istruzioni aggiuntive. Questo arricchimento si basa sull'LLM, non sulla conoscenza dell'utente o sulle ricerche precedenti.
Dati di grounding
La nota di trasparenza afferma che Copilot aggiunge contenuti trovati tramite Microsoft Graph ed effettua ulteriori chiamate di grounding a Microsoft Graph. Consentire i riferimenti web può inoltre migliorare le risposte. La pagina sull'architettura di Microsoft aggiunge che il grounding con la ricerca web può essere gestito tramite il criterio «Consenti ricerca web in Copilot».
Autorizzazioni
Copilot accede solo ai dati a cui gli utenti sono autorizzati ad accedere, in base ai controlli di accesso esistenti. Due persone possono inviare lo stesso prompt e ottenere risposte diverse, perché possono aprire contenuti diversi. La panoramica sulla sicurezza segnala inoltre che i contenuti condivisi in eccesso o gestiti male possono influire sui risultati di Copilot e aumentare il rischio.
Livello di licenza e configurazione del tenant
La pagina sull'architettura dice che le esperienze differiscono per fondamento sui dati, profondità dell'integrazione e licenza. Le risposte di Copilot Chat (Basic) sono basate sul web pubblico. Microsoft 365 Copilot (Premium) usa sia il web sia i dati dell'organizzazione tramite Microsoft Graph e Work IQ. Gli utenti Basic non hanno accesso a Microsoft Graph e devono fornire manualmente i contenuti aziendali, per esempio caricando un file.
Modalità del modello
Per impostazione predefinita, Copilot usa un router in tempo reale che adatta il modello sottostante al prompt. Le modalità documentate sono:
- Auto. Copilot decide quale modello usare.
- Risposta rapida. Per domande comuni o di routine, privilegia la velocità.
- Ragionamento approfondito. Ragionamento avanzato per domande complesse.
Lingua
Copilot supporta meno lingue rispetto a Microsoft 365. Se la lingua del prompt non è supportata, l'utente riceve un messaggio di errore.
I limiti dichiarati da Microsoft
La nota di trasparenza è molto diretta sull'accuratezza:
- I servizi di IA sono fallibili e probabilistici.
- Quando riassume contenuti provenienti da più fonti, Copilot può includere informazioni che non sono presenti nelle fonti di input. La nota definisce questo fenomeno output non fondato (ungrounded output).
- Gli output possono essere imprecisi, incompleti, distorti, non allineati o non pertinenti rispetto all'obiettivo, per esempio a causa di input ambigui o dei limiti del modello.
- La eccessiva fiducia (overreliance) si verifica quando gli utenti accettano output errati o incompleti perché gli errori sono difficili da individuare.
Quando possibile, le risposte basate su documenti aziendali includono riferimenti alle fonti, così gli utenti possono verificarle. La nota afferma che Microsoft esegue valutazioni di qualità, inclusi controlli di fondatezza (groundedness), ma non fornisce punteggi. Le pagine consultate per questo articolo non contengono benchmark di accuratezza, quindi nessuna percentuale citata altrove è supportata da queste fonti.
Come verificare una risposta
La guida di Microsoft "Validate Copilot output before you act on it" definisce la convalida come il controllo dell'output dopo che è stato generato e prima di agire di conseguenza. Sottolinea che una risposta può sembrare impeccabile ed essere comunque errata, incompleta o rischiosa. Quattro verifiche:
- Fonte. La risposta riflette il materiale di partenza? Considera non confermata qualsiasi affermazione che non sia riconducibile a una fonte, finché non viene verificata.
- Verifica. Sono confermati i fatti chiave, i nomi, le date, i numeri e le raccomandazioni?
- Contesto. Cosa manca che potrebbe cambiare la decisione? Cerca avvertenze, dipendenze ed eccezioni.
- Robustezza. La risposta reggerebbe in scenari e con destinatari diversi?
La convalida è più importante per le decisioni, i riassunti di più fonti, i messaggi destinati a clienti o alla direzione, le priorità e il lavoro difficile da annullare. Copilot può fare da revisore, sfidante, individuatore di lacune o tester di stress. Il suo feedback è un segnale, non l'ultima parola.
Passaggi pratici che derivano dalla documentazione
- Includi dettagli e struttura nel prompt, come raccomanda Microsoft.
- Rigenera o affina la risposta invece di accettare il primo output.
- Apri i riferimenti citati per ogni numero o data importante.
- Rivedi la governance dei contenuti. Microsoft segnala che i contenuti condivisi in eccesso o gestiti male influiscono sui risultati.
- Mantieni una revisione umana per le decisioni, come consiglia la nota di trasparenza.
Correlati
Fonti
- Nota di trasparenza di Microsoft 365 Copilot, Microsoft Learn
- Architettura di Microsoft Copilot, Microsoft Learn
- Panoramica sulla sicurezza di Microsoft Copilot, Microsoft Learn
- Microsoft Copilot privacy, Microsoft Learn
- Verifica l'output di Copilot prima di agire, Microsoft Support
FAQ
Quanto è accurato Microsoft Copilot?
Nelle pagine consultate per questo articolo Microsoft non pubblica dati sull'accuratezza. La nota di trasparenza di Microsoft 365 Copilot afferma che i servizi di IA sono soggetti a errori e probabilistici e che l'output può essere impreciso, incompleto, distorto, non allineato o non pertinente. Raccomanda di esaminare e verificare ogni risposta.
Cosa determina la risposta che Copilot fornisce?
Secondo Microsoft Learn, i fattori principali sono il prompt, i dati usati per il grounding (contenuti di Microsoft Graph e, facoltativamente, il web), le autorizzazioni esistenti dell'utente, il livello di licenza e la configurazione del tenant, e la modalità del modello. Conta anche il supporto linguistico, perché Copilot supporta meno lingue di Microsoft 365.
Copilot può vedere file a cui non ho accesso?
No. La nota di trasparenza afferma che Copilot accede solo ai dati a cui il singolo utente ha già accesso, in base ai controlli di accesso basati sui ruoli di Microsoft 365. I contenuti che l'utente non può aprire non possono essere usati per il grounding.
Copilot può verificare le proprie risposte?
Solo in parte. Le indicazioni di Microsoft sulla convalida affermano che Copilot può aiutare a convalidare il proprio output, ad esempio come revisore o come strumento per individuare lacune, ma non può certificarne la correttezza. Quando la posta in gioco è alta, verifica con fonti attendibili.