¿Qué tan precisa es Microsoft Copilot? Qué determina la respuesta que te da
Por Mirko Peters ·
Qué determina una respuesta de Copilot en Microsoft 365: el prompt, los datos de anclaje, los permisos, el modo del modelo y la licencia. Además, los límites de precisión que Microsoft reconoce y cómo verificar el resultado.
Traducido automáticamente con IA a partir de la publicación original. Lee el original en inglés
Una respuesta de Copilot depende de cinco factores: el prompt, los datos que la anclan, los permisos de quien pregunta, la configuración de licencia e inquilino, y el modo del modelo. Sobre la precisión, Microsoft es directo: Copilot puede equivocarse, y sus páginas indican que hay que revisar y verificar el resultado. Este artículo ordena los factores que afectan a la calidad y enumera las comprobaciones que recomienda Microsoft. Las páginas de Microsoft Learn usan tanto el nombre Microsoft Copilot como Microsoft 365 Copilot, por ejemplo en los nombres de los niveles Basic y Premium.
Puntos clave
- Una respuesta de Copilot depende del prompt, de los datos en los que se ancla, de los permisos del usuario, del nivel de licencia y del modo del modelo.
- Microsoft describe los servicios de IA como falibles y probabilísticos. El resultado puede ser impreciso, incompleto, sesgado o no anclado en datos.
- Copilot solo utiliza datos organizativos a los que el usuario que ha iniciado sesión ya tiene acceso.
- Microsoft no ofrece puntuaciones de precisión. Su recomendación es revisar y verificar, y tratar las afirmaciones que no se pueden rastrear como no confirmadas.
- Cuatro comprobaciones de Microsoft: Source, Verified, Context y Resilient.
Cómo se genera una respuesta
La nota de transparencia de Microsoft 365 Copilot describe cuatro pasos:
- Copilot recibe el prompt de un usuario en una aplicación como Word o PowerPoint.
- Copilot procesa el prompt para hacerlo más específico. El prompt puede incluir texto de archivos de entrada u otro contenido encontrado a través de Microsoft Graph. Después se envía al modelo de lenguaje de gran tamaño (LLM). Copilot solo accede a los datos a los que el usuario ya tiene acceso.
- Copilot posprocesa la respuesta del LLM. Esto incluye llamadas adicionales de anclaje a Microsoft Graph, comprobaciones de IA responsable como clasificadores de contenido, comprobaciones de seguridad, cumplimiento y privacidad, y la generación de comandos.
- Copilot devuelve la respuesta a la aplicación, donde el usuario la revisa.
Sin datos web ni organizativos, la nota indica que Copilot se basa únicamente en sus LLM para entender los prompts y generar respuestas. Los datos de anclaje pueden mejorar la calidad, la precisión y la relevancia de una respuesta.
Qué determina la respuesta
El prompt
Microsoft afirma que escribir buenos prompts es clave para obtener mejores resultados. Sus recomendaciones para los usuarios finales son: incluir detalles, estructurar los prompts, dar instrucciones en positivo, iterar y regenerar, y revisar y verificar siempre. Cuando un prompt es ambiguo, Copilot puede enriquecerlo con instrucciones adicionales. Ese enriquecimiento depende del LLM, no del conocimiento del usuario ni de búsquedas anteriores.
Datos de anclaje
La nota de transparencia indica que Copilot añade contenido encontrado a través de Microsoft Graph y realiza llamadas adicionales de anclaje a Microsoft Graph. Permitir referencias web también puede mejorar las respuestas. La página de arquitectura de Microsoft añade que el anclaje mediante búsqueda web puede gestionarse con la directiva Permitir la búsqueda web en Copilot.
Permisos
Copilot solo accede a los datos que los usuarios están autorizados a consultar, según los controles de acceso existentes. Dos personas pueden enviar el mismo prompt y obtener respuestas distintas porque pueden abrir contenido diferente. La descripción general de seguridad también señala que el contenido sobrecompartido o mal gobernado puede afectar a los resultados de Copilot y aumentar el riesgo.
Nivel de licencia y configuración del inquilino
La página de arquitectura indica que las experiencias varían según la fundamentación en datos (grounding), la profundidad de la integración y la licencia. Las respuestas de Copilot Chat (Basic) se basan en la web pública. Microsoft 365 Copilot (Premium) utiliza tanto la web como los datos de la organización a través de Microsoft Graph y Work IQ. Los usuarios Basic no tienen acceso a Microsoft Graph. Deben aportar el contenido organizativo manualmente, por ejemplo subiendo un archivo.
Modo de modelo
De forma predeterminada, Copilot usa un enrutador en tiempo real que ajusta el modelo subyacente al prompt. Los modos documentados son:
- Auto. Copilot decide qué modelo usar.
- Respuesta rápida. Para preguntas comunes o rutinarias, prioriza la velocidad.
- Pensar más a fondo. Razonamiento avanzado para preguntas complejas.
Idioma
Copilot admite menos idiomas que Microsoft 365. Si el idioma del prompt no está admitido, el usuario recibe un mensaje de error.
Los límites que declara Microsoft
La nota de transparencia es clara en cuanto a la precisión:
- Los servicios de IA son falibles y probabilísticos.
- Al resumir contenido de varias fuentes, Copilot puede incluir información que no está en sus fuentes de entrada. La nota denomina a esto salida sin fundamentación (ungrounded output).
- Los resultados pueden ser inexactos, incompletos, sesgados, desalineados o irrelevantes para el objetivo previsto, por ejemplo por entradas ambiguas o por los límites del modelo.
- La dependencia excesiva se produce cuando los usuarios aceptan resultados incorrectos o incompletos porque los errores son difíciles de detectar.
Cuando es posible, las respuestas basadas en documentos de negocio incluyen referencias a las fuentes para que los usuarios puedan verificarlas. La nota indica que Microsoft realiza evaluaciones de calidad, incluidas evaluaciones de groundedness, pero no publica puntuaciones. Las páginas consultadas para este artículo no contienen métricas de precisión, así que cualquier porcentaje citado en otros lugares no está respaldado por estas fuentes.
Cómo comprobar una respuesta
La guía de Microsoft "Validate Copilot output before you act on it" define la validación como la comprobación del resultado después de generarse y antes de actuar sobre él. Insiste en que una respuesta puede sonar pulida y, aun así, ser incorrecta, incompleta o arriesgada. Cuatro comprobaciones:
- Fuente. ¿La respuesta refleja el material fuente? Considera no confirmada cualquier afirmación que no pueda rastrearse hasta una fuente, hasta que se verifique.
- Verificado. ¿Se confirman los datos clave, nombres, fechas, cifras y recomendaciones?
- Contexto. ¿Qué falta que podría cambiar la decisión? Busca advertencias, dependencias y excepciones.
- Robustez. ¿Se sostiene la respuesta en distintos escenarios y audiencias?
La validación es más importante en decisiones, resúmenes de varias fuentes, mensajes a clientes o a la dirección, prioridades y trabajos difíciles de revertir. Copilot puede actuar como revisor, cuestionador, detector de lagunas o probador de estrés. Sus comentarios son una señal, no la autoridad final.
Pasos prácticos que se derivan de la documentación
- Incluye detalles y estructura en el prompt, como recomienda Microsoft.
- Regenera o refina el resultado en lugar de aceptar la primera respuesta.
- Abre las referencias citadas para cualquier cifra o fecha que sea importante.
- Revisa la gobernanza del contenido. Microsoft señala que el contenido sobrecompartido o mal gobernado afecta a los resultados.
- Mantén la revisión humana en las decisiones, como recomienda la nota de transparencia.
Relacionado
Fuentes
- Microsoft 365 Copilot transparency note, Microsoft Learn
- Arquitectura de Microsoft Copilot, Microsoft Learn
- Descripción general de seguridad de Microsoft Copilot, Microsoft Learn
- Privacidad de Microsoft Copilot, Microsoft Learn
- Valida el resultado de Copilot antes de actuar en función de él, Microsoft Support
Preguntas frecuentes
¿Qué tan precisa es Microsoft Copilot?
Microsoft no publica cifras de precisión en las páginas consultadas para este artículo. La nota de transparencia de Microsoft 365 Copilot indica que los servicios de IA son falibles y probabilísticos, y que el resultado puede ser impreciso, incompleto, sesgado, desalineado o irrelevante. Recomienda revisar y verificar cada respuesta.
¿Qué determina la respuesta que da Copilot?
Según Microsoft Learn, los factores principales son el prompt, los datos usados para el anclaje (contenido de Microsoft Graph y, opcionalmente, la web), los permisos existentes del usuario, el nivel de licencia y la configuración del inquilino, y el modo del modelo. El soporte de idiomas también importa, ya que Copilot admite menos idiomas que Microsoft 365.
¿Puede Copilot ver archivos a los que no tengo acceso?
No. La nota de transparencia indica que Copilot solo accede a los datos a los que el usuario individual ya tiene acceso, según los controles de acceso basados en roles existentes de Microsoft 365. El contenido que el usuario no puede abrir no puede usarse para el anclaje.
¿Puede Copilot comprobar sus propias respuestas?
Solo en parte. La guía de validación de Microsoft indica que Copilot puede ayudar a validar su resultado, por ejemplo como revisor o detector de lagunas, pero no puede certificar su propia corrección. Cuando lo que está en juego es importante, verifica con fuentes de confianza.