M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions m365con.net

Блог · Mirko Peters

Насколько точен Microsoft Copilot? Что формирует ответ, который вы получаете

By ·

Из чего складывается ответ Copilot в Microsoft 365: запрос, данные для обоснования, разрешения, режим модели и лицензия. А также ограничения точности, которые указывает сама Microsoft, и способы проверки результата.

Automatically translated with AI from the original post. Read the English original

Ответ Copilot формируют пять факторов: запрос, данные, на которые он опирается, разрешения человека, который задаёт вопрос, настройка лицензии и клиента, а также режим модели. По вопросу точности Microsoft прямолинейна: Copilot может ошибаться, и её документация советует проверять результат. В этой статье разобраны факторы, которые влияют на качество, и проверки, которые рекомендует Microsoft. На страницах Microsoft Learn используются оба названия: Microsoft Copilot и Microsoft 365 Copilot, например в названиях уровней Basic и Premium.

Ключевые выводы

  • Ответ Copilot зависит от запроса, данных, на которые он опирается, разрешений пользователя, уровня лицензии и режима модели.
  • Microsoft описывает сервисы ИИ как допускающие ошибки и работающие на основе вероятностей. Результат может быть неточным, неполным, предвзятым или не опирающимся на источники.
  • Copilot использует только организационные данные, к которым вошедший в систему пользователь уже имеет доступ.
  • Microsoft не публикует оценок точности. Её рекомендация: проверять и верифицировать результат, а утверждения, которые нельзя проследить до источника, считать неподтверждёнными.
  • Четыре проверки от Microsoft: Source, Verified, Context и Resilient.

Как формируется ответ

В документе о прозрачности Microsoft 365 Copilot описаны четыре этапа:

  1. Copilot получает запрос от пользователя в приложении, например в Word или PowerPoint.
  2. Copilot обрабатывает запрос, чтобы сделать его более конкретным. В запрос могут входить текст из входных файлов или другое содержимое, найденное через Microsoft Graph. Затем он отправляется в большую языковую модель (LLM). Copilot обращается только к данным, к которым пользователь уже имеет доступ.
  3. Copilot обрабатывает ответ большой языковой модели. Это включает дополнительные обращения к Microsoft Graph для обоснования, проверки ответственного ИИ, например классификаторы содержимого, проверки безопасности, соответствия требованиям и конфиденциальности, а также генерацию команд.
  4. Copilot возвращает ответ в приложение, где пользователь его просматривает.

Без веб-данных и данных организации, как сказано в документе, Copilot опирается только на свои LLM, чтобы понять запрос и сформировать ответ. Данные для обоснования могут повысить качество, точность и релевантность ответа.

Что формирует ответ

Запрос

Microsoft утверждает, что для лучших результатов ключевое значение имеет хорошо составленный запрос. Её рекомендации для конечных пользователей: указывать детали, структурировать запрос, формулировать указания в утвердительной форме, итерировать и повторно генерировать результат, а также всегда просматривать и проверять его. Если запрос неоднозначен, Copilot может дополнить его дополнительными инструкциями. Это дополнение опирается на LLM, а не на знание о пользователе или предыдущие поиски.

Данные для обоснования

В документе о прозрачности сказано, что Copilot добавляет содержимое, найденное через Microsoft Graph, и делает дополнительные обращения к Microsoft Graph. Разрешение использовать веб-ссылки также может улучшить ответы. На странице с архитектурой Microsoft добавляет, что обоснование веб-поиском можно настраивать с помощью политики Allow web search in Copilot.

Разрешения

Copilot обращается только к данным, к которым пользователи имеют право доступа согласно существующим средствам контроля доступа. Два человека могут отправить один и тот же запрос и получить разные ответы, потому что им доступно различное содержимое. В обзоре безопасности также отмечено, что избыточно открытое или плохо управляемое содержимое может влиять на результаты Copilot и повышать риски.

Уровень лицензии и настройка клиента

На странице с архитектурой сказано, что возможности различаются в зависимости от привязки к данным, глубины интеграции и лицензирования. Ответы Copilot Chat (Basic) основаны на общедоступном вебе. Microsoft 365 Copilot (Premium) использует и веб, и данные организации через Microsoft Graph и Work IQ. Пользователи Basic не имеют доступа к Microsoft Graph. Им нужно вручную передавать корпоративное содержимое, например загружая файл.

Режим модели

По умолчанию Copilot использует маршрутизатор в реальном времени, который подбирает базовую модель под запрос. Документированные режимы:

  • Auto. Copilot сам решает, какую модель использовать.
  • Quick response. Для типичных и рутинных вопросов приоритет отдаётся скорости.
  • Think deeper. Расширенные рассуждения для сложных вопросов.

Язык

Copilot поддерживает меньше языков, чем Microsoft 365. Если язык запроса не поддерживается, пользователь получает сообщение об ошибке.

Ограничения, которые заявляет Microsoft

Примечание о прозрачности говорит о точности прямо:

  • Службы ИИ подвержены ошибкам и носят вероятностный характер.
  • При обобщении содержимого из нескольких источников Copilot может включить информацию, которой нет в исходных данных. В примечании это называется необоснованным выводом (ungrounded output).
  • Результаты могут быть неточными, неполными, предвзятыми, не соответствовать замыслу или не относиться к цели, например из-за неоднозначного ввода или ограничений модели.
  • Чрезмерная опора на ИИ возникает, когда пользователи принимают неверный или неполный результат, потому что ошибки трудно заметить.

По возможности ответы, основанные на деловых документах, содержат ссылки на источники, чтобы пользователи могли их проверить. В примечании сказано, что Microsoft проводит оценку качества, включая оценку обоснованности (groundedness), но баллов не приводит. В прочитанных для этой статьи страницах нет эталонных показателей точности, поэтому любые проценты, которые встречаются в других источниках, не подкреплены этими материалами.

Как проверить ответ

В рекомендациях Microsoft «Validate Copilot output before you act on it» проверка определяется как анализ результата после его создания и до действий на его основе. Подчёркивается, что ответ может звучать убедительно и при этом быть неверным, неполным или рискованным. Четыре проверки:

  1. Source. Отражает ли ответ исходный материал? Утверждение, которое нельзя связать с источником, считайте неподтверждённым, пока оно не проверено.
  2. Verified. Подтверждены ли ключевые факты, имена, даты, числа и рекомендации?
  3. Context. Чего не хватает, что может изменить решение? Ищите оговорки, зависимости и исключения.
  4. Resilient. Выдержит ли ответ разные сценарии и разную аудиторию?

Проверка важнее всего для решений, обобщений нескольких источников, сообщений клиентам или руководству, приоритетов и работ, которые трудно откатить. Copilot может выступать в роли рецензента, оппонента, поисковика пробелов или тестировщика на прочность. Его замечания — это сигнал, а не окончательный авторитет.

Практические шаги, которые следуют из документации

  • Добавляйте в запрос детали и структуру, как рекомендует Microsoft.
  • Перегенерируйте или уточняйте ответ, вместо того чтобы принимать первый результат.
  • Открывайте приведённые ссылки для любого важного числа или даты.
  • Проверьте управление содержимым. Microsoft отмечает, что чрезмерно открытое или плохо управляемое содержимое влияет на результаты.
  • Сохраняйте проверку человеком для решений, как советует примечание о прозрачности.

Связанное

Источники

FAQ

Насколько точен Microsoft Copilot?

Microsoft не публикует показатели точности на страницах, которые использовались для этой статьи. В документе о прозрачности Microsoft 365 Copilot сказано, что сервисы ИИ допускают ошибки и работают на основе вероятностей, а результат может быть неточным, неполным, предвзятым, не соответствующим задаче или нерелевантным. Microsoft рекомендует проверять каждый ответ.

От чего зависит ответ Copilot?

По данным Microsoft Learn, основные факторы: запрос, данные, на которые опирается ответ (содержимое Microsoft Graph и, при необходимости, веб), существующие разрешения пользователя, уровень лицензии и настройки клиента, а также режим модели. Важна и языковая поддержка: Copilot работает на меньшем количестве языков, чем Microsoft 365.

Может ли Copilot видеть файлы, к которым у меня нет доступа?

Нет. В документе о прозрачности сказано, что Copilot обращается только к данным, к которым конкретный пользователь уже имеет доступ согласно существующим ролевым моделям управления доступом Microsoft 365. Содержимое, которое пользователь не может открыть, не может использоваться для обоснования ответа.

Может ли Copilot проверить собственные ответы?

Только частично. Рекомендации Microsoft по валидации говорят, что Copilot может помочь проверить результат, например выступить в роли рецензента или искать пробелы в тексте, но не может подтвердить собственную правильность. Если цена ошибки высока, сверяйте результат с надёжными источниками.

Entities in this article

Темы этой статьи:

Microsoft 365 Copilot – ИИ-помощник от Microsoft Grounding (Copilot) – Понятие Copilot governance – Понятие

Related articles

Другие статьи на тему Microsoft 365 Copilot:

RSS