Наскільки точний Microsoft Copilot? Що формує його відповідь
By Mirko Peters ·
Що формує відповідь Copilot у Microsoft 365: запит, дані для обґрунтування, дозволи, режим моделі та ліцензія. А також обмеження точності, які визнає сама Microsoft, і як перевіряти результат.
Automatically translated with AI from the original post. Read the English original
Відповідь Copilot формують п'ять речей: запит, дані, на яких вона ґрунтується, дозволи того, хто ставить запит, ліцензія й налаштування клієнта, а також режим моделі. Щодо точності Microsoft відверта: Copilot може помилятися, а її сторінки радять перевіряти й підтверджувати результат. Ця стаття розбирає фактори, які впливають на якість, і перелічує перевірки, які рекомендує Microsoft. На сторінках Microsoft Learn використовуються обидві назви: Microsoft Copilot і Microsoft 365 Copilot, наприклад у назвах рівнів Basic і Premium.
Головне
- Відповідь Copilot залежить від запиту, даних, на яких вона ґрунтується, дозволів користувача, рівня ліцензії та режиму моделі.
- Microsoft описує сервіси ШІ як помилкові та імовірнісні. Результат може бути неточним, неповним, упередженим або непідтвердженим даними.
- Copilot використовує лише організаційні дані, до яких авторизований користувач уже має доступ.
- Microsoft не наводить оцінок точності. Її рекомендація: перевіряти та підтверджувати відповіді, а твердження, які не можна простежити до джерела, вважати непідтвердженими.
- Чотири перевірки від Microsoft: Source, Verified, Context і Resilient.
Як створюється відповідь
У примітці про прозорість Microsoft 365 Copilot описано чотири кроки:
- Copilot отримує запит від користувача в такому застосунку, як Word або PowerPoint.
- Copilot обробляє запит, щоб зробити його конкретнішим. До запиту можуть входити текст із вхідних файлів або інший вміст, знайдений через Microsoft Graph. Потім запит надсилається великій мовній моделі (LLM). Copilot звертається лише до даних, до яких користувач уже має доступ.
- Copilot опрацьовує відповідь LLM після її отримання. Сюди входять додаткові запити до Microsoft Graph для обґрунтування, перевірки відповідального ШІ, наприклад класифікатори вмісту, перевірки безпеки, відповідності вимогам і конфіденційності, а також генерація команд.
- Copilot повертає відповідь у застосунок, де користувач її переглядає.
Без вебданих або організаційних даних, як зазначено в примітці, Copilot покладається лише на свої LLM, щоб розуміти запити й генерувати відповіді. Дані для обґрунтування можуть покращити якість, точність і релевантність відповіді.
Що формує відповідь
Запит
Microsoft наголошує, що добре складені запити є ключем до кращих результатів. Її рекомендації для кінцевих користувачів: додавати деталі, структурувати запити, формулювати позитивні інструкції, ітерувати та регенерувати відповіді, а також завжди перевіряти результат. Коли запит неоднозначний, Copilot може доповнити його додатковими інструкціями. Таке доповнення спирається на LLM, а не на знання про користувача чи попередні пошуки.
Дані для обґрунтування
У примітці про прозорість сказано, що Copilot додає вміст, знайдений через Microsoft Graph, і робить додаткові запити до Microsoft Graph. Дозвіл на вебпосилання також може покращити відповіді. Сторінка про архітектуру Microsoft додає, що обґрунтування за допомогою вебпошуку можна керувати політикою «Allow web search in Copilot».
Дозволи
Copilot звертається лише до даних, до яких користувачі мають авторизований доступ згідно з наявними засобами контролю доступу. Двоє людей можуть надіслати той самий запит і отримати різні відповіді, бо мають доступ до різного вмісту. В огляді безпеки також зазначено, що надмірно відкритий або погано керований вміст може впливати на результати Copilot і підвищувати ризики.
Ліцензійний рівень і налаштування клієнта
На сторінці з архітектурою сказано, що можливості відрізняються залежно від обґрунтування даними, глибини інтеграції та ліцензування. Відповіді Copilot Chat (Basic) спираються на публічний веб. Microsoft 365 Copilot (Premium) використовує і веб, і організаційні дані через Microsoft Graph та Work IQ. Користувачі Basic не мають доступу до Microsoft Graph. Їм доводиться додавати організаційний вміст вручну, наприклад завантажуючи файл.
Режим моделі
За замовчуванням Copilot використовує маршрутизатор у реальному часі, який підбирає базову модель під запит. Задокументовані режими такі:
- Auto. Copilot сам вирішує, яку модель використати.
- Quick response. Для типових або рутинних запитань пріоритетом є швидкість.
- Think deeper. Розширене міркування для складних запитань.
Мова
Copilot підтримує менше мов, ніж Microsoft 365. Якщо мова запиту не підтримується, користувач отримує повідомлення про помилку.
Заявлені Microsoft обмеження
Примітка про прозорість прямо говорить про точність:
- Служби ШІ є ненадійними та ймовірнісними.
- Під час узагальнення вмісту з кількох джерел Copilot може включити інформацію, якої немає у вхідних джерелах. У примітці це називається необґрунтованим результатом.
- Результати можуть бути неточними, неповними, упередженими, невідповідними меті або нерелевантними, наприклад через неоднозначні вхідні дані чи обмеження моделі.
- Надмірна довіра виникає, коли користувачі приймають неправильний або неповний результат, бо помилки важко помітити.
Де це можливо, відповіді на основі ділових документів містять посилання на джерела, щоб користувачі могли їх перевірити. У примітці зазначено, що Microsoft проводить оцінювання якості, зокрема оцінку обґрунтованості, але без числових показників. Сторінки, на які спирається ця стаття, не містять жодних даних про точність, тож будь-який відсоток, названий деінде, не підкріплений цими джерелами.
Як перевірити відповідь
Настанова Microsoft «Validate Copilot output before you act on it» визначає перевірку як контроль результату після його створення і до того, як ви на його основі щось робите. Вона наголошує, що відповідь може звучати бездоганно і при цьому бути помилковою, неповною або ризиковою. Чотири перевірки:
- Джерело. Чи відображає відповідь матеріал джерела? Вважайте твердження, яке неможливо простежити до джерела, непідтвердженим, доки його не перевірено.
- Перевірено. Чи підтверджено ключові факти, імена, дати, числа та рекомендації?
- Контекст. Чого бракує, що могло б змінити рішення? Шукайте застереження, залежності та винятки.
- Стійкість. Чи витримала б відповідь різні сценарії та аудиторії?
Перевірка найважливіша для рішень, узагальнень кількох джерел, повідомлень клієнтам або керівництву, пріоритетів і робіт, які важко відкотити. Copilot може виступати рецензентом, критиком, пошуковиком прогалин або тестувальником на стійкість. Його зауваження є сигналом, а не остаточним авторитетом.
Практичні кроки, що випливають з документації
- Додавайте деталі та структуру до запиту, як рекомендує Microsoft.
- Перегенеровуйте або уточнюйте відповідь замість того, щоб приймати перший результат.
- Відкривайте цитовані посилання для кожного важливого числа чи дати.
- Перегляньте управління вмістом. Microsoft зазначає, що надмірно відкритий або погано керований вміст впливає на результати.
- Зберігайте людську перевірку для рішень, як радить примітка про прозорість.
Пов’язане
Джерела
- Примітка про прозорість Microsoft 365 Copilot, Microsoft Learn
- Архітектура Microsoft Copilot, Microsoft Learn
- Огляд безпеки Microsoft Copilot, Microsoft Learn
- Microsoft Copilot privacy, Microsoft Learn
- Перевіряйте результати Copilot, перш ніж діяти на їх підставі, Microsoft Support
FAQ
Наскільки точний Microsoft Copilot?
Microsoft не публікує показників точності на сторінках, які ми вивчали для цієї статті. У примітці про прозорість Microsoft 365 Copilot зазначено, що сервіси ШІ є помилковими та імовірнісними, а результат може бути неточним, неповним, упередженим, невідповідним або нерелевантним. Microsoft рекомендує перевіряти кожну відповідь і підтверджувати її.
Що формує відповідь, яку дає Copilot?
За документацією Microsoft Learn, основними факторами є запит, дані для обґрунтування (вміст Microsoft Graph і, за бажанням, інтернет), наявні дозволи користувача, рівень ліцензії та налаштування клієнта, а також режим моделі. Важлива і підтримка мов, адже Copilot працює з меншою кількістю мов, ніж Microsoft 365.
Чи може Copilot бачити файли, до яких у мене немає доступу?
Ні. У примітці про прозорість сказано, що Copilot звертається лише до даних, до яких окремий користувач уже має доступ згідно з наявними рольовими засобами контролю доступу Microsoft 365. Вміст, який користувач не може відкрити, не можна використовувати для обґрунтування відповіді.
Чи може Copilot перевіряти власні відповіді?
Лише частково. Настанови Microsoft щодо перевірки кажуть, що Copilot може допомогти перевірити результат, наприклад як рецензент або пошукач прогалин, але не може підтвердити власну правильність. Коли ставки високі, перевіряйте дані за надійними джерелами.