Microsoft Copilot의 답변은 얼마나 정확할까? 응답을 결정하는 요소
By Mirko Peters ·
Microsoft 365의 Copilot 답변을 좌우하는 요소(프롬프트, 근거 데이터, 권한, 모드, 라이선스)와 Microsoft가 밝힌 정확도 한계, 그리고 결과물을 확인하는 방법을 정리합니다.
Automatically translated with AI from the original post. Read the English original
Copilot의 답변은 다섯 가지 요소, 즉 프롬프트, 답변의 근거가 되는 데이터, 질문하는 사람의 권한, 라이선스 및 테넌트 설정, 모델 모드에 의해 형성됩니다. 정확도에 대해 Microsoft는 분명하게 밝히고 있습니다. Copilot은 틀릴 수 있으며, 관련 페이지에서는 결과물을 검토하고 검증할 것을 권장합니다. 이 글에서는 품질에 영향을 미치는 요소를 정리하고, Microsoft가 권장하는 확인 방법을 소개합니다. Microsoft Learn 페이지에서는 Basic 및 Premium 등급 이름에서처럼 Microsoft Copilot과 Microsoft 365 Copilot이라는 이름을 모두 사용합니다.
핵심 포인트
- Copilot의 답변은 프롬프트, 답변의 근거가 되는 데이터, 사용자의 권한, 라이선스 등급, 모델 모드에 따라 달라집니다.
- Microsoft는 AI 서비스를 오류 가능성이 있고 확률에 기반한 서비스라고 설명합니다. 출력 결과는 부정확하거나, 불완전하거나, 편향되거나, 근거가 없을 수 있습니다.
- Copilot은 로그인한 사용자가 이미 액세스할 수 있는 조직 데이터만 사용합니다.
- Microsoft는 정확도 점수를 제시하지 않습니다. 대신 결과물을 검토하고 검증하며, 출처를 확인할 수 없는 진술은 확인되지 않은 것으로 취급하라고 안내합니다.
- Microsoft가 제시한 네 가지 확인 항목은 Source(출처), Verified(검증), Context(맥락), Resilient(견고성)입니다.
응답이 생성되는 과정
Microsoft 365 Copilot 투명성 노트는 다음 네 단계를 설명합니다.
- Copilot은 Word나 PowerPoint 같은 앱에서 사용자로부터 프롬프트를 받습니다.
- Copilot은 프롬프트를 처리하여 더 구체적으로 만듭니다. 프롬프트에는 입력 파일의 텍스트나 Microsoft Graph를 통해 찾은 다른 콘텐츠가 포함될 수 있습니다. 이후 프롬프트는 대규모 언어 모델(LLM)로 전송됩니다. Copilot은 사용자가 이미 액세스할 수 있는 데이터에만 접근합니다.
- Copilot은 LLM의 응답을 후처리합니다. 여기에는 Microsoft Graph에 대한 추가 근거 호출, 콘텐츠 분류기와 같은 책임 있는 AI 검사, 보안, 규정 준수 및 개인 정보 보호 검사, 명령 생성이 포함됩니다.
- Copilot은 응답을 앱에 반환하며, 사용자는 앱에서 응답을 검토합니다.
투명성 노트에 따르면 웹이나 조직 데이터가 없는 경우 Copilot은 프롬프트를 이해하고 응답을 생성하기 위해 LLM에만 의존합니다. 근거 데이터는 응답의 품질, 정확성, 관련성을 높일 수 있습니다.
답변을 좌우하는 요소
프롬프트
Microsoft는 좋은 프롬프트를 작성하는 것이 더 나은 결과의 핵심이라고 말합니다. 최종 사용자를 위한 권장 사항은 다음과 같습니다. 세부 정보를 포함하고, 프롬프트를 구조화하며, 긍정적인 지침을 제공하고, 반복해서 다시 생성하며, 항상 검토하고 검증하십시오. 프롬프트가 모호한 경우 Copilot은 추가 지침으로 프롬프트를 보강할 수 있습니다. 이 보강은 사용자에 대한 정보나 이전 검색 기록이 아니라 LLM에 의존합니다.
근거 데이터
투명성 노트에 따르면 Copilot은 Microsoft Graph를 통해 찾은 콘텐츠를 추가하고, Microsoft Graph에 대한 추가 근거 호출을 수행합니다. 웹 참조를 허용하면 응답이 개선될 수도 있습니다. Microsoft의 아키텍처 페이지에서는 웹 검색 근거를 "Copilot 정책에서 웹 검색 허용" 정책으로 관리할 수 있다고 추가로 설명합니다.
권한
Copilot은 기존 액세스 제어에 따라 사용자에게 권한이 부여된 데이터에만 접근합니다. 두 사람이 같은 프롬프트를 입력하더라도 열 수 있는 콘텐츠가 다르기 때문에 서로 다른 답변을 받을 수 있습니다. 보안 개요에서는 과도하게 공유되었거나 관리가 제대로 되지 않은 콘텐츠가 Copilot 결과에 영향을 주고 위험을 높일 수 있다고도 설명합니다.
라이선스 등급 및 테넌트 설정
아키텍처 페이지에서는 데이터 그라운딩, 통합 깊이, 라이선스에 따라 경험이 달라진다고 설명합니다. Copilot Chat(Basic) 응답은 공개 웹을 기반으로 합니다. Microsoft 365 Copilot(Premium)은 Microsoft Graph와 Work IQ를 통해 웹과 조직 데이터를 모두 사용합니다. Basic 사용자는 Microsoft Graph에 접근할 수 없습니다. 조직 콘텐츠는 예를 들어 파일을 업로드하는 방식으로 직접 제공해야 합니다.
모델 모드
기본적으로 Copilot은 실시간 라우터를 사용해 프롬프트에 맞게 기반 모델을 조정합니다. 문서에 명시된 모드는 다음과 같습니다.
- Auto. Copilot이 사용할 모델을 결정합니다.
- Quick response. 일반적이거나 반복적인 질문에 대해 속도를 우선합니다.
- Think deeper. 복잡한 질문에 대해 고급 추론을 수행합니다.
언어
Copilot이 지원하는 언어는 Microsoft 365보다 적습니다. 프롬프트의 언어가 지원되지 않으면 사용자에게 오류 메시지가 표시됩니다.
Microsoft가 밝힌 한계
투명성 노트는 정확성에 대해 분명하게 밝히고 있습니다.
- AI 서비스는 오류가 발생할 수 있으며 확률에 기반합니다.
- 여러 출처의 콘텐츠를 요약할 때 Copilot은 입력 출처에 없는 정보를 포함할 수 있습니다. 노트는 이를 그라운딩되지 않은 출력(ungrounded output)이라고 부릅니다.
- 출력은 부정확하거나 불완전하거나 편향되거나, 의도한 목적과 맞지 않거나 관련성이 없을 수 있습니다. 예를 들어 입력이 모호하거나 모델에 한계가 있는 경우입니다.
- 과도한 의존은 실수를 발견하기 어려워서 사용자가 부정확하거나 불완전한 출력을 그대로 받아들일 때 발생합니다.
가능한 경우 비즈니스 문서를 기반으로 한 응답에는 사용자가 검증할 수 있도록 출처 참조가 포함됩니다. 노트에 따르면 Microsoft는 그라운딩 평가를 포함한 품질 평가를 수행하지만 점수는 공개하지 않습니다. 이 글을 작성하면서 검토한 페이지에는 정확도 벤치마크가 없으므로, 다른 곳에서 인용된 비율은 이 출처로 뒷받침되지 않습니다.
답변을 확인하는 방법
Microsoft의 가이드 "Validate Copilot output before you act on it"은 검증을 출력이 생성된 후, 조치를 취하기 전에 출력을 확인하는 것으로 정의합니다. 응답이 세련되게 들리더라도 틀리거나 불완전하거나 위험할 수 있음을 강조합니다. 확인해야 할 네 가지는 다음과 같습니다.
- 출처. 응답이 원본 자료를 반영하고 있습니까? 출처로 추적할 수 없는 진술은 검증되기 전까지 확인되지 않은 것으로 간주하십시오.
- 사실 확인. 핵심 사실, 이름, 날짜, 수치, 권장 사항이 확인되었습니까?
- 맥락. 결정을 바꿀 수 있는 누락된 정보는 무엇입니까? 단서 조건, 종속성, 예외 사항을 살펴보십시오.
- 견고성. 다양한 시나리오와 대상에서도 이 답변이 타당하게 유지됩니까?
검증은 의사 결정, 여러 출처의 요약, 고객이나 경영진에게 보내는 메시지, 우선순위, 되돌리기 어려운 작업에서 가장 중요합니다. Copilot은 검토자, 이의 제기자, 누락 항목 발견자, 스트레스 테스터의 역할을 할 수 있습니다. 그러나 Copilot의 피드백은 참고 신호일 뿐 최종 판단 기준은 아닙니다.
문서에 근거한 실천 단계
- Microsoft가 권장하는 대로 프롬프트에 세부 정보와 구조를 포함하십시오.
- 첫 번째 출력을 그대로 수용하지 말고 다시 생성하거나 다듬으십시오.
- 중요한 수치나 날짜는 인용된 참조 자료를 열어 확인하십시오.
- 콘텐츠 거버넌스를 점검하십시오. Microsoft는 과도하게 공유되거나 관리가 부실한 콘텐츠가 결과에 영향을 준다고 설명합니다.
- 투명성 노트의 권고에 따라 의사 결정에는 사람의 검토를 계속 유지하십시오.
관련 자료
데이터 원본
- Microsoft 365 Copilot 투명성 노트, Microsoft Learn
- Microsoft Copilot 아키텍처, Microsoft Learn
- Microsoft Copilot 보안 개요, Microsoft Learn
- Microsoft Copilot 개인 정보 보호, Microsoft Learn
- Microsoft 지원: Copilot 출력 결과를 검증한 후 조치하기
FAQ
Microsoft Copilot은 얼마나 정확한가요?
이 글에서 참고한 Microsoft 페이지에는 정확도 수치가 공개되어 있지 않습니다. Microsoft 365 Copilot 투명성 노트에서는 AI 서비스가 오류 가능성이 있고 확률에 기반한다고 밝히며, 출력 결과가 부정확하거나 불완전하거나 편향되거나 맥락에 맞지 않거나 관련성이 없을 수 있다고 설명합니다. 또한 모든 응답을 검토하고 검증할 것을 권장합니다.
Copilot의 응답을 결정하는 요소는 무엇인가요?
Microsoft Learn에 따르면 주요 요소는 프롬프트, 근거 데이터(Microsoft Graph 콘텐츠와 선택적으로 웹), 사용자의 기존 권한, 라이선스 등급과 테넌트 구성, 그리고 모델 모드입니다. Copilot이 지원하는 언어는 Microsoft 365보다 적으므로 언어 지원 여부도 중요합니다.
Copilot이 제가 액세스 권한이 없는 파일을 볼 수 있나요?
아닙니다. 투명성 노트에 따르면 Copilot은 개별 사용자가 기존 Microsoft 365 역할 기반 액세스 제어에 따라 이미 액세스할 수 있는 데이터에만 접근합니다. 사용자가 열 수 없는 콘텐츠는 근거 데이터로 사용될 수 없습니다.
Copilot이 자신의 답변을 스스로 검증할 수 있나요?
일부만 가능합니다. Microsoft의 검증 지침에 따르면 Copilot은 검토자나 누락 항목을 찾는 역할처럼 결과물 검증을 돕는 데 활용할 수 있지만, 자신의 정확성을 보증할 수는 없습니다. 중요도가 높은 경우에는 신뢰할 수 있는 출처와 대조하여 확인하십시오.