책임질 수 있는 자율성: Azure AI Foundry 에이전트 런타임으로 거버넌스가 적용된 에이전트 시스템 구축하기

By Mirko Peters · 2025-11-21 · Updated 2025-11-26

Azure AI Foundry로 구축한 책임질 수 있는 자율 에이전트 시스템은 거버넌스, 추적성, 규정 준수를 보장하여 엔터프라이즈에 바로 적용할 수 있는 책임 있는 AI 솔루션을 제공합니다.

Automatically translated with AI from the original post. Read the English original

Azure AI Foundry는 강력한 모델 이상의 가치를 제공합니다. 모든 AI 프로세스를 체계적으로 관리하는 거버넌스 에이전트 런타임을 활용할 수 있습니다. 이를 통해 모든 AI 프로세스에서 어떤 일이 일어나는지 파악할 수 있습니다. 기업에는 단순한 챗봇 이상이 필요합니다. 작업을 모니터링하고 선택의 근거를 설명할 수 있는 시스템이 필요합니다. 또한 이러한 시스템은 정해진 규칙을 따라야 합니다. 검증 가능한 에이전트 시스템을 도입한 기업은 단순한 챗봇을 사용하는 기업보다 훨씬 좋은 성과를 냅니다. 더 많은 사용자가 시스템을 활용하고 더 높은 성공률을 거두는 것입니다. 여러 조직은 최대 60% 향상된 결과를 얻었다고 보고합니다. 또한 시스템 도입 후 불과 몇 달 만에 업무 속도가 빨라졌다고 합니다. 거버넌스가 적용된 에이전트는 매일 실제 문제를 해결하고 있습니다. 고객 문의 처리, 송장 업무, 다수 시스템 모니터링 등에 활용되고 있습니다. '책임질 수 있는 자율성'이라는 개념은 모든 단계를 이끄는 원칙입니다. 이 원칙은 AI가 똑똑하면서도 책임감 있게 행동하도록 보장합니다.

핵심 요약

• Azure AI Foundry를 사용하면 스스로 작동하는 에이전트를 구축할 수 있습니다. 이러한 에이전트는 스스로 선택하고 작업을 수행할 수 있습니다. 이를 통해 기업은 업무를 더 빠르고 더 훌륭하게 완료할 수 있습니다.

• 책임 추적성은 매우 중요합니다. 각 에이전트에는 고유한 ID가 부여됩니다. 이를 통해 에이전트가 수행하는 작업을 살펴보고 규칙을 준수하는지 확인할 수 있습니다.

• 에이전트 시스템에서는 모델, 지침, 도구가 함께 작동합니다. 이 덕분에 에이전트는 강력해지고 다양한 업무에 맞게 변화할 수 있습니다. 에이전트는 작업을 수행하는 동안에도 안전성을 유지합니다.

• 수명 주기 로깅은 에이전트의 활동을 명확하게 기록합니다. 이를 통해 기업은 문제를 쉽게 해결하고 규정을 손쉽게 준수할 수 있습니다.

• Microsoft Entra는 에이전트의 신원을 관리하는 데 도움을 줍니다. 에이전트에 엄격한 권한이 부여되도록 보장합니다. 이를 통해 안전성과 통제력을 유지할 수 있습니다.

책임질 수 있는 자율 에이전트

에이전트를 자율적으로 만드는 요소

AI가 단순히 정해진 단계를 따르는 것 이상의 역할을 하기를 원하실 것입니다. Azure AI Foundry에서는 에이전트가 스스로 선택할 수 있습니다. 도구를 고르고 다음에 할 일을 계획합니다. 목표를 제시하면 에이전트가 이를 완료하는 방법을 스스로 찾아냅니다. 에이전트는 모든 동작을 일일이 지시받을 필요가 없습니다. 상황을 살피고, 판단하고, 독자적으로 행동할 수 있습니다.

에이전트가 작동하는 데 도움을 주는 세 가지 주요 구성 요소는 다음과 같습니다.

모델을 변경하거나, 지침을 업데이트하거나, 도구를 추가할 수 있습니다. 이를 통해 에이전트를 새로운 업무에 맞게 준비시킬 수 있습니다. 예를 들어 Azure AI Foundry의 Agent Service를 Azure OpenAI Service와 함께 사용하거나 Azure AI Search에 연결할 수 있습니다. Microsoft Copilot Studio, Azure API Management, Azure Functions, Azure Container Apps를 사용할 수도 있습니다. 이러한 선택을 통해 에이전트는 다양한 방식으로 학습하고, 계획하고, 작업을 수행할 수 있습니다.

Azure AI Foundry의 에이전트는 단순히 반응하는 것에 그치지 않습니다. 먼저 행동에 나섭니다. 변화를 감지하고, 도구를 선택하고, 사용자의 기다림 없이 문제를 해결할 수 있습니다. 그래서 단순한 스크립트와는 다릅니다.

AI 시스템의 책임성 확보

자율성은 강력하지만, AI를 신뢰할 수 있어야 합니다. 에이전트가 무엇을 했는지, 언제 했는지, 왜 했는지 알고 싶으실 것입니다. Azure AI Foundry는 모든 에이전트가 추적되도록 보장합니다. 에이전트를 만들면 각 에이전트에 Microsoft Entra Agent ID가 부여됩니다. 이 ID는 에이전트의 소유자, 사용 가능한 사용자, 에이전트의 역할을 보여 줍니다.

에이전트의 모든 동작을 확인할 수 있습니다. 시스템이 각 단계를 기록하므로 무슨 일이 있었는지 점검할 수 있습니다. 문제가 생기면 과거 기록을 살펴보고 세부 사항을 확인할 수 있습니다. Microsoft의 보안 도구를 활용하면 안전성을 유지하는 데 도움이 됩니다. 필요에 따라 알림을 설정하고, 로그를 확인하고, 에이전트의 작동 방식을 변경할 수 있습니다.

Azure AI Foundry가 에이전트에 책임성을 부여하는 방법은 다음과 같습니다:

• 모든 에이전트에는 추적을 위한 고유한 Entra Agent ID가 있습니다.

• 보안 팀은 다른 중요한 자산과 마찬가지로 에이전트를 모니터링할 수 있습니다.

• 알림에 대응하고 에이전트의 작업, 프롬프트 또는 도구를 변경할 수 있습니다.

• 시스템은 점검과 검토를 위해 모든 동작을 기록합니다.

비즈니스 AI에는 자율성과 책임성이 모두 필요합니다. 자율성은 에이전트가 문제를 해결하고 빠르게 행동하도록 돕습니다. 책임성은 통제력과 신뢰를 제공합니다.

에이전트와 스크립트가 어떻게 다른지 살펴보겠습니다.

스크립트는 정해진 경로를 따릅니다. 지시한 대로 단계별로 실행합니다. Azure AI Foundry의 에이전트는 스스로 작업합니다. 계획하고, 행동하고, 모든 동작을 추적합니다. 이를 통해 AI 시스템은 자율적이면서도 책임 있게 동작합니다. 똑똑한 행동과 명확한 통제를 함께 얻을 수 있습니다.

에이전트 구조: 모델, 지침, 도구

Azure AI Foundry 에이전트는 안정적이고 안전한 AI 시스템을 구축할 수 있도록 명확한 구조를 사용합니다. 모델, 지침, 도구라는 세 가지 주요 요소로 작업합니다. 각 요소는 고유한 역할을 맡습니다. 이들을 결합하면 계획하고, 행동하고, 학습할 수 있으면서도 강력하고 검증하기 쉬운 에이전트를 만들 수 있습니다.

모델의 역할

모델은 에이전트의 두뇌입니다. 에이전트가 언어를 이해하고, 의사 결정을 내리고, 문제를 해결하도록 돕습니다. GPT-4o나 오픈 소스 옵션 등 다양한 모델 중에서 선택할 수 있습니다. 이 선택을 통해 필요에 맞는 모델을 고를 수 있습니다. 나중에 모델을 바꾸고 싶다면 에이전트의 나머지 부분을 변경하지 않고도 교체할 수 있습니다. 이러한 유연성은 결과를 매번 일관되게 유지하는 데 도움이 됩니다. 모델과 환경을 통제하면 에이전트를 더 안정적이고 신뢰하기 쉽게 만들 수 있습니다.

에이전트는 모델을 사용해 어려운 작업을 나누고, 정보를 수집하며, 배운 내용을 기억합니다. 예를 들어 과학 분야의 일부 에이전트는 모델을 활용해 단계를 계획하고, 데이터를 살펴보고, 발견한 내용에 따라 행동합니다. 이 방식은 복잡한 작업을 처리해야 하는 의료 같은 분야에서 유용합니다.

가드레일로서의 지침

지침은 에이전트가 무엇을 해야 하고 어떻게 행동해야 하는지 알려줍니다. 규칙이나 가드레일과 같은 역할을 합니다. 에이전트가 올바른 방향을 유지하고 실수하지 않도록 이 지침을 설정합니다. 예를 들어 필터를 사용해 안전하지 않은 질문을 차단하거나, 에이전트가 개인 정보를 공유하지 못하도록 막을 수 있습니다. 답변이 외부로 나가기 전에 검사하는 규칙도 설정할 수 있습니다.

권한이 부여된 도구와 기능

도구는 에이전트가 행동할 수 있는 힘을 줍니다. 에이전트가 사용할 도구는 직접 결정합니다. 이러한 도구에는 데이터 검색, 코드 실행, 비즈니스 앱 연결 등이 포함될 수 있습니다. 각 도구에 대한 접근을 통제하므로 에이전트는 허용된 것만 사용합니다. 이 구조는 시스템을 안전하고 관리하기 쉽게 유지합니다.

실제 과학 현장의 에이전트는 도구를 사용해 데이터를 분석하고, 결과를 예측하며, 다른 시스템과 연결합니다. 예를 들면 다음과 같습니다.

• CellAgent는 모델을 사용해 복잡한 생물학 작업을 나눕니다.

• DrugAgent는 특수 도구를 사용해 약물의 작용 방식을 예측합니다.

• BioMANIA는 Python 도구에 연결해 심층 데이터 분석을 수행합니다.

모델, 지침, 도구를 함께 사용하면 자율적이면서도 책임 있는 에이전트를 구축할 수 있습니다. 규칙을 따르고 모든 동작에 대한 명확한 기록을 남기는 똑똑한 시스템을 얻을 수 있습니다.

수명 주기 로깅: 스레드, 실행, 실행 단계

감사 가능성을 위한 영구 스레드

에이전트가 무엇을 하는지 아는 것은 중요합니다. Azure AI Foundry는 이를 위해 영구 스레드(persistent threads)를 사용합니다. 각 스레드는 대화와 작업을 하나로 묶어 줍니다. 이전에 무슨 일이 있었는지 되짚어 볼 수 있습니다. 이는 헬스케어나 금융처럼 규정이 엄격한 업계에 특히 유용합니다. 모든 단계를 보여줄 수 있으면 사람들은 시스템을 더 신뢰하게 됩니다.

• 거버넌스 프레임워크는 AI 에이전트에 대한 신뢰를 높여 줍니다.

• 특히 규제가 적용되는 업계에서는 상호작용을 기록하고 감사 추적(audit trail)을 유지해야 합니다.

• 좋은 거버넌스는 AI를 확장하고 컴플라이언스 요구 사항을 충족하는 데 도움이 됩니다.

실행(Run)과 실행 상태

실행(Run)은 각 스레드에서 에이전트가 어떻게 작동하는지 보여줍니다. 작업을 시작하면 시스템이 실행을 생성합니다. 실행이 대기 중인지, 작업 중인지, 완료되었는지 확인할 수 있습니다. 이를 통해 에이전트가 지금 무엇을 하고 있는지 파악할 수 있습니다. Azure AI Foundry는 대화 객체와 상태를 대신 처리합니다.

대화를 다시 사용하고 세션 간에 컨텍스트를 유지할 수 있습니다. 즉, 채널이나 디바이스를 바꾸더라도 중요한 세부 정보를 잃지 않습니다.

추적성을 위한 실행 단계

실행 단계를 통해 에이전트가 수행하는 모든 작업을 확인할 수 있습니다. 각 도구 호출과 모델 선택을 점검할 수 있습니다. 이를 통해 문제를 쉽게 찾아 해결할 수 있습니다. 또한 문제가 발생했을 때 신속하게 대응하는 데도 도움이 됩니다. 시스템은 다양한 장애 유형에 대해 알림, 대시보드, 가이드를 제공합니다.

자율적이면서도 책임성 있는 시스템을 갖추게 됩니다. 에이전트가 수행하는 모든 작업을 점검하고, 감사하고, 반복할 수 있습니다. 이를 통해 비즈니스를 위한 안전하고 견고한 AI를 구축하는 데 도움이 됩니다.

거버넌스, 보안 및 관찰 가능성

Entra를 통한 ID 및 권한

AI 에이전트를 안전하게 유지하려면 강력한 규칙이 필요합니다. Azure AI Foundry는 Microsoft Entra를 사용하여 누가 무엇을 할 수 있는지 관리합니다. 각 에이전트는 고유한 엔터프라이즈 ID를 부여받습니다. 각 에이전트가 수행할 수 있는 작업과 사용할 수 있는 API를 직접 선택합니다. 에이전트가 필요한 권한만 갖도록 역할 기반 액세스 제어(RBAC)를 설정합니다. 대부분은 Reader 역할로 시작합니다. 꼭 필요한 경우에만 Contributor 역할을 부여합니다. 이렇게 하면 시스템을 안전하게 유지하고 최소 권한 원칙을 준수할 수 있습니다.

자동화된 ID 관리를 사용하면 위험을 낮춘 상태로 에이전트를 추가, 수정 또는 제거할 수 있습니다. 또한 위험 기반 액세스 규칙을 사용하여 에이전트가 필요한 데이터와 도구에만 접근하도록 할 수 있습니다.

관찰 가능한 도구 호출

에이전트가 무엇을 하는지 언제나 파악하고 싶을 것입니다. Azure AI Foundry는 모든 도구 호출과 작업의 로그를 보관합니다. 에이전트의 동작을 관찰하고 문제를 빠르게 찾을 수 있습니다. 시스템은 요청이 발생하는 빈도와 패턴을 추적합니다. 이상한 일이 발생하면 알림을 받게 됩니다. 각 작업 전후에 에이전트가 보안 규칙을 따르도록 가드레일을 설정할 수 있습니다.

규정 준수를 위한 Evidence Trails

의료, 금융 등 여러 분야에서는 엄격한 규칙을 따라야 합니다. Azure AI Foundry는 감사에 필요한 증빙을 수집하는 데 도움이 됩니다. 데이터를 확인하고 품질을 점검하며, 누가 접근할 수 있는지도 제어할 수 있습니다. 시스템이 메타데이터를 관리하므로 책임을 이행했음을 입증할 수 있습니다. 증빙 수집을 자동화하면 감사를 한층 수월하게 준비할 수 있습니다.

• GDPR은 개인 데이터를 보호할 것을 요구합니다.

• HIPAA는 건강 정보를 다룹니다.

• SOX는 재무 데이터에 대한 감사 로그를 요구합니다.

• EU AI Act는 안전성, 투명성, 추적 가능성을 요구합니다.

Zero Trust 보안 모델과 클라우드 기능을 활용하면 규정을 준수하는 데 도움이 됩니다. 주요 지표를 추적하고 RegTech 도구를 활용하여 새로운 법규 변화에 대응할 수 있습니다.

자율적으로 작동하면서도 항상 명확한 기록을 남기는 에이전트 시스템을 구축하세요. 이렇게 하면 AI를 신뢰할 수 있고, 엄격한 규제가 적용되는 환경에서도 활용할 수 있습니다.

개발자 경험 및 빠른 시작

첫 번째 거버넌스 적용 에이전트 만들기

먼저 에이전트가 수행할 작업을 정합니다. 다음으로 모델을 선택하고 간단한 지침을 작성합니다. 그런 다음 에이전트가 사용할 도구를 고릅니다. Azure AI Foundry를 사용하면 각 구성 요소를 손쉽게 설정할 수 있습니다. Agent Service를 사용하면 에이전트를 비즈니스 환경에 연결할 수 있습니다. 이 서비스는 강력한 안전장치와 규칙을 갖춘 에이전트를 추가하는 데 도움이 됩니다. 모든 것을 바꾸지 않고도 업무에 에이전트를 도입할 수 있습니다. 많은 개발자가 여러 에이전트를 관리하는 것이 어렵다고 생각합니다. Agent Service는 에이전트를 제어하고 배포하는 데 도움이 되는 견고한 기반을 제공합니다.

팁: 한 가지 문제를 해결하는 작은 에이전트부터 시작하세요. 익숙해지면 기능을 추가하세요.

로그 점검 및 수명 주기 관리

에이전트가 모든 단계에서 무엇을 하는지 파악해야 합니다. Azure AI Foundry는 각 작업의 기록을 저장합니다. 스레드, 실행, 실행 단계를 확인하면 전체 흐름을 볼 수 있습니다. 각 에이전트에는 전용 SBOM 아티팩트가 제공됩니다. 이 아티팩트를 통해 모든 변경 사항을 추적하고 에이전트의 신원을 확인할 수 있습니다. 에이전트가 어떤 도구를 사용했는지, 언제 판단을 내렸는지도 확인할 수 있습니다. 대시보드를 활용하면 문제를 빠르게 발견하고 해결할 수 있습니다. 이를 통해 시스템을 안전하고 원활하게 유지할 수 있습니다.

Logic Apps 및 MCP 도구 통합

Logic Apps 및 MCP 도구와 연결하면 에이전트의 능력을 높일 수 있습니다. Logic Apps를 통해 에이전트는 여러 비즈니스 시스템에 연결될 수 있습니다. CRM, ERP 또는 IT 도구에 에이전트를 연결할 수 있습니다. MCP 도구는 데이터 검색이나 코드 실행과 같은 새로운 기능을 에이전트에 제공합니다. 에이전트가 사용할 수 있는 도구는 직접 결정합니다. 원하는 곳에서만 작동하도록 규칙을 설정할 수 있습니다. 이 구성은 안전성과 통제력을 유지하면서 에이전트의 기능을 확장하는 데 도움이 됩니다.

참고: 간단한 도구부터 시작해 필요할 때 추가하세요. 에이전트가 규칙을 따르는지 확인하려면 항상 로그를 점검하세요.

Azure AI Foundry 에이전트는 자율적으로 작동하면서도 규칙을 준수하게 해 줍니다. 명확한 로그로 모든 작업을 확인하고 점검할 수 있습니다. 적절한 규칙과 추적 체계는 위험을 낮추고 승인을 더 빨리 받는 데 도움이 됩니다. 또한 사람들이 시스템을 신뢰하도록 돕습니다.

• 자동화된 규칙과 모니터링이 AI를 안전하게 유지합니다.

• 추적과 버전 저장은 점검을 쉽게 만듭니다.

• 업무가 더 빨리 처리되고 문제는 줄어듭니다. 고객 만족도도 높아집니다.

지금 바로 에이전트 자동화를 시작할 수 있습니다. 모든 단계를 보여 주는 로그와 권한이 설정된 도구는 비즈니스 요구를 충족하고 앞으로의 변화에 대비하는 데 도움이 됩니다.

자주 묻는 질문

에이전트와 챗봇의 가장 큰 차이점은 무엇입니까?

에이전트를 사용하면 더 많은 제어가 가능합니다. 에이전트는 계획을 세우고, 작업을 수행하며, 도구를 사용할 수 있습니다. 챗봇은 질문에 답변만 합니다. 에이전트는 모든 작업의 기록을 남깁니다. 언제든지 에이전트가 무엇을 했는지 확인할 수 있습니다.

Azure AI Foundry는 에이전트의 작업을 어떻게 추적하는 데 도움이 됩니까?

에이전트가 수행하는 모든 단계를 확인할 수 있습니다. 시스템은 스레드, 실행, 실행 단계를 기록합니다. 이 로그를 검토하면 무슨 일이 언제, 왜 일어났는지 파악할 수 있습니다. 이를 통해 AI를 신뢰할 수 있습니다.

에이전트를 만든 후에도 모델이나 도구를 변경할 수 있습니까?

네! 처음부터 다시 시작하지 않고도 모델을 교체하거나 새 도구를 추가할 수 있습니다. 이를 통해 새로운 작업이나 더 나은 결과에 맞게 에이전트를 업데이트할 수 있습니다. 지침과 기록은 그대로 안전하게 유지됩니다.

에이전트를 안전하게 유지하고 회사 규정을 준수하려면 어떻게 해야 합니까?

Microsoft Entra를 사용하여 각 에이전트에 대한 권한을 설정합니다. 각 에이전트가 사용할 수 있는 데이터와 도구를 결정합니다. 시스템은 모든 작업을 점검하고 감사를 위한 로그를 보관합니다.

엔터프라이즈 AI에 수명 주기 로깅이 필요한 이유는 무엇입니까?

수명 주기 로깅은 모든 작업에 대한 증거를 제공합니다. 이를 통해 문제를 디버깅하고, 규정 준수 요구 사항을 충족하며, AI가 어떻게 결정을 내렸는지 보여줄 수 있습니다. 이는 신뢰를 구축하고 비즈니스를 안전하게 지켜 줍니다.