프롬프트 엔지니어링을 넘어서: 엔터프라이즈 AI에 아키텍트가 필요한 이유

By Mirko Peters · 2026-08-27

M365 FM 팟캐스트의 공식 동반 블로그에 오신 것을 환영합니다. 오늘 글에서는 최신 엔터프라이즈 인공지능의 기술적 기반을 깊이 있게 살펴보겠습니다. 프롬프트 엔지니어링은 일반 사용자와 비즈니스 리더 모두의 관심을 끌어왔지만, 기본 프롬프트를 넘어 실제 운영 환경에서 쓸 수 있는 AI 수준에 도달하려면 전담 인적 아키텍트와 엔지니어가 필요합니다. 이제 조직은 피상적인 구현에 기댈 수 없습니다. 대신 비즈니스 로직, 보안 요구 사항, 시스템 통합을 신중하게 검증해야 투자가 실질적인 가치를 낼 수 있습니다.

Automatically translated with AI from the original post. Read the English original

M365 FM 팟캐스트의 공식 동반 블로그에 오신 것을 환영합니다. 오늘 글에서는 최신 엔터프라이즈 인공지능의 기술적 기반을 깊이 있게 살펴보겠습니다. 프롬프트 엔지니어링은 일반 사용자와 비즈니스 리더 모두의 관심을 끌어왔지만, 기본 프롬프트를 넘어 실제 운영 환경에서 쓸 수 있는 수준의 AI에 도달하려면 전담 인적 아키텍트와 엔지니어가 필요합니다. 이제 조직은 피상적인 구현에 기댈 수 없습니다. 대신 비즈니스 로직, 보안 요구 사항, 시스템 통합을 신중하게 검증해야 투자가 실질적인 가치를 낼 수 있습니다.

이 주제를 더 자세히 알아보기 위해 최근 팟캐스트에서 Microsoft MVP이자 AI 테크 리드인 Yves Habersaat과 대화를 나눴습니다. Microsoft 365 Copilot 확장성, 멀티 에이전트 아키텍처, Model Context Protocol에 대한 전체 대화를 듣고 싶으시다면 에피소드 Extending Microsoft 365 Copilot: Agents, MCP & Production-Grade AI with Yves Habersaat [MVP]를 꼭 확인해 주세요.

서론: 프롬프트 엔지니어링을 넘어서

프롬프트 엔지니어링이 유용한 기술이라는 점은 분명합니다. 일상적인 직원이 생성형 AI 도구에서 더 나은 결과, 더 깔끔한 서식, 더 통찰력 있는 요약을 얻는 데 도움이 됩니다. 하지만 기업이 이러한 기능을 수천 명의 사용자와 깊이 뿌리내린 내부 시스템 전반으로 확장하려 하면, 프롬프트 엔지니어링만으로는 부족합니다.

엔터프라이즈 AI에는 영리한 문장 구성 이상이 필요합니다. 조직에는 기반 기술, 복잡한 고객 요구 사항, 전반적인 보안 모델, 구체적인 구현 결정을 이해하는 전문가가 필요합니다. 인공지능이 기술 자료를 만들고 유용한 지침을 제공할 수 있지만, 인적 아키텍트는 근본적으로 대체할 수 없습니다. 용납할 수 없는 위험을 초래하지 않으면서 자동화된 솔루션이 핵심 비즈니스 요구 사항을 실제로 해결하는지 검증할 수 있는 사람은 엔지니어뿐입니다.

엔터프라이즈 AI에 인적 아키텍트가 필요한 이유

현대 엔터프라이즈 환경은 복잡하기 때문에 AI 배포는 결코 간단한 "플러그 앤 플레이" 작업이 아닙니다. 시스템은 레거시 데이터베이스, 맞춤형 내부 애플리케이션, 엄격한 규정 준수 체계, 동적인 사용자 권한과 얽혀 있습니다. 숙련된 아키텍트가 설계를 감독하지 않으면, 조직은 병목 현상, 할루시네이션, 보안 취약점, 통합 실패에 자주 부딪히게 됩니다.

아키텍트는 큰 그림을 봅니다. 데이터가 조직 안에서 어떻게 흐르는지, 잠재적인 병목이 어디에 있는지, 기술 스택을 어떻게 미래에도 대비하게 만들지 평가합니다. AI 플랫폼이 눈부운 속도로 발전하는 가운데, 전략적 사고를 가진 리더가 주도해야 조직이 운영 부하에서 무너지는 취약한 개념 증명이 아니라 확장 가능하고 유지 관리가 용이하며 안전한 솔루션을 구축할 수 있습니다.

Microsoft 365 Copilot의 진화와 확장성

Microsoft 365 Copilot은 초기 출시 이후 상당히 발전했습니다. 한때 복잡한 사용자 지정 확장이 필요했던 많은 기능이 이제 플랫폼에 기본으로 내장되어 있습니다. 이러한 기본 기능은 표준적인 생산성 및 협업 요구의 광범위한 영역을 포괄합니다.

하지만 조직에 더 큰 제어권이 필요할 때 확장성은 매우 중요해집니다. 여기에는 오케스트레이션 계층을 사용자 지정하거나, 특화된 에이전트 경험을 만들거나, Microsoft 365 Copilot Chat 안에만 두지 않고 AI 에이전트를 외부 공개 웹사이트에 삽입하거나, 완전히 맞춤형 기능을 구축하는 일이 포함될 수 있습니다. 엔터프라이즈 요구 사항이 특화될수록 확장성과 맞춤 개발의 중요성은 더 커집니다.

하나의 거대한 Copilot이 실패하는 이유: 멀티 에이전트 아키텍처

AI 여정을 시작하는 조직이 흔히 빠지는 함정은 하나의 거대한 단일 구조 Copilot을 만들려는 것입니다. 상상해 보십시오. 생각할 수 있는 모든 지침, 도구, 지식 소스, 엔터프라이즈 책임을 하나에 모두 담은 AI 어시스턴트입니다. 당연히 이런 접근은 자체 무게를 이기지 못하고 빠르게 무너지며, 컨텍스트 창 소진, 부실한 의사 결정, 예측할 수 없는 동작으로 이어집니다.

대신 Yves Habersaat 같은 전문가들은 멀티 에이전트 아키텍처 도입을 권장합니다. 이 모델에서는 개별 에이전트가 명확하게 정의된 범위와 책임을 가집니다. 예를 들어 엔터프라이즈 IT 지원 프레임워크에는 사용자 요청을 이해하고 이를 Microsoft 365, Salesforce, HR 포털 또는 내부 인프라 플랫폼 전담의 전문 에이전트에게 지능적으로 라우팅하는 것만을 임무로 하는 전면 트리아지 에이전트가 있을 수 있습니다. 각 전문 에이전트는 자체적인 현지화된 지침, 목적에 맞는 지식, 그리고 특정 도구를 유지합니다.

엔터프라이즈 AI 에이전트의 구조

이러한 시스템이 어떻게 작동하는지 이해하려면 일반적인 엔터프라이즈 AI 에이전트의 구조를 살펴보는 것이 도움이 됩니다. 견고한 에이전트는 모두 명확하게 정의된 목표에서 시작합니다. 그다음에는 다음과 같은 여러 핵심 구성 요소에 의존합니다.

• 지침: 에이전트의 정확한 책임, 운영 경계, 동작 제약을 정의하는 명시적인 가이드라인입니다.
• 지식 소스: 관련 조직 정보와 문서를 담은 선별된 저장소입니다.
• 도구: 에이전트가 작업을 실행하거나, 데이터베이스를 조회하거나, 외부 서비스를 호출할 수 있게 해 주는 기능입니다.
• 오케스트레이션 계층: 들어오는 요청을 어떻게 처리, 분석, 위임할지 결정하는 의사 결정 엔진입니다.

멀티 에이전트 구성에서는 기본 에이전트가 초기 트리아지를 수행한 뒤 작업을 전문 하위 에이전트에게 위임합니다. 이후 하위 에이전트들은 내부 지식 소스, 외부 시스템, API, 그리고 Model Context Protocol 서버와 상호작용하여 워크플로를 완료합니다.

Copilot Studio 대 커스텀 개발

이러한 에이전트를 구축할 때 조직은 로우코드와 커스텀 코드 중 선택이라는 핵심 플랫폼 결정에 직면합니다. Copilot Studio는 에이전트를 신속하게 구축하고 배포할 수 있는 접근성 높은 로우코드 방식을 제공합니다. 팀은 코드를 처음부터 한 줄씩 작성하지 않고도 지침을 정의하고, 기성 도구를 연결하고, 지식 저장소를 통합하고, 최신 프로토콜을 활용할 수 있습니다.

반면 커스텀 개발은 아키텍처 제어권을 훨씬 더 많이 제공합니다. 다만 이러한 제어권에는 더 큰 책임이 따릅니다. 개발자는 인증 흐름, 보안 경계, 호스팅 환경, 오케스트레이션 로직, 서비스 통합을 직접 관리해야 합니다. 결국 Copilot Studio와 커스텀 개발 중 무엇을 선택할지는 해당 엔터프라이즈 솔루션이 요구하는 제어 수준에 전적으로 달려 있습니다.

Model Context Protocol(MCP) 이해하기

에이전트 아키텍처에서 가장 주목할 만한 발전 중 하나는 흔히 MCP로 알려진 Model Context Protocol입니다. 과거에는 외부 도구와 서비스를 AI 모델에 통합하려면 시스템마다 인증 방식, 프로토콜의 특이점, 문서 표준이 제각각인 맞춤형 API 래퍼를 작성해야 했습니다.

MCP는 이러한 파편화를 해결하기 위해 AI 시스템이 외부 도구와 서비스를 탐색하고 상호작용할 수 있는 표준화된 방식을 제공합니다. MCP를 통해 에이전트는 어떤 도구를 사용할 수 있는지, 각 도구가 어떻게 동작하는지, 그리고 복잡한 사용자 요청을 처리하기 위해 도구들을 어떻게 조합할 수 있는지를 동적으로 파악할 수 있습니다. MCP는 지능형 언어 모델과 방대한 엔터프라이즈 소프트웨어 생태계 사이의 범용 번역기 역할을 합니다.

시스템 통합: MCP 대 기존 API

Model Context Protocol이 기존 API를 대체하는 것이 아니라는 점을 짚어 두는 것이 중요합니다. 대신 MCP 서버는 기존 API, 데이터베이스, 내부 마이크로서비스 앞에 위치하여 이러한 기반 기능을 AI 에이전트가 쉽게 이해하고 활용할 수 있는 형식으로 노출합니다.

재무, 인사, 고객 관계 관리(CRM)를 위해 이미 확립된 API에 의존하는 엔터프라이즈를 생각해 보십시오. 그 API를 다시 작성하는 대신 조직은 기존 엔드포인트 위에 적절한 도구를 노출하는 MCP 서버를 배포할 수 있습니다. 기반 API는 여전히 무거운 작업을 수행하고, MCP는 자율형 AI 에이전트가 이들과 효과적으로 상호작용하는 데 필요한 의미 계층을 제공합니다.

보안, 거버넌스, 조직 지식

Microsoft 365 환경에는 문서, 회의 트랜스크립트, 이메일, 인사 조직도, Teams 채팅 기록, OneDrive 파일, SharePoint 저장소 등 엄청난 양의 가치 있는 조직 컨텍스트가 담겨 있습니다. 강력한 AI 에이전트를 이 방대한 데이터에 연결하면서 견고한 거버넌스를 갖추지 않으면 심각한 보안 위험이 발생합니다.

조직은 먼저 데이터 환경 전체를 포괄적으로 파악해야 합니다. 기업은 기밀 정보가 정확히 어디에 있는지, 현재 누가 접근 권한을 가지고 있는지, 어떤 자산에 더 강한 보호가 필요한지 알아야 합니다. 민감도 레이블과 데이터 손실 방지(DLP) 정책을 포함한 Microsoft Purview 같은 고급 거버넌스 도구는 첫날부터 AI 아키텍처에 직접 통합되어야 합니다.

데이터 품질과 AI 준비 상태의 중요성

AI 거버넌스는 단순히 무단 접근을 막는 데 그치지 않습니다. 데이터 위생이라는 현실적인 문제도 포함합니다. 체계가 잡히지 않은 SharePoint 사이트, 중복이 많은 파일, 오래된 정책 문서, 일관성 없는 Teams 작업 공간, 모호한 정보 소유권은 AI가 생성하는 응답의 품질을 크게 떨어뜨릴 수 있습니다.

정리되지 않고 뒤섞인 비정형 조직 지식에 지능형 에이전트를 연결한다고 해서 그 데이터가 저절로 깨끗하고 유용한 자원으로 바뀌지는 않습니다. 기업은 AI 준비의 기본 전제 조건으로 데이터 정리, 최신 정보 아키텍처, 엄격한 권한 검토, 철저한 분류를 최우선으로 해야 합니다.

위임 권한과 애플리케이션 권한 관리

AI 에이전트가 사용자를 대신해 자율적으로 작업을 수행할 수 있게 되는 순간부터 권한 관리가 가장 중요해집니다. 일반적인 원칙으로, 설계자는 기본값으로 위임된 사용자 권한을 사용해야 합니다.

위임 모델에서는 에이전트가 자신과 상호 작용하는 특정 사용자의 권한 범위 안에서만 엄격하게 작동합니다. 사용자에게 민감한 재무 폴더에 대한 접근 권한이 없다면, 에이전트가 그 제한을 마법처럼 우회해서는 안 됩니다. 백그라운드 자동화를 위해 애플리케이션 권한이 정말 필요한 경우에는, 사용자와 직접 대면하는 에이전트에 광범위한 관리 권한을 그대로 노출하기보다 엄격하게 통제되는 서비스 또는 MCP 계층 뒤에 그 기능을 철저히 격리해야 합니다.

기업 환경의 검색 증강 생성(RAG)

검색 증강 생성(RAG)은 최신 기업 AI의 핵심 기반입니다. 언어 모델의 정적인 내부 매개변수에만 의존하는 방식은 회사의 독점 정책이나 실시간 프로젝트 업데이트를 담을 수 없습니다. 반면 RAG 시스템은 응답을 생성하기 전에 관련 문서를 동적으로 검색합니다.

이렇게 검색된 콘텐츠는 내부 지식 기반, SharePoint 사이트, 전문 문서 저장소 또는 외부 데이터베이스에서 올 수 있습니다. Copilot Studio 같은 많은 최신 플랫폼에서는 기반이 되는 검색 메커니즘이 전적으로 백그라운드에서 동작합니다. 이를 통해 최종 사용자에게는 복잡성을 감추면서도, 검증된 기업 데이터에 근거한 정확하고 문맥을 고려한 답변을 제공합니다.

결론: 프로덕션 수준의 AI 솔루션 구축

가벼운 프롬프트 엔지니어링에서 견고한 기업용 AI로 나아가려면 사고방식의 근본적인 전환이 필요합니다. 조직은 더 이상 인공지능을 마지막 순간에 덧붙이는 단순한 소프트웨어 기능으로 취급할 수 없습니다. 대신 프로덕션 수준의 AI 솔루션을 구축하려면 다중 에이전트 아키텍처, Model Context Protocol 같은 확장 가능한 통합 계층, 엄격한 데이터 거버넌스, 신중하게 설계된 권한 모델을 충분히 고려해야 합니다.

이 기술 혁명의 중심에는 여전히 사람인 설계자와 엔지니어가 있습니다. 기술의 기초 지식과 비즈니스 요구 사항에 대한 깊은 이해를 결합함으로써, 설계자는 기업용 AI가 안전하고 확장 가능하며 실질적으로 혁신적인 가치를 제공하도록 보장합니다.

이러한 아키텍처 전략을 더 깊이 알아보고 현장 전문가의 통찰을 직접 듣고 싶다면, 전체 팟캐스트 대화를 꼭 들어 보시기 바랍니다. Extending Microsoft 365 Copilot: Agents, MCP & Production-Grade AI with Yves Habersaat [MVP]를 방문하고, 최신 업무 방식, 보안, 생산성에 관한 대화에도 함께 참여해 주십시오!