항상 적용되는 가이드와 상황별 전문성: AI 아키텍처 재구성하기

By Mirko Peters · 2026-08-13

팟캐스트 블로그 컴패니언에 다시 오신 것을 환영합니다. 오늘 글에서는 거의 모든 기업 팀이 첫 번째 AI 솔루션을 배포한 뒤 맞닥뜨리는 기술적 장벽을 깊이 다룹니다…

Automatically translated with AI from the original post. Read the English original

팟캐스트 블로그 컴패니언에 다시 오신 것을 환영합니다. 오늘 글에서는 거의 모든 기업 팀이 첫 번째 AI 솔루션을 배포한 뒤 맞닥뜨리는 기술적 장벽을 깊이 다룹니다. 맞춤형 AI 에이전트를 만들면 처음에는 마법처럼 느껴집니다. 빠르고, 매우 정확하며, 반응도 민첩하기 때문입니다. 그런데 3~6개월이 지나면 이상한 일이 벌어집니다. 응답 시간이 느려지고, 운영 비용이 슬금슬금 올라가며, 에이전트가 할루시네이션(환각)을 일으키거나 의도한 동작에서 벗어나기 시작합니다. 많은 조직의 일반적인 대응은 더 많은 컴퓨팅 자원을 투입하거나 더 큰 언어 모델로 업그레이드하는 것입니다. 하지만 이 글에서 자세히 살펴보겠지만, 핵심 문제는 모델 자체가 아니라 프롬프트의 기저 아키텍처에 있습니다.

이 글에서는 모놀리식 프롬프트가 치명적인 컨텍스트 성능 저하로 이어지는 이유, 범용 핵심 동작과 작업별 워크플로를 분리하는 방법, 그리고 모듈형 설계 패턴이 기업 AI 환경을 어떻게 바꾸고 있는지 풀어 보겠습니다.

들어가며: 모놀리식 프롬프트의 숨은 비용

엔지니어링 팀은 대화형 AI 에이전트를 처음 프로토타이핑할 때 보통 하나의 포괄적인 시스템 프롬프트에 의존합니다. 이 프롬프트는 에이전트가 누구인지, 어떻게 말해야 하는지, 어떤 규칙을 따라야 하는지, 복잡한 예외 상황을 어떻게 처리해야 하는지를 정의합니다. 시작하기에는 직관적인 방식입니다. 그러나 비즈니스가 발전하면서 프롬프트도 함께 커집니다. HR은 새로운 휴가 정책을 추가하고, 컴플라이언스 팀은 지역별 규제를 넣고, 고객 지원 팀은 환불 워크플로를 덧붙입니다.

어느새 시스템 프롬프트는 수천 토큰 분량의 빽빽한 지침으로 불어나 있습니다. 사용자가 사무실 운영 시간을 묻는 것처럼 간단한 질문을 할 때마다, AI 모델은 시스템 프롬프트 전체에 담긴 모든 규칙, 정책, 예외 상황을 읽고 처리하며 추론해야 합니다. 사무실 운영 시간 확인과는 거의 관련이 없는 지침이 95%를 차지하더라도, 모델은 그것들을 모두 파싱해야 합니다. 이처럼 컴퓨팅과 추론에 가해지는 숨은 부담을 우리는 컨텍스트 세금(Context Tax)이라고 부르며, 이것이 시간이 지나면서 AI 에이전트의 성능 특성을 근본적으로 바꿔 놓습니다.

컨텍스트 세금과 에이전트 성능 저하가 발생하는 이유

운영 환경에서 에이전트가 성능 저하를 겪는 과정은 놀랄 만큼 예측 가능합니다. 모델이 추론하는 법을 잊어서 생기는 일이 아닙니다. 모델의 활성 컨텍스트 창에 불필요한 인지적 노이즈를 과도하게 채워 넣기 때문에 생깁니다. 사용자의 모든 상호작용마다 관련 없는 절차 문서 더미를 AI가 뒤지도록 강제하면, 다음과 같은 일이 동시에 일어납니다.

• 토큰 소비가 급증하며, 요청당 추론 비용이 직접적으로 올라갑니다.
• 컨텍스트가 커질수록 처리에 더 많은 시간이 필요하므로 응답 지연이 늘어납니다.
• 모델이 상충하거나 무관한 지침을 저울질하느라 애쓰면서 환각이 발생할 확률이 높아집니다.
• 모델의 주의가 경쟁하는 여러 지시에 흩어지면서 추론 일관성이 떨어집니다.

시스템이 덜 똑똑해진 것이 아닙니다. 불필요한 데이터에 발목이 잡혀 추론 경로가 막힌 것입니다. 이 문제를 해결하려면 아키텍처 안에서 정보를 어떻게 배분하는지 면밀히 살펴봐야 합니다.

항상 적용되는 가이드 vs. 상황별 전문성

최신 AI 엔지니어링에서 가장 강력한 사고의 전환 중 하나는 시스템 지침을 두 가지 범주, 즉 항상 적용되는 가이드와 상황별 전문성으로 분리하는 것입니다.

항상 적용되는 가이드는 사용자의 의도와 관계없이 모든 상호작용에 적용되어야 하는 범용 가드레일과 정체성 표지로 구성됩니다. 여기에는 다음이 포함됩니다.

• 에이전트의 정체성, 페르소나, 말투
• 전사 공통 보안 요구 사항
• 핵심 컴플라이언스 규칙과 절대적 경계
• 표준 서식 및 출력 형식 기본 설정

반면 상황별 전문성은 전적으로 맥락에 따라 달라집니다. 특정 시나리오나 워크플로가 촉발될 때에만 가치가 있는 정보입니다. 예를 들어 협력사 온보딩 절차, 세금 계산 규정, 지역별 반품 정책, 복잡한 IT 인시던트 대응 절차 등이 있습니다.

기존 아키텍처에서는 두 범주가 모두 하나의 거대한 프롬프트에 뭉뚱그려 들어갑니다. 현대적으로 재구성된 아키텍처에서는 항상 적용되는 지침만 계속 로드된 상태로 남습니다. 나머지는 필요할 때 동적으로 로드되는 모듈형 구성 요소로 묶입니다.

스킬의 구조: AI를 위한 지식 패키징

컨텍스트 세금을 없애려면 상황별 전문 지식을 기본 프롬프트 바깥에 저장해 두었다가 필요할 때만 불러오는 메커니즘이 필요합니다. 그 메커니즘이 바로 AI 스킬입니다. 스킬은 단순한 프롬프트 조각이 아니라 특정 작업을 위한 지침과 자산을 담은 포괄적이고 재사용 가능한 패키지입니다. 잘 설계된 스킬에는 보통 다음이 포함됩니다.

• 오케스트레이터에게 해당 스킬이 언제 관련되는지 알려 주는 명확한 트리거 설명
• 작업을 처리하기 위한 구조화된 절차 지침
• 참조 문서, 양식 또는 정책 템플릿
• 작업을 실행하기 위한 선택적 스크립트 또는 API 정의

이 패키지의 중심에는 보통 SKILL.md 파일 형태로 구성되는 핵심 구성 파일이 있습니다. 이 파일은 해당 지식 영역의 정확한 범위, 목적, 실행 단계를 정리합니다. 이처럼 지식을 모듈화하면 핵심 에이전트의 안정성을 해치지 않고 독립적으로 업데이트할 수 있는, 깔끔하고 관리하기 쉬운 엔터프라이즈 기능 단위를 만들 수 있습니다.

명확한 추론 경계 설정하기

AI 에이전트를 별도의 스킬로 모듈화하면 토큰을 절약하는 것 이상의 효과가 있습니다. 바로 엄격한 추론 경계가 확보됩니다. 모델이 모놀리식 프롬프트를 받으면 모든 규칙을 동시에 적용해 모든 문제를 해결하려고 합니다. 스킬을 사용하면 추론 영역을 분리할 수 있습니다.

예를 들어 사용자가 구매 워크플로를 시작하면 구매 스킬이 로드되고, 에이전트의 추론 엔진은 구매 정책, 승인 체계, 공급업체 지침에만 전적으로 집중합니다. 해당 스킬이 활성화된 동안에는 세금 공제나 인사 정책과 관련된 무관한 규칙이 활성 컨텍스트 창에서 제외됩니다. 이러한 엄격한 경계는 AI 출력의 정밀도와 일관성을 크게 높이며, 비즈니스의 다른 부분에 간섭받지 않고 전문화된 절차를 따르도록 보장합니다.

효율성을 위한 점진적 공개 구현하기

시스템에 과부하를 주지 않으면서 이러한 스킬을 어떻게 관리할까요? 그 답은 점진적 공개(progressive disclosure)라는 설계 패턴에 있습니다. 에이전트는 시작 시 모든 지침과 워크플로를 불러오는 대신, 사용 가능한 스킬의 이름과 설명만 담은 가벼운 카탈로그를 유지합니다.

사용자가 프롬프트를 제출하면 워크플로는 다음과 같은 정확한 순서로 진행됩니다.

1. 오케스트레이터가 사용자의 요청을 가벼운 스킬 카탈로그와 대조하여 분석합니다.
2. 해당 시나리오를 처리하는 데 필요한 특정 스킬을 식별합니다.
3. 시스템이 해당 스킬 하나를 컨텍스트 창에 동적으로 로드합니다.
4. 에이전트가 높은 정밀도로 작업을 실행합니다.
5. 작업이 끝나면 스킬이 언로드되어 에이전트는 가볍고 기본적인 상태로 돌아갑니다.

이 설계 패턴은 컴퓨팅 요구 사항을 크게 줄이고 지연 시간을 단축하며 운영 비용을 적정 수준으로 유지하면서도, 에이전트가 깊고 전문화된 엔터프라이즈 지식에 계속 접근할 수 있게 해 줍니다.

결론: 미래를 위한 AI 아키텍처 재구성

모놀리식 프롬프트는 생성형 AI 실험 초기에 큰 역할을 했지만, 엔터프라이즈 배포에는 더 높은 확장성, 더 낮은 지연 시간, 더 높은 안정성이 요구됩니다. 항상 적용되는 지침과 상황별 전문 지식을 분리하고, 점진적 공개를 통해 모듈형 스킬을 도입하면 컨텍스트 세금을 없애고, 에이전트 성능 저하를 방지하며, 조직과 함께 원활하게 확장되는 견고한 AI 시스템을 구축할 수 있습니다.

Microsoft Copilot Studio, GitHub Copilot, Claude Code 같은 플랫폼에서 이러한 아키텍처 패턴, 실제 구현 사례, 개념이 어떻게 적용되는지에 대한 전체 내용을 듣고 싶다면 관련 에피소드 The End of AI Bloat: Why Modern Agents Need Skills를 꼭 확인해 보세요. 구독하시고, 여러분이 엔터프라이즈 AI 에이전트를 어떻게 구성하고 계신지 알려 주세요!