그렇다면 기업이 하나의 AI 책봇에서 수십 개의 AI 도구로 전환할 때 정확히 무엇이 바뀔까요?처음에는 간단하게 느껴집니다.한 팀은 고객 지원을 위해 책봇을 추가합니다.다른 팀은 AI를 사용해 회사 문서를 검색하고 회의록을 자동으로 작성합니다.워크플로우를 통해 이메일을 읽고 요청사항을 추출하여 올바른 시스템으로 보낼 수도 있습니다.얼마 지나지 않아 기업은 여러 모델, 작업을 수행하는 에이전트, 비즈니스 데이터에 접근하는 도구를 갖추게 됩니다.각 팀은 종종 자체 키, 자체 제한, 자체 안전 규칙을 사용하여 서로 다른 AI 제공업체에 직접 연결합니다.비용 추적이 어려워집니다. 키가 잘못된 곳으로 유출될 수 있습니다.또한 에이전트가 도구를 후출할 때 무엇을 수행하려고 했는지 명확하게 기록하는 사람이 없을 수도 있습니다.여기서 마이크로소프트 AI 게이트웨이가 등장합니다.이번 에피소드가 끝날 때쯤이면 이것이 무엇인지, 구성요소가 어떻게 결합되는지, 그리고 언제 기사의 비즈니스에 도입하는 것이 합리적인지 이해하게 될 것입니다.연문이 많은 사무실 빌딩을 상상해보세요.모든 문을 열어두고 사람들이 제대로 사용하기를 바라거나 관리되는 하나의 입구로 모두를 안내할 수 있습니다. AI를 위한 하나의 정문입니다.마이크로소프트 AI 게이트웨이는 AI 트래픽에 하나의 제어 지점을 제공하는 에이저 API 관리 기능 세트입니다.쉬운 말로 자세히 살펴보겠습니다.회사의 AI 설정을 현대적인 사무실 건물이라고 상상해보세요. AI 모델은 사고가 일어나는 방입니다.에이전트는 건물 안을 이동하며 다음에 수행할 승인된 작업을 결정하는 직원들입니다.도구는 인사, 제모, 고객 기록, 내부 파일과 같은 곳으로 연결되는 서비스 문입니다. AI 게이트웨이는 정문의 안내 데스크이자 보안 데스크입니다.누가 들어오는지 확인하고 규칙을 적용하며 유청이 건물의 나머지 부분에 도달하기 전에 어디로 가는지 기록합니다. 유청은 간단한 경로를 따릅니다.앱, 코파일럿 또는 에이전트가 게이트웨이로 유청을 보냅니다.게이트웨이는 해당 후출자에게 적용되는 규칙을 확인한 다음 승인된 모델, 도구, 에이전트 또는 비즈니스 API로 전달합니다.응답이 돌아오면 사용자에게 도달하기 전에 다시 게이트웨이를 통과합니다.이 단일 경로는 기업이 모든 앱의 제어 기능을 구축할 필요 없이 액세스, 제한, 안전검사, 로깅을 관리할 수 있는 장소를 제공합니다.또한 이는 종종 혼재되는 두 가지 작업을 분리합니다.애플리케이션 팀은 사용자가 실제로 사용하는 경험에 집중할 수 있습니다.그들은 지원 어시스턴트, 문서 검색 화면 또는 시간을 절약해주는 워크플로우를 구축합니다.한편 플랫폼 팀은 마크에서 공유 규칙을 관리하며 어떤 서비스를 승인할지, 어떤 아이디가 이를 사용할 수 있는지, 프로젝트가 전송할 트래픽 양과 무엇을 기록할지 결정합니다.모든 팀이 책본마다 새로운 보안 계획을 고안하게 할 수는 없습니다.마이크로소프트 AI 게이트웨이는 여러 종류의 AI 트래픽 앞에 배치될 수 있습니다. AI 모델에 대한 호출과 모델 컨텍스트 프로토콜, MCP, 도구 호출을 관리할 수 있습니다.또한 에이전트 간 AI 트래픽과 기사가 이미 사용 중인 비즈니스 API, 예, 주문 확인, 인사 정책 읽기, 지원 티켓 열기용 API, 도 관리할 수 있습니다.대부분의 기업은 AI를 사용하기 위해 기존 시스템을 버릴 필요가 없으므로 마지막 부분이 중요합니다.그저 AI가 이러한 시스템과 작동할 안전한 방법이 필요할 뿐이며, 게이트웨이는 해당 연결 주변에 제어를 설정하는 데 도움을 줍니다.이제 마이크로소프트 AI 게이트웨이는 모델이 아닙니다.스스로 답변을 작성하지도 않습니다.에이전트 빌더도 아닙니다.따라서 인사도우미를 설계하거나 재무 에이전트에게 무엇을 해야 할지 가르치는데 사용하지 않습니다. 그리고 팀이 AI 프로젝트를 구축, 테스트, 관리할 수 있는 마이크로소프트 파운드리를 대체하지도 않습니다.대신 그 중간에 위치합니다.파운드리는 AI 모델 및 에이전트 작업을 돕고, 에이저 API 매니지먼트 AI 게이트웨이는 해당 모델, 에이전트 및 도구가 생성하는 트래픽을 제어하는 데 도움을 줍니다.이미 에이저 API 매니지먼트를 일반 API를 관리하는 방법으로 알고 계실 수도 있습니다. API는 단순히 하나의 소프트웨어가 다른 소프트웨어에 무언가를 요청하는 방법일 뿐입니다. AI 게이트웨이는 AI 작업을 위해 동일한 아이디어를 확장합니다. AI 요청은 새로운 질문을 가져오기 때문입니다.누가 어떤 모델을 사용했나요?얼마나 많은 토큰을 소비했나요?이 에이전트가 저 도구를 호출할 수 있나요?이 프롬프트가 모델에 도달해야 할까요?게이트웨이를 중간에 배치하면 이러한 질문에 답변할 수 있는 단일 창구가 생깁니다.그리고 모든 애플리케이션이 자체 모델 엔드포인트를 선택하기 시작할 때 첫 번째 압박 지점이 나타납니다.하나의 엔드포인트, 다양한 모델, 애플리케이션이 단일 모델 엔드포인트에 직접 연결되면 해당 선택이 코드 자체에 고정됩니다.종종 코드는 하나의 공급자, 하나의 특정 배포, 하나의 에이저 리전 및 고정된 제한 세트의 무기입니다.프로젝트가 작을 때는 괜찮지만 지원 시스템이 한 리전의 한 모델에서 실행된다고 가정해보십시오.몇 달 후 해당 모델이 용량에 도달하거나 더 저렴하고 더 나은 모델이 나오거나 비즈니스가 다른 리전으로 이동해야 할 수 있습니다.공유계층이 없으면 모든 앱팀이 코드를 변경하고 다시 테스트하고 업데이트를 배포해야 합니다.이는 느리고 복잡한 변화를 초래합니다.마이크로소프트 AI 게이트웨이는 애플리케이션을 위한 안정적인 관문을 제공합니다.애플리케이션이 이곳으로 요청을 보내면 앱을 직접 수정하지 않아도 모델 선택을 유연하게 변경할 수 있습니다. 기업 대표 전화번호를 생각해보세요.고객은 하나의 번호로 전화를 걸면 실제 통화는 다른 팀이나 사무실로 연결될 수 있습니다.고객은 그 과정이 어떻게 처리되는지 알 필요가 없습니다. AI 게이트웨이를 사용하면 앱은 하나의 승인된 엔드포인트만 호출하며 게이트웨이는 그 뒤에서 작업에 가장 적합한 모델로 요청을 전송합니다.마이크로소프트는 유니파이드 모델 API라는 새로운 접근 방식도 제공합니다.쉽게 말해 애플리케이션이 오픈아이 방식의 요청을 사용하면 게이트웨이가 그 요청을 뒷단해서 다양한 모델 공급업체와 연결해주는 방식입니다.따라서 앱은 익숙한 형식으로 요청을 보내고 게이트웨이가 공급업체 관련 세부사항을 모두 처리합니다.설정에 따라 해당 요청은 에이저 오픈아이 배포, 마이크로소프트 파운드리, 엔스로픽, 구글 재미나이 또는 아마존 배드락 위 모델로 전달될 수 있습니다.경로는 애플리케이션마다 하드코딩된 방식이 아니라 사용자가 설정한 규칙에 따라 결정됩니다.이를 통해 플랫폼팀은 앱 사용자에게 영향을 주지 않고 자유롭게 변경 작업을 수행할 수 있습니다.예를 들어 고객 지원용 AI 어시스턴트를 운영한다고 가정해보겠습니다.대부분의 질문은 단순합니다.주문한 상품은 어디에 있나요? 비밀번호는 어떻게 재설정하나요?이러한 질문은 더 작고 저렴한 모델로 빠르게 답변할 수 있어 불필요한 비용을 줄일 수 있습니다.그런데 고객이 주의 깊은 추론이나 제품 지식이 필요한 길고 특이한 질문을 보낼 때가 있습니다.그럴 때 게이트웨이는 해당 유형의 요청을 더 성능이 뛰어난 모델로 전달합니다.지원 앱은 여전히 동일한 방식으로 요청을 보냄으로 팀은 어떤 모델이 질문을 처리했는지 알 필요가 없고 개발자도 옵션마다 별도의 연결을 설정할 필요가 없습니다.용량 문제는 어떻게 해결할까요? AI 모델 엔드포인트에는 한계가 있습니다.일정 시간 동안 처리할 수 있는 트래픽 양이 정해져 있기 때문입니다. 모든 요청이 하나의 배포에 몰리면 한 시간만 바빠도 전체 서비스가 느려지거나 중단될 수 있습니다.게이트웨이는 트래픽을 승인된 여러 배포로 분산하여 하나가 꽉 차면 다른 리전으로 라우팅하거나 엔드포인트가 다운되면 백업 경로를 사용합니다.물론 요청이 무작위로 튀어야 한다는 뜻은 아닙니다.규칙은 여전히 사용자가 설정합니다.예를 들어 고객 대상 트래픽은 메인 모델에 우선권을 주고 내부 테스트는 다른 경로를 사용하거나 한 리전이 로컬 사용자를 처리하는 동안 다른 리전이 백업 역할을 수행하게 할 수 있습니다.핵심은 간단합니다.애플리케이션은 단일 제어 관문에 연결되고 플랫폼은 그 뒤에서 모델, 리전, 공급업체를 최소한의 중단으로 조정할 수 있습니다. AI 기술은 빠르게 발전하기 때문에 이 점이 매우 중요합니다.오늘 잘 작동하는 모델이 다음 달에는 최선의 선택이 아닐 수도 있기 때문입니다.모든 앱이 제공업체와 직접 통신한다면 모델을 변경하는 것은 모든 팀의 프로젝트가 됩니다.게이트웨이를 사용하면 모델 결정사항이 하나의 공유된 장소에 존재합니다.통합 모델 API에 대한 짧은 언급입니다.마이크로소프트는 이를 공개 미리 보기로 제공합니다.미리 보기 기능은 변경될 수 있으며 모든 프로덕션 사용 사례에 준비되지 않았을 수 있습니다.그럼에도 더 큰 패턴은 특정 기능 하나에 의존하지 않습니다. API 관리가 이미 모델 엔드포인트 앞에 위치하여 라우팅 규칙을 적용하고 여러 백엔들을 관리하도록 도울 수 있기 때문입니다.통합 모델 API는 애플리케이션의 공급업체 간 경험을 더 쉽게 만드는 것을 목표로 합니다.올바른 모델을 선택하는 것은 절반의 작업일 뿐입니다.모델은 질문에 답할 수 있지만 에이전트는 실제 회사 시스템에 접근하는 작업을 수행하기로 결정할 수 있기 때문입니다.에이전트 및 도구 거버넌스에이전트는 AI를 단순히 질문에 답하는 수준 이상으로 끌어올립니다. 이는 작업을 살펴보고 승인된 옵션 중에서 선택하여 도구나 서비스를 호출해 업무를 완수하는 소프트웨어입니다.인사 에이전트는 휴가 정책을 조회하고 지원 에이전트는 주문을 확인하며 재무 에이전트는 결제 요청을 준비할 수 있습니다.이러한 능력은 유용하지만 위험 프로필도 변화시킵니다.모델의 잘못된 답변은 사람을 혼란스럽게 하지만 잘못된 도구를 사용하는 에이전트는 데이터를 노출하거나 기록을 변경하거나 건드려서는 안 될 프로세스를 실행할 수 있습니다.이것이 도구의 자체 규칙이 필요한 이유입니다. mcp 즉 모델 컨텍스트 프로토콜이라는 용어를 들어보셨을 것입니다.이를 에이전트가 문서검색 서비스나 주문 조회 api와 같은 회사 도구를 찾고 사용할 수 있는 표준 커넥터 형태라고 생각하십시오.모든 에이전트와 시스템에 대해 서로 다른 연결을 구축하는 대신 mcp는 팀에게 공통 패턴을 제공합니다.다음은 에이전트 간 통신 방식인 aea 에이전트 투 에이전트입니다.예를 들어 지원 에이전트는 배송 시스템을 직접 이해하려 하지 않고 배송 에이전트에게 배송 세부 정보를 요청합니다.이론적으로는 깔끔하게 들리지만 모든 연결의 액세스 규칙이 다르고 자격증명이 숨겨져 있으며 도구가 알려지지 않은 경우 에이전트 체인은 복잡해집니다.송장 질문에 답변하는 재무 에이전트를 상상해보십시오.승인된 송장 조회 도구만 사용해야 하지만 누군가 제한된 도구를 정의하는 것보다 빠르다는 이유로 재무 시스템에 대한 광범위한 액세스 권한을 부여합니다. 에이전트의 문서에 숨겨진 지침이 에이전트를 승인되지 않은 작업으로 유도합니다.에이전트의 액세스 권한이 너무 많으면 불필요한 데이터를 요청하거나 사람의 승인이 필요한 워크플로우를 시작할 수 있습니다.에이전트는 악의적이지 않습니다. 단지 신뢰할 수 없는 입력을 처리할 때 너무 많은 자유가 주어졌을 뿐입니다.마이크로소프트 ai 게이트웨이를 사용하면 mcp 서버와 비즈니스 api 앞에 제어 기능을 배치할 수 있습니다. ai 앱에서 데이터베이스로 직접 연결하는 대신 특정 작업을 위한 작고 통제된 도구만 노출합니다.예를 들어 에이전트가 이 주문 상태를 확인해줘 라고 요청합니다. 이 도구는 모든 주문이나 전체 고객 기록이 아닌 해당 상태 정보만 반환합니다.이것은 제한적인 작업이며 게이트웨이는 호출을 허용하기 전에 누가 요청하는지 확인합니다.이 설정의 중심에는 아이디가 있습니다.마이크로소프트 엔트라 아이디를 사용하면 앱은 공급자 키를 공유하는 대신 관리 아이디를 통해 로그인합니다.관리 아이디는 개발자가 코드의 보안 비밀을 복사할 필요 없이 자신의 신원을 증명합니다.각 에이전트는 고유한 아이디를 가져야 합니다.그렇게 하면 어떤 에이전트가 도구를 호출했는지 파악하고 다른 에이전트에게 영향을 주지 않으면 서특정 에이전트의 액세스 권한을 취소하거나 다른 규칙을 적용할 수 있습니다.인사 HR 에이전트가 둘 다 AI를 사용한다는 이유만으로 제모 에이전트의 권한을 상속받아서는 안 됩니다.이는 제로 트러스트 원칙을 따릅니다.모든 요청을 검사하고 현재 작업에 필요한 액세스 권한만 부여하며 모든 프롬프트나 도구 응답이 안전하지 않을 수 있다고 가정합니다.실제로는 에이전트가 하나의 특정 도구와 작업에 대해서만 권한을 얻게 됩니다.휴가 잔액은 읽을 수 있지만 급여 파일을 다운로드할 수는 없습니다.지원 티켓 초안을 작성할 수는 있지만 사례를 종결할 수는 없습니다. 게이트웨이는 또한 프롬프트와 도구 트래픽에 안전검사를 적용합니다.요청에 유해한 콘텐츠 나 시스템 밖으로 나가면 안 되는 데이터가 포함되어 있으면 정책에 따라 백엔드에 도달하기 전에 차단됩니다.필터가 모든 것을 잡아낼 수는 없지만 공유 지점에서 트래픽을 검사하는 것이 각 에이전트 개발자가 동일한 보호 기능을 추가하기를 기대하는 것보다 훨씬 안전합니다.또한 승인된 도구 카탈로그가 필요합니다. api센터는 api와 mcp 서비스를 위한 개인 카탈로그 역할을 함으로 팀은 오래된 문서를 검색하거나 검증되지 않은 웹주소를 복사할 필요 없이 적절한 도구를 찾을 수 있습니다.이는 내 에이전트가 어떤 도구를 사용할 수 있는가를 통제된 비즈니스 의사 결정으로 전환하는 데 도움이 됩니다.보안 제어는 경로를 보호하지만 새로운 질문을 야기하기도 합니다.어떤 팀이 해당 경로를 사용하고 있으며 얼마나 많은 ai 사용량을 발생시키고 있을까요?토큰 비용, 제한 및 가시성입니다. ai 비용은 일반적인 소프트웨어 라이선스와 다르게 작동합니다.측정은 토큰을 기준으로 이루어집니다.토큰이란 무엇일까요?작은 텍스트 조각입니다.짧은 단어는 토큰 하나를 사용할 수 있습니다.긴 단어는 더 많은 토큰을 사용합니다.모델은 사용자가 보내는 모든 것을 계산합니다.질문, 추가하는 지침, 첨부하는 문서, 그리고 모델이 돌려주는 답변까지 모두 포함됩니다.따라서 간단한 질문은 매우 적게 사용하지만, 긴 정책 문서를 읽고 추가 질문을 하며 도구를 호출한 뒤 상세한 답변을 생성하는 에이전트는 예상보다 훨씬 많은 토큰을 사용할 수 있습니다.회의록을 예로 들어보겠습니다.몇 페이지 분량의 메모를 보게 되죠. ai 시스템은 시스템 지침, 회의록, 검색된 회사 데이터, 도구 결과, 그리고 최종 응답까지 모두 처리합니다.모든 부분이 사용량에 포함됩니다.그래서 바쁜 에이전트 하나가 공유 모델 제안을 놀라울 정도로 빨리 소진할 수 있습니다. 금요일 오후에 새로운 마케팅 어시스턴트를 테스트하는 팀을 상상해보세요.누군가 방대한 캠페인 파일 세트를 입력하고 반복해서 비교, 재작성, 요약을 요청합니다.그동안 고객 지원팀은 도움을 받으려는 사람들을 위해 같은 모델 용량을 사용해야 합니다.테스트 작업이 공유 할당량을 다 써버리면, 정작 고객이 필요할 때 지원 어시스턴트가 느려지거나 작동하지 않을 수 있습니다.문제는 단순히 비용이 발생했다는 점이 아닙니다.중요한 업무에 필요한 용량을 중요하지 않은 작업이 가져간 것이죠.에이저 API 매니지먼트 AI 게이트웨이를 사용하면 이런 일이 발생하기 전에 제안을 적용할 수 있습니다.앱, 팀, 프로젝트, 사용자별로 요청 제한, 토큰 제한, 할당량을 설정할 수 있습니다.할당량은 짧은 시간 단위인 분당 토큰 수부터 1일 또는 월간 허용량 같은 긴 기간까지 설정 가능합니다.이를 통해 각 작업의 경계를 설정할 수 있습니다.마케팅 어시스턴트에는 목적에 맞는 예산을 부여할 수 있습니다.고객 지원팀은 별도의 허용량을 갖고 더 높은 우선순위를 가질 수 있습니다.마케팅 어시스턴트가 제안에 도달하면 게이트웨이가 다음 요청을 거부하거나 속도를 늦출 수 있습니다.테스트 프로젝트 하나가 모든 가용 자원을 독점할 수 없으므로 고객 지원 서비스는 계속 운영됩니다.이는 월간 비용에 대한 논의 방식도 변화시킵니다.통합된 시야가 없다면 재무팀은 거액의 AI 청구서를 받고 누가 이렇게 많이 썼지? 라고 묻게 될 것입니다.팀들이 공유키로 다양한 서비스에 직접 연결하면 답을 찾기가 어려울 수 있습니다.게이트웨이는 호출자, 모델, 토큰 사용량, 응답상태, 요청과 연결된 도구 호출을 기록할 수 있습니다.이를 통해 더 명확한 추적 기록을 얻을 수 있습니다.비용이 인사팀 어시스턴트에서 발생했는지, 개발자 테스트 환경인지, 고객용 책봇인지, 아니면 오류 후 계속 제시도한 에이전트 때문인지 확인할 수 있습니다. 특정 애플리케이션이 평소보다 훨씬 큰 프롬프트를 보내는 것과 같은 비정상적인 패턴도 포착할 수 있습니다.팀이 마이크로소프트 파운드리에서 시작한다면 게이트웨이를 해당 작업에 연결할 수도 있습니다.파운드리 프로젝트는 프로젝트 수준의 토큰 제안을 사용하고 게이트웨이는 그 주변에 트래픽 규칙을 적용합니다.이를 통해 AI 개발자는 더 간편하게 시작하고, 플랫폼 팀은 제안과 모니터링을 통합된 곳에서 관리할 수 있습니다.시멘틱 캐싱이라는 유용한 기능도 있습니다.예를 들어 한 직원이 출장 규정을 어디서 찾을 수 있죠? 라고 묻습니다.몇 초 후 다른 직원이 우리 출장 정책이 어디에 있나요? 라고 묻습니다.단어는 다르지만 의미가 충분히 비슷하다면, 게이트웨이는 모델을 다시 호출하는 대신 이전에 적절했던 답변을 재사용할 수 있습니다.이는 비용을 절감하고 응답 속도를 높일 수 있습니다.재사용이 합당한 질문에만 적용됩니다.누군가의 현재 휴가 잔여 일수나 주문 상태에 대한 요청은 답변이 바뀔 수 있기 때문에 캐싱하지 않을 것입니다.라우팅 또한 비용 절감에 도움이 됩니다.기업은 적절한 작업을 저비용 모델로 보내고, 추가 비용을 지불하기 전에 이미 예약해둔 용량을 사용하며, 제한이 발생하면 백업 경로로 전환할 수 있습니다.그렇다고 게이트웨이가 주인 의식의 필요성을 없애주는 것은 아닙니다.팀에는 예산이 필요합니다.누군가는 모델의 답변을 검토해야 합니다.누군가는 에이전트의 존재 여부를 결정해야 합니다.게이트웨이는 측정 도구, 가드레일, 그리고 트래픽 기록을 제공합니다.비즈니스 결정을 대신 내려주지는 않습니다.트래픽을 확인하고 제어할 수 있게 되면, 전체 설정을 일상적인 예시로 이해하기가 더 쉬워집니다.간단한 요청 여정입니다.회사 내 인사관리 보조원을 상상해보세요.한 직원이 육아휴직을 며칠이나 쓸 수 있고, 요청을 대신 시작해줄 수 있나요? 라고 묻습니다. 목표는 간단합니다.직원에게 빠르고 유용한 답변을 제공하고, 승인된 다음 단계를 지원하는 것입니다.하지만 인사관리 보조원은 급여 데이터를 유출하거나, 모든 인사 파일을 열람하거나, 코드 내의 모델 제공업체의 키를 포함해서는 안됩니다.요청은 직원이 로그인할 때 시작됩니다.보조원이 모델이나 도구로 무언가를 보내기 전에, 게이트웨이는 직원이 누구인지, 인사관리 보조원을 사용할 수 있는지, 그리고 해당 앱에 어떤 제한이 적용되는지 확인합니다.직원은 하나의 간단한 채팅창만 보지만, 이러한 확인 절차는 보이지 않는 곳에서 이루어집니다.다음으로, 보조원은 답변이 필요합니다.기본적인 규정 질문은 회사가 승인한 모델 엔드포인트로 전달될 수 있습니다.만약 해당 엔드포인트가 바쁘거나 설정된 제한에 도달하면, 게이트웨이는 회사가 이미 승인한 백업 경로를 따를 수 있습니다.직원은 특정 모델 배포가 너무 바빠서 오류를 보는 대신, 동일한 인사관리 보조원을 통해 답변을 계속 받을 수 있습니다.그 후, 직원이 휴가 신청 시작을 요청합니다.이 시점에서 에이전트는 모델 이상의 것이 필요합니다.직원의 세부 정보를 확인하고 올바른 요청을 생성할 수 있는 도구가 필요합니다.에이전트는 휴가 관리를 위한 승인된 mcp 도구 사용을 요청합니다.게이트웨이는 그 요청 또한 확인합니다.이 인사관리 에이전트가 이 도구를 호출할 수 있는가?이 직원이 이러한 유형의 요청을 시작할 권한이 있는가?해당 작업이 에이전트에 할당된 권한에 부합하는가?그제야 비로소 도구가 호출을 받게 됩니다.이 도구는 방대한 직원 기록 목록을 반환하지 않습니다.업무에 필요한 정보인 직원의 자녀 휴가 일수, 적용되는 정책, 그리고 요청이 초안으로 생성되었다는 확인 메시지만 반환합니다.이처럼 제한된 응답은 중요합니다.에이전트는 도움을 줄 충분한 정보는 갖추고 있지만, 평이한 언어로 질문했다고 해서 광범위한 접근 권한을 얻지는 못합니다. 이제 직원이 외부 문서의 텍스트를 채팅창에 붙여넣는 상황을 가정해보겠습니다.해당 텍스트에는 어시스턴트가 규칙을 무시하거나 기밀 정보를 요청하도록 유도하는 지침이 포함되어 있을 수 있습니다.게이트웨이는 프롬프트가 모델에 도달하거나 도구가 요청을 받기 전에 안전점검을 수행할 수 있습니다.요청이 규칙을 위반하면 그 단계에서 차단할 수 있습니다.동일한 방식의 점검을 통해 응답이 직원에게 전달되기 전에 검토할 수도 있습니다.모든 문제가 잘못된 프롬프트에서 비롯되는 것은 아닙니다.모델이 반환해서는 안 될 정보가 포함된 응답을 생성할 수도 있습니다.공유 제어 지점은 기업이 해당 경로를 검사하고 조치를 취할 수 있는 장소를 제공합니다.그동안 요청은 기록을 생성합니다.기업은 사용된 토큰을 HR 어시스턴트 프로젝트와 연결할 수 있습니다.어떤 모델이 질문을 처리했는지, 도구 부출이 성공했는지, 요청이 차단되었는지, 처리 시간이 얼마나 걸렸는지 확인할 수 있습니다.덕분에 지원과 검토가 훨씬 쉬워집니다. HR팀에서 직원이 휴가 요청을 생성할 수 없다고 보고하면 운영팀은 실패한 도구 부출을 찾아볼 수 있습니다.안전규칙이 유효한 질문을 차단하는 경우 패턴을 파악하여 정책을 개선할 수 있습니다.한 에이전트가 갑자기 평소보다 훨씬 많은 AI 리소스를 사용하면 그 변화를 즉시 감지할 수 있습니다.기업이 특정 휴가 요청 전 추가 확인을 요구하는 등 규칙을 업데이트할 경우, 게이트웨이 정책을 한 번만 수정하면 됩니다.동일한 제어 경로를 사용하는 모든 HR 앱, 책봇, 워크플로마다 별도로 코드를 업데이트할 필요가 없습니다.기업이 다른 모델, 새로운 지역, 더 많은 내부 도구 또는 관련 HR 작업을 처리하는 다른 에이전트를 추가해도 동일한 요청 패턴이 그대로 작동합니다.하지만 작게 시작하세요.게이트웨이는 AI 트래픽이 공유되기 시작할 때 유용해집니다. 어디서부터 시작해야 할까요?그렇다면 실제로 어디서부터 시작해야 할까요?이미 모델을 후출하는 지원 어시스턴트 나 HR, 재무, 내부 문서 검색을 위해 팀이 계획 중인 에이전트 등 단일 실무 워크로드를 선택하는 것부터 시작하세요.모든 모델과 모든 도구를 한꺼번에 처리하려고 하지 마세요.그것은 혼란으로 가는 지름길입니다.모든 애플리케이션의 공급자 키를 직접 주는 대신, 해당 워크로드의 모델 엔드포인트를 에이저 API 매니지먼트 AI 게이트웨이 뒤에 배치하세요. AI 트래픽을 위한 단일 보안 검문소라고 생각하세요.그런 다음 기본 사항을 설정하세요.워크로드에 명확한 소유자를 지정하세요.엔트라 기반 액세스를 사용하여 적절한 사람이나 서비스만 접근할 수 있도록 하세요.작업에 딱 맞는 토큰 제한을 설정하세요.너무 많지도 적지도 않게요.로깅을 켜서 무슨 일이 일어나고 있는지 확인할 수 있도록 하세요.팀이 테스트하고 검토할 수 있는 콘텐츠 안전 규칙을 하나 추가하세요.반순하게 시작하세요.모델 경로와 액세스 경계가 작동하면 승인된 MCP 도구를 하나씩 추가하세요.각 도구는 좁은 범위의 작업과 에이전트가 이를 사용해야 할 명확한 이유가 있어야 합니다.불필요한 추가 기능은 배제하세요.거기서부터 단일 통제 워크로드에서 공유 모델, 도구, 에이전트로 확장해나가는 것입니다.초기 통제 지점이 없으면 새로운 AI 앱이 생길 때마다 회사 데이터로의 관리되지 않는 경로가 하나 더 늘고AI 청구서 항목도 하나 더 늘어납니다.다음 핵심 정보를 알아보려면에이저 API 매니지먼트 심플리 익스플레인드를 확인하세요.그것이 바로 마이크로소프트 AI 게이트웨이가 기반으로 하는 토대입니다.감사합니다.