WEBVTT

00:00:00.000 --> 00:00:04.360
그렇다면 기업이 하나의 AI 책봇에서 수십 개의 AI 도구로 전환할 때 정확히 무엇이 바뀔까요?

00:00:04.520 --> 00:00:06.240
처음에는 간단하게 느껴집니다.

00:00:06.420 --> 00:00:08.920
한 팀은 고객 지원을 위해 책봇을 추가합니다.

00:00:09.180 --> 00:00:13.700
다른 팀은 AI를 사용해 회사 문서를 검색하고 회의록을 자동으로 작성합니다.

00:00:13.940 --> 00:00:18.300
워크플로우를 통해 이메일을 읽고 요청사항을 추출하여 올바른 시스템으로 보낼 수도 있습니다.

00:00:18.540 --> 00:00:24.060
얼마 지나지 않아 기업은 여러 모델, 작업을 수행하는 에이전트, 비즈니스 데이터에 접근하는 도구를 갖추게 됩니다.

00:00:24.060 --> 00:00:30.360
각 팀은 종종 자체 키, 자체 제한, 자체 안전 규칙을 사용하여 서로 다른 AI 제공업체에 직접 연결합니다.

00:00:30.500 --> 00:00:33.860
비용 추적이 어려워집니다. 키가 잘못된 곳으로 유출될 수 있습니다.

00:00:34.080 --> 00:00:37.760
또한 에이전트가 도구를 후출할 때 무엇을 수행하려고 했는지 명확하게 기록하는 사람이 없을 수도 있습니다.

00:00:37.960 --> 00:00:40.280
여기서 마이크로소프트 AI 게이트웨이가 등장합니다.

00:00:40.480 --> 00:00:46.440
이번 에피소드가 끝날 때쯤이면 이것이 무엇인지, 구성요소가 어떻게 결합되는지, 그리고 언제 기사의 비즈니스에 도입하는 것이 합리적인지 이해하게 될 것입니다.

00:00:46.580 --> 00:00:48.760
연문이 많은 사무실 빌딩을 상상해보세요.

00:00:48.760 --> 00:00:54.840
모든 문을 열어두고 사람들이 제대로 사용하기를 바라거나 관리되는 하나의 입구로 모두를 안내할 수 있습니다.

00:00:55.080 --> 00:00:56.820
AI를 위한 하나의 정문입니다.

00:00:57.060 --> 00:01:02.740
마이크로소프트 AI 게이트웨이는 AI 트래픽에 하나의 제어 지점을 제공하는 에이저 API 관리 기능 세트입니다.

00:01:02.940 --> 00:01:04.420
쉬운 말로 자세히 살펴보겠습니다.

00:01:04.820 --> 00:01:07.940
회사의 AI 설정을 현대적인 사무실 건물이라고 상상해보세요.

00:01:08.200 --> 00:01:10.320
AI 모델은 사고가 일어나는 방입니다.

00:01:10.600 --> 00:01:14.820
에이전트는 건물 안을 이동하며 다음에 수행할 승인된 작업을 결정하는 직원들입니다.

00:01:14.820 --> 00:01:20.480
도구는 인사, 제모, 고객 기록, 내부 파일과 같은 곳으로 연결되는 서비스 문입니다.

00:01:20.700 --> 00:01:24.420
AI 게이트웨이는 정문의 안내 데스크이자 보안 데스크입니다.

00:01:24.640 --> 00:01:30.720
누가 들어오는지 확인하고 규칙을 적용하며 유청이 건물의 나머지 부분에 도달하기 전에 어디로 가는지 기록합니다.

00:01:30.960 --> 00:01:32.700
유청은 간단한 경로를 따릅니다.

00:01:33.000 --> 00:01:36.480
앱, 코파일럿 또는 에이전트가 게이트웨이로 유청을 보냅니다.

00:01:36.700 --> 00:01:43.800
게이트웨이는 해당 후출자에게 적용되는 규칙을 확인한 다음 승인된 모델, 도구, 에이전트 또는 비즈니스 API로 전달합니다.

00:01:43.800 --> 00:01:48.260
응답이 돌아오면 사용자에게 도달하기 전에 다시 게이트웨이를 통과합니다.

00:01:48.480 --> 00:01:56.180
이 단일 경로는 기업이 모든 앱의 제어 기능을 구축할 필요 없이 액세스, 제한, 안전검사, 로깅을 관리할 수 있는 장소를 제공합니다.

00:01:56.380 --> 00:01:59.120
또한 이는 종종 혼재되는 두 가지 작업을 분리합니다.

00:01:59.380 --> 00:02:02.680
애플리케이션 팀은 사용자가 실제로 사용하는 경험에 집중할 수 있습니다.

00:02:02.940 --> 00:02:07.340
그들은 지원 어시스턴트, 문서 검색 화면 또는 시간을 절약해주는 워크플로우를 구축합니다.

00:02:07.340 --> 00:02:17.180
한편 플랫폼 팀은 마크에서 공유 규칙을 관리하며 어떤 서비스를 승인할지, 어떤 아이디가 이를 사용할 수 있는지, 프로젝트가 전송할 트래픽 양과 무엇을 기록할지 결정합니다.

00:02:17.360 --> 00:02:20.460
모든 팀이 책본마다 새로운 보안 계획을 고안하게 할 수는 없습니다.

00:02:20.780 --> 00:02:24.320
마이크로소프트 AI 게이트웨이는 여러 종류의 AI 트래픽 앞에 배치될 수 있습니다.

00:02:24.540 --> 00:02:29.000
AI 모델에 대한 호출과 모델 컨텍스트 프로토콜, MCP, 도구 호출을 관리할 수 있습니다.

00:02:29.000 --> 00:02:38.940
또한 에이전트 간 AI 트래픽과 기사가 이미 사용 중인 비즈니스 API, 예, 주문 확인, 인사 정책 읽기, 지원 티켓 열기용 API, 도 관리할 수 있습니다.

00:02:39.140 --> 00:02:43.920
대부분의 기업은 AI를 사용하기 위해 기존 시스템을 버릴 필요가 없으므로 마지막 부분이 중요합니다.

00:02:44.100 --> 00:02:49.360
그저 AI가 이러한 시스템과 작동할 안전한 방법이 필요할 뿐이며, 게이트웨이는 해당 연결 주변에 제어를 설정하는 데 도움을 줍니다.

00:02:49.560 --> 00:02:52.000
이제 마이크로소프트 AI 게이트웨이는 모델이 아닙니다.

00:02:52.200 --> 00:02:53.740
스스로 답변을 작성하지도 않습니다.

00:02:53.960 --> 00:02:55.140
에이전트 빌더도 아닙니다.

00:02:55.140 --> 00:02:58.720
따라서 인사도우미를 설계하거나 재무 에이전트에게 무엇을 해야 할지 가르치는데 사용하지 않습니다.

00:02:58.860 --> 00:03:03.320
그리고 팀이 AI 프로젝트를 구축, 테스트, 관리할 수 있는 마이크로소프트 파운드리를 대체하지도 않습니다.

00:03:03.480 --> 00:03:05.060
대신 그 중간에 위치합니다.

00:03:05.280 --> 00:03:13.080
파운드리는 AI 모델 및 에이전트 작업을 돕고, 에이저 API 매니지먼트 AI 게이트웨이는 해당 모델, 에이전트 및 도구가 생성하는 트래픽을 제어하는 데 도움을 줍니다.

00:03:13.280 --> 00:03:17.320
이미 에이저 API 매니지먼트를 일반 API를 관리하는 방법으로 알고 계실 수도 있습니다.

00:03:17.320 --> 00:03:21.780
API는 단순히 하나의 소프트웨어가 다른 소프트웨어에 무언가를 요청하는 방법일 뿐입니다.

00:03:21.960 --> 00:03:24.580
AI 게이트웨이는 AI 작업을 위해 동일한 아이디어를 확장합니다.

00:03:24.760 --> 00:03:26.680
AI 요청은 새로운 질문을 가져오기 때문입니다.

00:03:26.840 --> 00:03:28.120
누가 어떤 모델을 사용했나요?

00:03:28.260 --> 00:03:29.640
얼마나 많은 토큰을 소비했나요?

00:03:29.780 --> 00:03:31.560
이 에이전트가 저 도구를 호출할 수 있나요?

00:03:31.680 --> 00:03:33.380
이 프롬프트가 모델에 도달해야 할까요?

00:03:33.520 --> 00:03:36.900
게이트웨이를 중간에 배치하면 이러한 질문에 답변할 수 있는 단일 창구가 생깁니다.

00:03:37.080 --> 00:03:41.780
그리고 모든 애플리케이션이 자체 모델 엔드포인트를 선택하기 시작할 때 첫 번째 압박 지점이 나타납니다.

00:03:41.780 --> 00:03:49.880
하나의 엔드포인트, 다양한 모델, 애플리케이션이 단일 모델 엔드포인트에 직접 연결되면 해당 선택이 코드 자체에 고정됩니다.

00:03:50.100 --> 00:03:56.040
종종 코드는 하나의 공급자, 하나의 특정 배포, 하나의 에이저 리전 및 고정된 제한 세트의 무기입니다.

00:03:56.200 --> 00:04:01.200
프로젝트가 작을 때는 괜찮지만 지원 시스템이 한 리전의 한 모델에서 실행된다고 가정해보십시오.

00:04:01.320 --> 00:04:07.520
몇 달 후 해당 모델이 용량에 도달하거나 더 저렴하고 더 나은 모델이 나오거나 비즈니스가 다른 리전으로 이동해야 할 수 있습니다.

00:04:07.520 --> 00:04:12.900
공유계층이 없으면 모든 앱팀이 코드를 변경하고 다시 테스트하고 업데이트를 배포해야 합니다.

00:04:13.060 --> 00:04:15.000
이는 느리고 복잡한 변화를 초래합니다.

00:04:15.220 --> 00:04:18.640
마이크로소프트 AI 게이트웨이는 애플리케이션을 위한 안정적인 관문을 제공합니다.

00:04:18.820 --> 00:04:23.060
애플리케이션이 이곳으로 요청을 보내면 앱을 직접 수정하지 않아도 모델 선택을 유연하게 변경할 수 있습니다.

00:04:23.260 --> 00:04:24.860
기업 대표 전화번호를 생각해보세요.

00:04:25.140 --> 00:04:28.720
고객은 하나의 번호로 전화를 걸면 실제 통화는 다른 팀이나 사무실로 연결될 수 있습니다.

00:04:28.940 --> 00:04:31.160
고객은 그 과정이 어떻게 처리되는지 알 필요가 없습니다.

00:04:31.160 --> 00:04:37.640
AI 게이트웨이를 사용하면 앱은 하나의 승인된 엔드포인트만 호출하며 게이트웨이는 그 뒤에서 작업에 가장 적합한 모델로 요청을 전송합니다.

00:04:37.960 --> 00:04:42.040
마이크로소프트는 유니파이드 모델 API라는 새로운 접근 방식도 제공합니다.

00:04:42.240 --> 00:04:50.820
쉽게 말해 애플리케이션이 오픈아이 방식의 요청을 사용하면 게이트웨이가 그 요청을 뒷단해서 다양한 모델 공급업체와 연결해주는 방식입니다.

00:04:51.000 --> 00:04:56.660
따라서 앱은 익숙한 형식으로 요청을 보내고 게이트웨이가 공급업체 관련 세부사항을 모두 처리합니다.

00:04:56.660 --> 00:05:04.520
설정에 따라 해당 요청은 에이저 오픈아이 배포, 마이크로소프트 파운드리, 엔스로픽, 구글 재미나이 또는 아마존 배드락 위 모델로 전달될 수 있습니다.

00:05:04.700 --> 00:05:08.920
경로는 애플리케이션마다 하드코딩된 방식이 아니라 사용자가 설정한 규칙에 따라 결정됩니다.

00:05:09.100 --> 00:05:13.140
이를 통해 플랫폼팀은 앱 사용자에게 영향을 주지 않고 자유롭게 변경 작업을 수행할 수 있습니다.

00:05:13.340 --> 00:05:16.140
예를 들어 고객 지원용 AI 어시스턴트를 운영한다고 가정해보겠습니다.

00:05:16.440 --> 00:05:17.820
대부분의 질문은 단순합니다.

00:05:18.020 --> 00:05:21.260
주문한 상품은 어디에 있나요? 비밀번호는 어떻게 재설정하나요?

00:05:21.260 --> 00:05:25.400
이러한 질문은 더 작고 저렴한 모델로 빠르게 답변할 수 있어 불필요한 비용을 줄일 수 있습니다.

00:05:25.560 --> 00:05:29.440
그런데 고객이 주의 깊은 추론이나 제품 지식이 필요한 길고 특이한 질문을 보낼 때가 있습니다.

00:05:29.680 --> 00:05:32.980
그럴 때 게이트웨이는 해당 유형의 요청을 더 성능이 뛰어난 모델로 전달합니다.

00:05:33.180 --> 00:05:41.180
지원 앱은 여전히 동일한 방식으로 요청을 보냄으로 팀은 어떤 모델이 질문을 처리했는지 알 필요가 없고 개발자도 옵션마다 별도의 연결을 설정할 필요가 없습니다.

00:05:41.440 --> 00:05:43.140
용량 문제는 어떻게 해결할까요?

00:05:43.340 --> 00:05:45.340
AI 모델 엔드포인트에는 한계가 있습니다.

00:05:45.660 --> 00:05:48.580
일정 시간 동안 처리할 수 있는 트래픽 양이 정해져 있기 때문입니다.

00:05:48.580 --> 00:05:53.600
모든 요청이 하나의 배포에 몰리면 한 시간만 바빠도 전체 서비스가 느려지거나 중단될 수 있습니다.

00:05:53.800 --> 00:06:00.840
게이트웨이는 트래픽을 승인된 여러 배포로 분산하여 하나가 꽉 차면 다른 리전으로 라우팅하거나 엔드포인트가 다운되면 백업 경로를 사용합니다.

00:06:01.020 --> 00:06:03.400
물론 요청이 무작위로 튀어야 한다는 뜻은 아닙니다.

00:06:03.560 --> 00:06:05.360
규칙은 여전히 사용자가 설정합니다.

00:06:05.560 --> 00:06:15.480
예를 들어 고객 대상 트래픽은 메인 모델에 우선권을 주고 내부 테스트는 다른 경로를 사용하거나 한 리전이 로컬 사용자를 처리하는 동안 다른 리전이 백업 역할을 수행하게 할 수 있습니다.

00:06:15.820 --> 00:06:16.920
핵심은 간단합니다.

00:06:16.920 --> 00:06:23.880
애플리케이션은 단일 제어 관문에 연결되고 플랫폼은 그 뒤에서 모델, 리전, 공급업체를 최소한의 중단으로 조정할 수 있습니다.

00:06:24.080 --> 00:06:26.520
AI 기술은 빠르게 발전하기 때문에 이 점이 매우 중요합니다.

00:06:26.680 --> 00:06:29.460
오늘 잘 작동하는 모델이 다음 달에는 최선의 선택이 아닐 수도 있기 때문입니다.

00:06:29.620 --> 00:06:33.440
모든 앱이 제공업체와 직접 통신한다면 모델을 변경하는 것은 모든 팀의 프로젝트가 됩니다.

00:06:33.660 --> 00:06:36.980
게이트웨이를 사용하면 모델 결정사항이 하나의 공유된 장소에 존재합니다.

00:06:37.160 --> 00:06:39.400
통합 모델 API에 대한 짧은 언급입니다.

00:06:39.900 --> 00:06:42.020
마이크로소프트는 이를 공개 미리 보기로 제공합니다.

00:06:42.200 --> 00:06:45.820
미리 보기 기능은 변경될 수 있으며 모든 프로덕션 사용 사례에 준비되지 않았을 수 있습니다.

00:06:46.020 --> 00:06:48.740
그럼에도 더 큰 패턴은 특정 기능 하나에 의존하지 않습니다.

00:06:48.960 --> 00:06:54.900
API 관리가 이미 모델 엔드포인트 앞에 위치하여 라우팅 규칙을 적용하고 여러 백엔들을 관리하도록 도울 수 있기 때문입니다.

00:06:55.060 --> 00:06:59.500
통합 모델 API는 애플리케이션의 공급업체 간 경험을 더 쉽게 만드는 것을 목표로 합니다.

00:06:59.500 --> 00:07:02.400
올바른 모델을 선택하는 것은 절반의 작업일 뿐입니다.

00:07:02.560 --> 00:07:07.900
모델은 질문에 답할 수 있지만 에이전트는 실제 회사 시스템에 접근하는 작업을 수행하기로 결정할 수 있기 때문입니다.

00:07:08.100 --> 00:07:09.700
에이전트 및 도구 거버넌스

00:07:09.700 --> 00:07:13.020
에이전트는 AI를 단순히 질문에 답하는 수준 이상으로 끌어올립니다.

00:07:13.280 --> 00:07:18.340
이는 작업을 살펴보고 승인된 옵션 중에서 선택하여 도구나 서비스를 호출해 업무를 완수하는 소프트웨어입니다.

00:07:18.340 --> 00:07:24.760
인사 에이전트는 휴가 정책을 조회하고 지원 에이전트는 주문을 확인하며 재무 에이전트는 결제 요청을 준비할 수 있습니다.

00:07:24.960 --> 00:07:27.860
이러한 능력은 유용하지만 위험 프로필도 변화시킵니다.

00:07:27.860 --> 00:07:35.520
모델의 잘못된 답변은 사람을 혼란스럽게 하지만 잘못된 도구를 사용하는 에이전트는 데이터를 노출하거나 기록을 변경하거나 건드려서는 안 될 프로세스를 실행할 수 있습니다.

00:07:35.740 --> 00:07:37.820
이것이 도구의 자체 규칙이 필요한 이유입니다.

00:07:38.060 --> 00:07:41.400
mcp 즉 모델 컨텍스트 프로토콜이라는 용어를 들어보셨을 것입니다.

00:07:41.400 --> 00:07:48.160
이를 에이전트가 문서검색 서비스나 주문 조회 api와 같은 회사 도구를 찾고 사용할 수 있는 표준 커넥터 형태라고 생각하십시오.

00:07:48.260 --> 00:07:53.500
모든 에이전트와 시스템에 대해 서로 다른 연결을 구축하는 대신 mcp는 팀에게 공통 패턴을 제공합니다.

00:07:53.660 --> 00:07:57.840
다음은 에이전트 간 통신 방식인 aea 에이전트 투 에이전트입니다.

00:07:58.040 --> 00:08:03.580
예를 들어 지원 에이전트는 배송 시스템을 직접 이해하려 하지 않고 배송 에이전트에게 배송 세부 정보를 요청합니다.

00:08:03.580 --> 00:08:10.660
이론적으로는 깔끔하게 들리지만 모든 연결의 액세스 규칙이 다르고 자격증명이 숨겨져 있으며 도구가 알려지지 않은 경우 에이전트 체인은 복잡해집니다.

00:08:10.800 --> 00:08:13.640
송장 질문에 답변하는 재무 에이전트를 상상해보십시오.

00:08:13.760 --> 00:08:20.720
승인된 송장 조회 도구만 사용해야 하지만 누군가 제한된 도구를 정의하는 것보다 빠르다는 이유로 재무 시스템에 대한 광범위한 액세스 권한을 부여합니다.

00:08:23.500 --> 00:08:26.680
에이전트의 문서에 숨겨진 지침이 에이전트를 승인되지 않은 작업으로 유도합니다.

00:08:26.920 --> 00:08:32.320
에이전트의 액세스 권한이 너무 많으면 불필요한 데이터를 요청하거나 사람의 승인이 필요한 워크플로우를 시작할 수 있습니다.

00:08:32.400 --> 00:08:37.220
에이전트는 악의적이지 않습니다. 단지 신뢰할 수 없는 입력을 처리할 때 너무 많은 자유가 주어졌을 뿐입니다.

00:08:37.380 --> 00:08:42.240
마이크로소프트 ai 게이트웨이를 사용하면 mcp 서버와 비즈니스 api 앞에 제어 기능을 배치할 수 있습니다.

00:08:42.480 --> 00:08:47.580
ai 앱에서 데이터베이스로 직접 연결하는 대신 특정 작업을 위한 작고 통제된 도구만 노출합니다.

00:08:47.580 --> 00:08:55.040
예를 들어 에이전트가 이 주문 상태를 확인해줘 라고 요청합니다. 이 도구는 모든 주문이나 전체 고객 기록이 아닌 해당 상태 정보만 반환합니다.

00:08:55.260 --> 00:08:59.180
이것은 제한적인 작업이며 게이트웨이는 호출을 허용하기 전에 누가 요청하는지 확인합니다.

00:08:59.360 --> 00:09:01.180
이 설정의 중심에는 아이디가 있습니다.

00:09:01.540 --> 00:09:06.360
마이크로소프트 엔트라 아이디를 사용하면 앱은 공급자 키를 공유하는 대신 관리 아이디를 통해 로그인합니다.

00:09:06.580 --> 00:09:10.660
관리 아이디는 개발자가 코드의 보안 비밀을 복사할 필요 없이 자신의 신원을 증명합니다.

00:09:10.660 --> 00:09:12.860
각 에이전트는 고유한 아이디를 가져야 합니다.

00:09:13.040 --> 00:09:18.960
그렇게 하면 어떤 에이전트가 도구를 호출했는지 파악하고 다른 에이전트에게 영향을 주지 않으면 서특정 에이전트의 액세스 권한을 취소하거나 다른 규칙을 적용할 수 있습니다.

00:09:19.120 --> 00:09:22.940
인사 HR 에이전트가 둘 다 AI를 사용한다는 이유만으로 제모 에이전트의 권한을 상속받아서는 안 됩니다.

00:09:23.140 --> 00:09:24.680
이는 제로 트러스트 원칙을 따릅니다.

00:09:24.920 --> 00:09:30.160
모든 요청을 검사하고 현재 작업에 필요한 액세스 권한만 부여하며 모든 프롬프트나 도구 응답이 안전하지 않을 수 있다고 가정합니다.

00:09:30.160 --> 00:09:33.580
실제로는 에이전트가 하나의 특정 도구와 작업에 대해서만 권한을 얻게 됩니다.

00:09:33.740 --> 00:09:36.560
휴가 잔액은 읽을 수 있지만 급여 파일을 다운로드할 수는 없습니다.

00:09:36.840 --> 00:09:39.700
지원 티켓 초안을 작성할 수는 있지만 사례를 종결할 수는 없습니다.

00:09:39.980 --> 00:09:43.220
게이트웨이는 또한 프롬프트와 도구 트래픽에 안전검사를 적용합니다.

00:09:43.420 --> 00:09:48.760
요청에 유해한 콘텐츠 나 시스템 밖으로 나가면 안 되는 데이터가 포함되어 있으면 정책에 따라 백엔드에 도달하기 전에 차단됩니다.

00:09:48.760 --> 00:09:55.240
필터가 모든 것을 잡아낼 수는 없지만 공유 지점에서 트래픽을 검사하는 것이 각 에이전트 개발자가 동일한 보호 기능을 추가하기를 기대하는 것보다 훨씬 안전합니다.

00:09:55.360 --> 00:09:57.440
또한 승인된 도구 카탈로그가 필요합니다.

00:09:57.680 --> 00:10:05.080
api센터는 api와 mcp 서비스를 위한 개인 카탈로그 역할을 함으로 팀은 오래된 문서를 검색하거나 검증되지 않은 웹주소를 복사할 필요 없이 적절한 도구를 찾을 수 있습니다.

00:10:05.280 --> 00:10:09.680
이는 내 에이전트가 어떤 도구를 사용할 수 있는가를 통제된 비즈니스 의사 결정으로 전환하는 데 도움이 됩니다.

00:10:09.880 --> 00:10:12.980
보안 제어는 경로를 보호하지만 새로운 질문을 야기하기도 합니다.

00:10:12.980 --> 00:10:17.160
어떤 팀이 해당 경로를 사용하고 있으며 얼마나 많은 ai 사용량을 발생시키고 있을까요?

00:10:17.280 --> 00:10:19.160
토큰 비용, 제한 및 가시성입니다.

00:10:19.360 --> 00:10:21.940
ai 비용은 일반적인 소프트웨어 라이선스와 다르게 작동합니다.

00:10:22.100 --> 00:10:23.580
측정은 토큰을 기준으로 이루어집니다.

00:10:23.740 --> 00:10:24.700
토큰이란 무엇일까요?

00:10:24.880 --> 00:10:25.900
작은 텍스트 조각입니다.

00:10:26.120 --> 00:10:27.600
짧은 단어는 토큰 하나를 사용할 수 있습니다.

00:10:27.780 --> 00:10:29.220
긴 단어는 더 많은 토큰을 사용합니다.

00:10:29.420 --> 00:10:31.200
모델은 사용자가 보내는 모든 것을 계산합니다.

00:10:31.420 --> 00:10:35.560
질문, 추가하는 지침, 첨부하는 문서, 그리고 모델이 돌려주는 답변까지 모두 포함됩니다.

00:10:35.560 --> 00:10:44.180
따라서 간단한 질문은 매우 적게 사용하지만, 긴 정책 문서를 읽고 추가 질문을 하며 도구를 호출한 뒤 상세한 답변을 생성하는 에이전트는 예상보다 훨씬 많은 토큰을 사용할 수 있습니다.

00:10:44.360 --> 00:10:45.680
회의록을 예로 들어보겠습니다.

00:10:46.080 --> 00:10:47.880
몇 페이지 분량의 메모를 보게 되죠.

00:10:48.080 --> 00:10:53.840
ai 시스템은 시스템 지침, 회의록, 검색된 회사 데이터, 도구 결과, 그리고 최종 응답까지 모두 처리합니다.

00:10:54.020 --> 00:10:55.700
모든 부분이 사용량에 포함됩니다.

00:10:55.920 --> 00:10:59.480
그래서 바쁜 에이전트 하나가 공유 모델 제안을 놀라울 정도로 빨리 소진할 수 있습니다.

00:10:59.700 --> 00:11:02.980
금요일 오후에 새로운 마케팅 어시스턴트를 테스트하는 팀을 상상해보세요.

00:11:02.980 --> 00:11:08.320
누군가 방대한 캠페인 파일 세트를 입력하고 반복해서 비교, 재작성, 요약을 요청합니다.

00:11:08.480 --> 00:11:12.600
그동안 고객 지원팀은 도움을 받으려는 사람들을 위해 같은 모델 용량을 사용해야 합니다.

00:11:12.800 --> 00:11:17.960
테스트 작업이 공유 할당량을 다 써버리면, 정작 고객이 필요할 때 지원 어시스턴트가 느려지거나 작동하지 않을 수 있습니다.

00:11:18.180 --> 00:11:20.500
문제는 단순히 비용이 발생했다는 점이 아닙니다.

00:11:20.700 --> 00:11:23.640
중요한 업무에 필요한 용량을 중요하지 않은 작업이 가져간 것이죠.

00:11:23.820 --> 00:11:28.160
에이저 API 매니지먼트 AI 게이트웨이를 사용하면 이런 일이 발생하기 전에 제안을 적용할 수 있습니다.

00:11:28.160 --> 00:11:33.580
앱, 팀, 프로젝트, 사용자별로 요청 제한, 토큰 제한, 할당량을 설정할 수 있습니다.

00:11:33.780 --> 00:11:39.220
할당량은 짧은 시간 단위인 분당 토큰 수부터 1일 또는 월간 허용량 같은 긴 기간까지 설정 가능합니다.

00:11:39.400 --> 00:11:41.600
이를 통해 각 작업의 경계를 설정할 수 있습니다.

00:11:41.840 --> 00:11:44.540
마케팅 어시스턴트에는 목적에 맞는 예산을 부여할 수 있습니다.

00:11:44.780 --> 00:11:47.900
고객 지원팀은 별도의 허용량을 갖고 더 높은 우선순위를 가질 수 있습니다.

00:11:48.120 --> 00:11:52.220
마케팅 어시스턴트가 제안에 도달하면 게이트웨이가 다음 요청을 거부하거나 속도를 늦출 수 있습니다.

00:11:52.220 --> 00:11:56.220
테스트 프로젝트 하나가 모든 가용 자원을 독점할 수 없으므로 고객 지원 서비스는 계속 운영됩니다.

00:11:56.360 --> 00:11:58.640
이는 월간 비용에 대한 논의 방식도 변화시킵니다.

00:11:58.800 --> 00:12:04.000
통합된 시야가 없다면 재무팀은 거액의 AI 청구서를 받고 누가 이렇게 많이 썼지? 라고 묻게 될 것입니다.

00:12:04.220 --> 00:12:08.380
팀들이 공유키로 다양한 서비스에 직접 연결하면 답을 찾기가 어려울 수 있습니다.

00:12:08.620 --> 00:12:13.900
게이트웨이는 호출자, 모델, 토큰 사용량, 응답상태, 요청과 연결된 도구 호출을 기록할 수 있습니다.

00:12:14.100 --> 00:12:16.240
이를 통해 더 명확한 추적 기록을 얻을 수 있습니다.

00:12:16.240 --> 00:12:24.520
비용이 인사팀 어시스턴트에서 발생했는지, 개발자 테스트 환경인지, 고객용 책봇인지, 아니면 오류 후 계속 제시도한 에이전트 때문인지 확인할 수 있습니다.

00:12:24.700 --> 00:12:29.180
특정 애플리케이션이 평소보다 훨씬 큰 프롬프트를 보내는 것과 같은 비정상적인 패턴도 포착할 수 있습니다.

00:12:29.360 --> 00:12:33.140
팀이 마이크로소프트 파운드리에서 시작한다면 게이트웨이를 해당 작업에 연결할 수도 있습니다.

00:12:33.340 --> 00:12:37.920
파운드리 프로젝트는 프로젝트 수준의 토큰 제안을 사용하고 게이트웨이는 그 주변에 트래픽 규칙을 적용합니다.

00:12:37.920 --> 00:12:43.480
이를 통해 AI 개발자는 더 간편하게 시작하고, 플랫폼 팀은 제안과 모니터링을 통합된 곳에서 관리할 수 있습니다.

00:12:43.680 --> 00:12:45.960
시멘틱 캐싱이라는 유용한 기능도 있습니다.

00:12:46.200 --> 00:12:49.720
예를 들어 한 직원이 출장 규정을 어디서 찾을 수 있죠? 라고 묻습니다.

00:12:49.980 --> 00:12:53.780
몇 초 후 다른 직원이 우리 출장 정책이 어디에 있나요? 라고 묻습니다.

00:12:54.040 --> 00:13:00.020
단어는 다르지만 의미가 충분히 비슷하다면, 게이트웨이는 모델을 다시 호출하는 대신 이전에 적절했던 답변을 재사용할 수 있습니다.

00:13:00.220 --> 00:13:02.640
이는 비용을 절감하고 응답 속도를 높일 수 있습니다.

00:13:02.880 --> 00:13:04.880
재사용이 합당한 질문에만 적용됩니다.

00:13:04.880 --> 00:13:10.020
누군가의 현재 휴가 잔여 일수나 주문 상태에 대한 요청은 답변이 바뀔 수 있기 때문에 캐싱하지 않을 것입니다.

00:13:10.200 --> 00:13:12.180
라우팅 또한 비용 절감에 도움이 됩니다.

00:13:12.440 --> 00:13:20.020
기업은 적절한 작업을 저비용 모델로 보내고, 추가 비용을 지불하기 전에 이미 예약해둔 용량을 사용하며, 제한이 발생하면 백업 경로로 전환할 수 있습니다.

00:13:20.240 --> 00:13:23.200
그렇다고 게이트웨이가 주인 의식의 필요성을 없애주는 것은 아닙니다.

00:13:23.360 --> 00:13:24.580
팀에는 예산이 필요합니다.

00:13:24.860 --> 00:13:26.700
누군가는 모델의 답변을 검토해야 합니다.

00:13:26.920 --> 00:13:29.220
누군가는 에이전트의 존재 여부를 결정해야 합니다.

00:13:29.420 --> 00:13:32.600
게이트웨이는 측정 도구, 가드레일, 그리고 트래픽 기록을 제공합니다.

00:13:32.600 --> 00:13:34.840
비즈니스 결정을 대신 내려주지는 않습니다.

00:13:34.980 --> 00:13:39.580
트래픽을 확인하고 제어할 수 있게 되면, 전체 설정을 일상적인 예시로 이해하기가 더 쉬워집니다.

00:13:39.740 --> 00:13:41.000
간단한 요청 여정입니다.

00:13:41.200 --> 00:13:43.140
회사 내 인사관리 보조원을 상상해보세요.

00:13:43.420 --> 00:13:47.800
한 직원이 육아휴직을 며칠이나 쓸 수 있고, 요청을 대신 시작해줄 수 있나요? 라고 묻습니다.

00:13:48.060 --> 00:13:49.080
목표는 간단합니다.

00:13:49.320 --> 00:13:52.780
직원에게 빠르고 유용한 답변을 제공하고, 승인된 다음 단계를 지원하는 것입니다.

00:13:52.980 --> 00:13:58.580
하지만 인사관리 보조원은 급여 데이터를 유출하거나, 모든 인사 파일을 열람하거나, 코드 내의 모델 제공업체의 키를 포함해서는 안됩니다.

00:13:58.580 --> 00:14:00.740
요청은 직원이 로그인할 때 시작됩니다.

00:14:00.900 --> 00:14:08.460
보조원이 모델이나 도구로 무언가를 보내기 전에, 게이트웨이는 직원이 누구인지, 인사관리 보조원을 사용할 수 있는지, 그리고 해당 앱에 어떤 제한이 적용되는지 확인합니다.

00:14:08.640 --> 00:14:12.540
직원은 하나의 간단한 채팅창만 보지만, 이러한 확인 절차는 보이지 않는 곳에서 이루어집니다.

00:14:12.700 --> 00:14:14.700
다음으로, 보조원은 답변이 필요합니다.

00:14:14.880 --> 00:14:18.380
기본적인 규정 질문은 회사가 승인한 모델 엔드포인트로 전달될 수 있습니다.

00:14:18.660 --> 00:14:24.920
만약 해당 엔드포인트가 바쁘거나 설정된 제한에 도달하면, 게이트웨이는 회사가 이미 승인한 백업 경로를 따를 수 있습니다.

00:14:24.920 --> 00:14:31.100
직원은 특정 모델 배포가 너무 바빠서 오류를 보는 대신, 동일한 인사관리 보조원을 통해 답변을 계속 받을 수 있습니다.

00:14:31.320 --> 00:14:33.680
그 후, 직원이 휴가 신청 시작을 요청합니다.

00:14:33.880 --> 00:14:36.300
이 시점에서 에이전트는 모델 이상의 것이 필요합니다.

00:14:36.500 --> 00:14:39.880
직원의 세부 정보를 확인하고 올바른 요청을 생성할 수 있는 도구가 필요합니다.

00:14:40.080 --> 00:14:43.280
에이전트는 휴가 관리를 위한 승인된 mcp 도구 사용을 요청합니다.

00:14:43.520 --> 00:14:45.260
게이트웨이는 그 요청 또한 확인합니다.

00:14:45.460 --> 00:14:47.640
이 인사관리 에이전트가 이 도구를 호출할 수 있는가?

00:14:47.800 --> 00:14:50.220
이 직원이 이러한 유형의 요청을 시작할 권한이 있는가?

00:14:50.220 --> 00:14:52.900
해당 작업이 에이전트에 할당된 권한에 부합하는가?

00:14:53.020 --> 00:14:55.060
그제야 비로소 도구가 호출을 받게 됩니다.

00:14:55.260 --> 00:14:58.100
이 도구는 방대한 직원 기록 목록을 반환하지 않습니다.

00:14:58.300 --> 00:15:05.420
업무에 필요한 정보인 직원의 자녀 휴가 일수, 적용되는 정책, 그리고 요청이 초안으로 생성되었다는 확인 메시지만 반환합니다.

00:15:05.640 --> 00:15:07.340
이처럼 제한된 응답은 중요합니다.

00:15:07.600 --> 00:15:12.620
에이전트는 도움을 줄 충분한 정보는 갖추고 있지만, 평이한 언어로 질문했다고 해서 광범위한 접근 권한을 얻지는 못합니다.

00:15:12.800 --> 00:15:16.160
이제 직원이 외부 문서의 텍스트를 채팅창에 붙여넣는 상황을 가정해보겠습니다.

00:15:16.160 --> 00:15:21.860
해당 텍스트에는 어시스턴트가 규칙을 무시하거나 기밀 정보를 요청하도록 유도하는 지침이 포함되어 있을 수 있습니다.

00:15:22.080 --> 00:15:26.540
게이트웨이는 프롬프트가 모델에 도달하거나 도구가 요청을 받기 전에 안전점검을 수행할 수 있습니다.

00:15:26.760 --> 00:15:29.200
요청이 규칙을 위반하면 그 단계에서 차단할 수 있습니다.

00:15:29.400 --> 00:15:32.900
동일한 방식의 점검을 통해 응답이 직원에게 전달되기 전에 검토할 수도 있습니다.

00:15:33.160 --> 00:15:36.000
모든 문제가 잘못된 프롬프트에서 비롯되는 것은 아닙니다.

00:15:36.220 --> 00:15:39.640
모델이 반환해서는 안 될 정보가 포함된 응답을 생성할 수도 있습니다.

00:15:39.640 --> 00:15:43.820
공유 제어 지점은 기업이 해당 경로를 검사하고 조치를 취할 수 있는 장소를 제공합니다.

00:15:44.000 --> 00:15:45.600
그동안 요청은 기록을 생성합니다.

00:15:45.840 --> 00:15:49.020
기업은 사용된 토큰을 HR 어시스턴트 프로젝트와 연결할 수 있습니다.

00:15:49.240 --> 00:15:54.880
어떤 모델이 질문을 처리했는지, 도구 부출이 성공했는지, 요청이 차단되었는지, 처리 시간이 얼마나 걸렸는지 확인할 수 있습니다.

00:15:55.060 --> 00:15:57.220
덕분에 지원과 검토가 훨씬 쉬워집니다.

00:15:57.400 --> 00:16:03.000
HR팀에서 직원이 휴가 요청을 생성할 수 없다고 보고하면 운영팀은 실패한 도구 부출을 찾아볼 수 있습니다.

00:16:03.260 --> 00:16:07.380
안전규칙이 유효한 질문을 차단하는 경우 패턴을 파악하여 정책을 개선할 수 있습니다.

00:16:07.380 --> 00:16:12.380
한 에이전트가 갑자기 평소보다 훨씬 많은 AI 리소스를 사용하면 그 변화를 즉시 감지할 수 있습니다.

00:16:12.560 --> 00:16:18.660
기업이 특정 휴가 요청 전 추가 확인을 요구하는 등 규칙을 업데이트할 경우, 게이트웨이 정책을 한 번만 수정하면 됩니다.

00:16:18.900 --> 00:16:24.940
동일한 제어 경로를 사용하는 모든 HR 앱, 책봇, 워크플로마다 별도로 코드를 업데이트할 필요가 없습니다.

00:16:25.240 --> 00:16:33.740
기업이 다른 모델, 새로운 지역, 더 많은 내부 도구 또는 관련 HR 작업을 처리하는 다른 에이전트를 추가해도 동일한 요청 패턴이 그대로 작동합니다.

00:16:33.940 --> 00:16:35.180
하지만 작게 시작하세요.

00:16:35.180 --> 00:16:38.680
게이트웨이는 AI 트래픽이 공유되기 시작할 때 유용해집니다.

00:16:38.840 --> 00:16:40.140
어디서부터 시작해야 할까요?

00:16:40.340 --> 00:16:42.420
그렇다면 실제로 어디서부터 시작해야 할까요?

00:16:42.620 --> 00:16:50.040
이미 모델을 후출하는 지원 어시스턴트 나 HR, 재무, 내부 문서 검색을 위해 팀이 계획 중인 에이전트 등 단일 실무 워크로드를 선택하는 것부터 시작하세요.

00:16:50.260 --> 00:16:52.940
모든 모델과 모든 도구를 한꺼번에 처리하려고 하지 마세요.

00:16:53.140 --> 00:16:54.720
그것은 혼란으로 가는 지름길입니다.

00:16:54.960 --> 00:17:01.160
모든 애플리케이션의 공급자 키를 직접 주는 대신, 해당 워크로드의 모델 엔드포인트를 에이저 API 매니지먼트 AI 게이트웨이 뒤에 배치하세요.

00:17:01.160 --> 00:17:03.940
AI 트래픽을 위한 단일 보안 검문소라고 생각하세요.

00:17:04.140 --> 00:17:05.660
그런 다음 기본 사항을 설정하세요.

00:17:05.860 --> 00:17:07.640
워크로드에 명확한 소유자를 지정하세요.

00:17:07.820 --> 00:17:10.820
엔트라 기반 액세스를 사용하여 적절한 사람이나 서비스만 접근할 수 있도록 하세요.

00:17:11.020 --> 00:17:12.680
작업에 딱 맞는 토큰 제한을 설정하세요.

00:17:12.920 --> 00:17:14.080
너무 많지도 적지도 않게요.

00:17:14.300 --> 00:17:16.260
로깅을 켜서 무슨 일이 일어나고 있는지 확인할 수 있도록 하세요.

00:17:16.400 --> 00:17:18.860
팀이 테스트하고 검토할 수 있는 콘텐츠 안전 규칙을 하나 추가하세요.

00:17:19.040 --> 00:17:20.060
반순하게 시작하세요.

00:17:20.320 --> 00:17:24.220
모델 경로와 액세스 경계가 작동하면 승인된 MCP 도구를 하나씩 추가하세요.

00:17:24.220 --> 00:17:28.120
각 도구는 좁은 범위의 작업과 에이전트가 이를 사용해야 할 명확한 이유가 있어야 합니다.

00:17:28.260 --> 00:17:29.920
불필요한 추가 기능은 배제하세요.

00:17:30.140 --> 00:17:34.480
거기서부터 단일 통제 워크로드에서 공유 모델, 도구, 에이전트로 확장해나가는 것입니다.

00:17:34.660 --> 00:17:39.240
초기 통제 지점이 없으면 새로운 AI 앱이 생길 때마다 회사 데이터로의 관리되지 않는 경로가 하나 더 늘고

00:17:39.240 --> 00:17:40.980
AI 청구서 항목도 하나 더 늘어납니다.

00:17:41.140 --> 00:17:42.220
다음 핵심 정보를 알아보려면

00:17:42.220 --> 00:17:45.020
에이저 API 매니지먼트 심플리 익스플레인드를 확인하세요.

00:17:45.220 --> 00:17:48.000
그것이 바로 마이크로소프트 AI 게이트웨이가 기반으로 하는 토대입니다.

00:17:48.000 --> 00:17:50.000
감사합니다.
