WEBVTT

00:00:00.000 --> 00:00:01.000
여러분 안녕하세요.

00:00:01.420 --> 00:00:04.840
M365 FM 위 마이크로소프트 지식 나눔 시간에 오신 것을 환영합니다.

00:00:05.060 --> 00:00:06.600
진행을 맡은 미르코 피터스입니다.

00:00:06.840 --> 00:00:10.560
오늘의 주제는 누구나 한 번쯤 들어봤지만 실제로 이해하는 사람은 거의 없는 내용입니다.

00:00:10.720 --> 00:00:12.080
바로 벡터 데이터베이스입니다.

00:00:12.320 --> 00:00:16.320
AI 관련 기사 나코파일럿, 채찌피티에 관한 대화에서의 용어를 접해보셨을 겁니다.

00:00:16.540 --> 00:00:18.540
하지만 벡터 데이터베이스란 정확히 무엇일까요?

00:00:18.720 --> 00:00:20.940
그저 이름만 근사하게 바꾼 일반 데이터베이스일까요?

00:00:21.120 --> 00:00:22.680
아니면 완전히 다른 무언가일까요?

00:00:22.880 --> 00:00:24.980
전자상거래 사이트에서 빨간 재킷을 검색했는데

00:00:24.980 --> 00:00:27.900
진홍색 코트나 버건디 새꺼돗 이 결과로 나온다고 상상해보세요.

00:00:28.080 --> 00:00:30.220
컴퓨터는 어떻게 이것들이 같은 것임을 알까요?

00:00:30.420 --> 00:00:32.100
키워드를 일치시키는 방식이 아닙니다.

00:00:32.280 --> 00:00:35.060
진홍색은 빨간색이 아니고 코트는 재킷이 아니니까요.

00:00:35.200 --> 00:00:37.300
하지만 검색엔지는 이들이 관련되어 있음을 이해합니다.

00:00:37.560 --> 00:00:39.560
이것이 바로 벡터 검색이 작동하는 방식입니다.

00:00:39.760 --> 00:00:42.140
이번 에피소드가 끝날 때 쯤이면 여러분은 벡터 데이터베이스의 실체,

00:00:42.440 --> 00:00:43.940
AI 검색과 코파일럿을 구동하는 이유,

00:00:44.200 --> 00:00:46.340
그리고 마이크로소프트 클라우드에서의 역할을 이해하게 될 것입니다.

00:00:46.500 --> 00:00:48.020
최대한 쉬운 용어로 설명하겠습니다.

00:00:48.020 --> 00:00:51.360
수학도 전문 용어도 없이 명확한 구성 요소 위주로 살펴보겠습니다.

00:00:51.620 --> 00:00:53.040
도대체 벡터란 무엇일까요?

00:00:53.280 --> 00:00:55.020
핵심 질문부터 시작해봅시다.

00:00:55.220 --> 00:00:56.680
벡터란 정확히 무엇일까요?

00:00:56.920 --> 00:01:01.380
보통 벡터라는 말을 들으면 물리시간에 배운 방향과 크기를 가진 화살표를 떠올립니다.

00:01:01.640 --> 00:01:03.500
컴퓨팅 분야에서는 훨씬 간단합니다.

00:01:03.700 --> 00:01:05.600
벡터는 사실 숫자의 목록일 뿐입니다.

00:01:05.800 --> 00:01:09.180
컴퓨터가 처리할 수 있는 형식으로 무언가를 나타내는 1차원 배열인 셈이죠.

00:01:09.380 --> 00:01:11.260
이해를 돕기 위한 실용적인 예를 들어보겠습니다.

00:01:11.660 --> 00:01:13.800
만약 제가 3층 비동 12호에서 만나자고 한다면,

00:01:13.800 --> 00:01:16.380
3개의 숫자가 특정 위치를 설명하는 것이 됩니다.

00:01:16.380 --> 00:01:19.680
이것이 바로 건물 내 위치를 정확히 알려주는 3차원 벡터입니다.

00:01:19.860 --> 00:01:21.880
이제 세부 정보를 더 추가한다고 상상해보세요.

00:01:22.100 --> 00:01:24.840
문의 색상, 방의 크기, 평당 가격 같은 것들 말이죠.

00:01:25.020 --> 00:01:27.440
새로운 세부 정보가 추가될 때마다 하나의 차원이 늘어납니다.

00:01:27.640 --> 00:01:30.880
즉, 차원을 많이 쌓을수록 대상에 대해 더 많은 정보를 담을 수 있습니다.

00:01:31.120 --> 00:01:34.840
자동차는 속도, 주행거리, 가격, 무게, 안전 등급으로 설명할 수 있습니다.

00:01:35.100 --> 00:01:36.420
이것은 5차원 벡터가 됩니다.

00:01:36.760 --> 00:01:38.740
제품은 수백 가지 특징으로 설명될 수 있으며,

00:01:39.040 --> 00:01:40.520
이는 고차원 벡터를 만들어냅니다.

00:01:40.720 --> 00:01:41.460
핵심은이 겁니다.

00:01:41.460 --> 00:01:44.460
벡터를 사용하면 사물을 컴퓨터가 비교 가능한 숫자로 변환할 수 있습니다.

00:01:44.640 --> 00:01:47.900
단어, 이미지, 소리, 문서 등 무엇이든 숫자의 목록이 될 수 있습니다.

00:01:48.120 --> 00:01:51.460
모든 것이 숫자로 바뀌면 두 사물이 실제로 얼마나 유사한지 측정할 수 있습니다.

00:01:51.700 --> 00:01:55.380
같은 층에 있고 문 색깔이 비슷한 두 방은 벡터 공간에서 서로 가깝게 위치합니다.

00:01:55.580 --> 00:01:58.580
유사한 특징을 가진 두 제품도 마찬가지로 서로 가깝게 그룹화됩니다.

00:01:58.780 --> 00:02:01.700
이 간단한 아이디어가 바로 현대 AI 검색을 가능하게 합니다.

00:02:01.900 --> 00:02:04.760
벡터에서 인베딩까지 모든 벡터가 동일한 것은 아닙니다.

00:02:04.960 --> 00:02:08.160
인베딩이라고 불리는 특별한 종류가 있는데, 바로 거기서 진정한 힘이 나옵니다.

00:02:08.160 --> 00:02:12.280
그렇다면 인베딩이란 정확히 무엇일까요? 인베딩은 의미를 나타내는 벡터입니다.

00:02:12.500 --> 00:02:18.740
에이저 오픈아이 위 텍스트 인베딩 3-SMAL과 같은 머신러닝 모델은 텍스트를 읽고 이를 고차원 공간에 배치합니다.

00:02:18.960 --> 00:02:22.560
이 모델은 수십억 개의 예시를 학습했기에 단어 간의 관계를 이해합니다.

00:02:22.780 --> 00:02:26.760
왕, 킹과 여왕, 퀸은 유사한 맥락을 공유하기 때문에 서로 가깝게 위치합니다.

00:02:26.960 --> 00:02:29.580
완과 커피는 그렇지 않기 때문에 서로 멀리 떨어져 있습니다.

00:02:29.880 --> 00:02:31.720
이를 쉬운 말로 풀이하면 다음과 같습니다.

00:02:32.020 --> 00:02:35.480
빨간 재킷을 검색하면 시스템은 진홍색 코트를 찾아 냅니다.

00:02:35.480 --> 00:02:41.260
인베딩 모델은 빨간색과 진홍색이 의미상 가깝고 재킷과 코트도 가깝다는 것을 인식합니다.

00:02:41.440 --> 00:02:44.420
그 두 구절에 대한 인베딩은 벡터 공간에서 이웃이 됩니다.

00:02:44.700 --> 00:02:47.040
컴퓨터는 더 이상 글자를 맞추는 것이 아닙니다.

00:02:47.200 --> 00:02:48.440
의미를 맞추는 것이죠.

00:02:48.640 --> 00:02:50.860
자, 고전적인 예시를 하나 들어보겠습니다.

00:02:51.260 --> 00:02:55.020
왕의 벡터에서 남자의 벡터를 빼고 여자의 벡터를 더해보세요.

00:02:55.300 --> 00:02:57.840
그 결과는 여왕의 벡터와 매우 가깝습니다.

00:02:58.100 --> 00:03:00.240
왕 빼기 남자 더하기 여자는 여왕입니다.

00:03:00.520 --> 00:03:04.940
마법처럼 들릴지 모르지만 사실 모델이 관계를 숫자로 녹여내는 방식입니다.

00:03:04.940 --> 00:03:09.660
모델은 왕과 여왕이 남자와 여자와 유사한 관계를 공유한다는 것을 배웠고

00:03:09.660 --> 00:03:12.200
그 관계가 자표에 인코딩되어 있습니다.

00:03:12.500 --> 00:03:17.220
즉, 인베딩 모델은 텍스트, 이미지, 오디오 등 원시 데이터를 가져와

00:03:17.220 --> 00:03:19.820
그 의미를 나타내는 숫자 목록으로 변환합니다.

00:03:20.040 --> 00:03:22.600
그 숫자들은 고차원 공간의 자표가 됩니다.

00:03:22.920 --> 00:03:26.580
그러고 나서 검색을 하면 귀하의 쿼리도 같은 종류의 자표로 변환됩니다.

00:03:26.800 --> 00:03:28.820
그저 그 사이의 거리를 측정하기만 하면 됩니다.

00:03:29.080 --> 00:03:30.240
그게 핵심 아이디어입니다.

00:03:30.240 --> 00:03:32.480
왜 전통적인 데이터베이스가 부족한지 알아봅니다.

00:03:32.640 --> 00:03:35.680
인베딩이 그렇게 강력하다면 왜 그냥 일반 데이터베이스를 사용할 수 없을까요?

00:03:35.820 --> 00:03:36.920
그 질문에 답해보겠습니다.

00:03:37.320 --> 00:03:40.460
전통적인 SQL 데이터베이스는 정확한 일치를 위해 구축되었습니다.

00:03:40.780 --> 00:03:45.540
색상이 빨간색인 조건을 작성하면 색상 여리문자 그대로 빨간색인 모든 행을 찾아 냅니다.

00:03:45.740 --> 00:03:49.780
고객 이름, 주문 날짜, 제품 가격 같은 정형 데이터에는 훌륭하지만

00:03:49.780 --> 00:03:52.320
모호한 의미가 필요할 때는 완전히 무너집니다.

00:03:52.500 --> 00:03:54.600
데이터에는 버건디 재킷 뿐인데

00:03:54.600 --> 00:03:57.480
진홍색 코트를 찾는 SQL 커리를 작성해보세요.

00:03:57.760 --> 00:04:00.540
SQL은 개념을 이해하지 못하기 때문에 할 수 없습니다.

00:04:00.880 --> 00:04:03.880
전통적인 데이터베이스는 데이터를 행과 열에 저장합니다.

00:04:04.160 --> 00:04:07.000
이들은 조인, 집계 및 정확한 조회에 최적화되어 있습니다.

00:04:07.340 --> 00:04:10.400
이들은 자동차, 카, 와 자동차, 오토모빌, 가 같은 것임을 알지 못합니다.

00:04:10.600 --> 00:04:13.820
이들은 흥분한, 익사이티드, 과 매우 기쁜, 스릴드, 이 비슷한 감정임을 알지 못합니다.

00:04:13.980 --> 00:04:15.560
반지 문자열만 일치시킬 뿐입니다.

00:04:15.560 --> 00:04:19.320
그리고 PDF, 이미지, 오디오 녹음 또는 긴 문서와 같은 비정형 데이터라면

00:04:19.320 --> 00:04:22.180
전통적인 데이터베이스는 이를 블록, 블락으로 저장할 수는 있지만

00:04:22.180 --> 00:04:23.660
그 내용을 제대로 검색할 수는 없습니다.

00:04:23.920 --> 00:04:27.120
여전히 키워드 일치에 의존하는 전체 텍스트 검색이 필요할 것입니다.

00:04:27.360 --> 00:04:30.800
사용자가 예산보고서라고 입력했는데 문서에는 재무요약이라고 되어 있다면

00:04:30.800 --> 00:04:32.820
키워드 검색은 이를 완전히 놓치게 됩니다.

00:04:33.020 --> 00:04:34.140
이렇게 한번 생각해보세요.

00:04:34.420 --> 00:04:36.300
일반 데이터베이스는 서류 캐비닉과 같습니다.

00:04:36.620 --> 00:04:39.220
찾고 있는 것을 찾으려면 정확한 파일 이름을 알아야 합니다.

00:04:39.220 --> 00:04:42.260
벡터 데이터베이스는 여러분의 의도를 이해하는 사서와 같습니다.

00:04:42.560 --> 00:04:45.600
지난 분기 지출에 관한 그 문서가 필요해요 라고 말할 수 있죠.

00:04:45.780 --> 00:04:48.920
그러면 사서는 해당 폴더가 3분기 재무요약으로 라벨이 붙어있더라도

00:04:48.920 --> 00:04:50.860
정확히 어떤 폴더를 꺼내야 할지 알고 있습니다.

00:04:51.120 --> 00:04:53.640
사서는 라벨뿐만 아니라 위도까지 이해하니까요.

00:04:53.780 --> 00:04:56.060
벡터 데이터베이스가 존재하는 이유가 바로 그것입니다.

00:04:56.260 --> 00:04:58.760
벡터 데이터베이스는 의미를 담고 있는 벡터인 인베딩을 저장하고

00:04:58.760 --> 00:05:00.960
유사도 검색을 빠르게 만드는 방식으로 인덱싱합니다.

00:05:01.140 --> 00:05:03.520
그렇다고 전통적인 데이터베이스를 대체하는 것은 아닙니다.

00:05:03.520 --> 00:05:05.520
데이터베이스 위에 이해의 층을 더하는 것이며

00:05:05.520 --> 00:05:06.980
그 층이 모든 것을 바꿉니다.

00:05:07.080 --> 00:05:08.900
데이터베이스 위에 이해의 층을 더하는 것이며

00:05:08.900 --> 00:05:10.320
그 층이 모든 것을 바꿉니다.

00:05:10.460 --> 00:05:12.120
벡터 데이터베이스의 작동 방식

00:05:12.120 --> 00:05:14.520
그렇다면 이 모든 과정은 내부적으로 어떻게 작동할까요?

00:05:14.660 --> 00:05:17.320
데이터 수집과 커리라는 두 가지 주요 단계를 살펴보겠습니다.

00:05:17.720 --> 00:05:19.140
수집은 설정 단계입니다.

00:05:19.400 --> 00:05:24.000
제품 설명, 지원 티켓, 내부 문서 등 원시 데이터를 가져와서

00:05:24.000 --> 00:05:27.240
각 조각을 인베딩 모델이라는 것에 통과시킵니다.

00:05:27.240 --> 00:05:31.240
그 모델은 텍스트를 의미를 담은 숫자 목록인 벡터로 변환합니다.

00:05:32.040 --> 00:05:36.260
그런 다음 그 벡터를 메타 데이터, 원본 텍스트, 타임 스탬프, 카테고리

00:05:36.260 --> 00:05:38.900
또는 소스 URL 등과 함께 데이터베이스에 저장합니다.

00:05:39.100 --> 00:05:40.780
이제 여기서부터가 영리한 부분입니다.

00:05:41.020 --> 00:05:43.840
만약 문서가 100만 개라면 모든 벡터를 하나하나 확인하는데 영원히

00:05:43.840 --> 00:05:44.340
걸릴 것입니다.

00:05:44.560 --> 00:05:47.380
그래서 벡터 데이터베이스는 인덱싱이라는 것을 사용합니다.

00:05:47.580 --> 00:05:49.320
인덱싱이란 모든 문을 일일이 두드리는 대신

00:05:49.320 --> 00:05:51.480
벡터 공간의 지도를 만드는 것과 같다고 생각하면 됩니다.

00:05:51.480 --> 00:05:54.060
두 가지 흔한 방법으로 IVF와 HNSW 가 있습니다.

00:05:54.320 --> 00:05:56.900
IVF는 인버티드 파일 인덱스, 역파일 인덱스 위 약자입니다.

00:05:57.080 --> 00:05:59.260
유사한 벡터들을 클러스터로 그룹화하여 작동합니다.

00:05:59.460 --> 00:06:01.520
검색할 때 모든 100만 개의 벡터를 훑어보는 대신

00:06:01.520 --> 00:06:03.020
가장 유망한 클러스터만 확인합니다.

00:06:03.200 --> 00:06:04.960
도서관에서 책을 찾는 것과 비슷합니다.

00:06:05.200 --> 00:06:07.440
모든 서가를 울른 대신 올바른 섹션으로 바로 향하는 것이죠.

00:06:07.700 --> 00:06:09.740
HNSW는 하이어라키컬 내비게이블 스몰 월드,

00:06:09.920 --> 00:06:11.500
계층적 탐색가능 소규모 세계, 위 약자입니다.

00:06:11.680 --> 00:06:13.000
이 아이디어는 상당히 우아합니다.

00:06:13.240 --> 00:06:15.100
벡터의 다층 지도를 구축하는 방식입니다.

00:06:15.100 --> 00:06:17.720
최상위 계층은 데이터의 위치를 대략적으로 파악할 수 있는

00:06:17.720 --> 00:06:19.080
몇 개의 대표 벡터를 담고 있습니다.

00:06:19.320 --> 00:06:21.520
아래로 내려갈수록 각계층은 더 상세해집니다.

00:06:21.680 --> 00:06:24.280
검색할 때는 최상위에서 시작해 대략 적인 범위를 찾은 다음

00:06:24.280 --> 00:06:27.080
정확히 일치하는 것을 찾을 때까지 계층을 따라 내려갑니다.

00:06:27.240 --> 00:06:28.220
마치 도시 지도를 먼저 보고

00:06:28.220 --> 00:06:30.940
그 다음 동네 지도, 마지막으로 거리 지도를 사용하는 것과 같습니다.

00:06:31.240 --> 00:06:32.880
하나씩 단계마다 더 가까워집니다.

00:06:33.060 --> 00:06:35.840
그 결과 수백만 개의 벡터를 밀리초 단위로 검색할 수 있습니다.

00:06:36.120 --> 00:06:38.520
그것이 실시간 AI 기능을 구동하는 원동력입니다.

00:06:38.520 --> 00:06:41.020
코파일럿의 질문을 입력하고 몇 초 만에 답변을 받을 때

00:06:41.020 --> 00:06:42.820
어딘가에서는 벡터 데이터베이스가

00:06:42.820 --> 00:06:44.420
수천 또는 수백만 개의 문서를 대상으로

00:06:44.420 --> 00:06:45.700
유사도 검색을 수행한 것입니다.

00:06:45.880 --> 00:06:48.300
커리 단계도 이와 같은 방식으로 역순으로 작동합니다.

00:06:48.500 --> 00:06:49.460
질문을 입력합니다.

00:06:49.660 --> 00:06:52.020
해당 질문은 정확히 동일한 인베딩 모델을 사용하여

00:06:52.020 --> 00:06:52.920
벡터로 변환됩니다.

00:06:53.120 --> 00:06:54.980
그런 다음 데이터베이스는 인덱스를 사용하여

00:06:54.980 --> 00:06:56.760
커리 벡터와 가장 가까운 이웃을 찾습니다.

00:06:57.000 --> 00:06:59.860
거리에 따라 순위가 매겨진 가장 유사한 결과를 반환합니다.

00:07:00.080 --> 00:07:02.720
벡터가 가까울 수록 결과는 더 관련성이 높습니다.

00:07:02.720 --> 00:07:05.220
벡터가 존재하는 마이크로소프트 생태계

00:07:05.220 --> 00:07:08.040
그렇다면 마이크로소프트 환경에서의 모든 것이 어디에 있을까요?

00:07:08.200 --> 00:07:09.520
간단히 말해 어디에나 있습니다.

00:07:09.860 --> 00:07:12.560
마이크로소프트는 별도의 전문 데이터베이스를 사용하도록 강요하는 대신

00:07:12.560 --> 00:07:15.360
여러분이 이미 사용 중인 데이터 플랫폼의 벡터 기능을 추가하고 있습니다.

00:07:15.560 --> 00:07:17.040
주요 플랫폼들을 살펴보겠습니다.

00:07:17.420 --> 00:07:19.840
에이저 AI 서치는 엔터프라이즈 RAG를 위한

00:07:19.840 --> 00:07:21.460
가장 일반적인 벡터 저장소입니다.

00:07:21.700 --> 00:07:23.920
RAG는 검색 증강 생성을 의미합니다.

00:07:24.140 --> 00:07:25.500
하이브리드 검색을 지원하는데

00:07:25.500 --> 00:07:28.940
이는 기존의 키워드 일치와 벡터 유사성을 결합한다는 뜻입니다.

00:07:28.940 --> 00:07:30.280
그게 왜 중요할까요?

00:07:30.480 --> 00:07:33.860
어떤 검색은 키워드, 정확한 제품 코드, 이름, 날짜가 가장 효과적이지만

00:07:33.860 --> 00:07:36.000
다른 검색은 의미론적 이해가 필요하기 때문입니다.

00:07:36.120 --> 00:07:38.240
하이브리드 검색은 이 두 가지를 모두 제공합니다.

00:07:38.440 --> 00:07:41.080
에이저 AI 서치에는 통합 벡터와 기능도 포함되어 있어

00:07:41.080 --> 00:07:44.020
별도의 코드를 작성하지 않고도 문서를 자동으로 분할하고

00:07:44.020 --> 00:07:47.000
인베딩을 생성하며 인덱싱하는 파이프라인을 설정할 수 있습니다.

00:07:47.240 --> 00:07:50.760
코스모스 DB는 이제 디스크 앤 인덱싱을 통한 기본 벡터 검색을 제공합니다.

00:07:50.980 --> 00:07:53.480
디스크 앤은 디스크 기반 근사 최근적 이웃을 의미하며

00:07:53.480 --> 00:07:57.040
대규모 환경에서도 20mm 초 미만의 지연 시간을 구현하도록 설계되었습니다.

00:07:57.040 --> 00:08:00.580
이는 이미 코스모스 DB에 저장된 운영 데이터에 매우 유용합니다.

00:08:00.720 --> 00:08:04.260
코스모스 DB를 백엔드로 사용하는 전자상거래 앱을 구축한다고 가정해보겠습니다.

00:08:04.640 --> 00:08:06.740
이제 데이터를 별도의 서비스로 옮길 필요 없이

00:08:06.740 --> 00:08:09.500
제품 카탈로그에 벡터 검색을 직접 추가할 수 있습니다.

00:08:09.740 --> 00:08:11.860
고객이 가벼운 여름 신발을 검색하면

00:08:11.860 --> 00:08:15.920
앱이 기존 데이터베이스 내에서 유사한 설명의 제품을 찾아줍니다.

00:08:16.180 --> 00:08:20.360
에이저 SQL 서버 2025와 에이저 SQL 데이터베이스도 이에 합류했습니다.

00:08:20.700 --> 00:08:24.080
이제 기본 벡터 데이터 형식과 벡터 검색과 같은 기능을 포함합니다.

00:08:24.080 --> 00:08:27.500
즉 관계형 데이터와 함께 인베딩을 바로 저장할 수 있습니다.

00:08:27.700 --> 00:08:30.160
고객 선호도를 나타내는 벡터를 가진 고객 기록,

00:08:30.500 --> 00:08:32.360
벡터 설명이 포함된 재고 항목,

00:08:32.420 --> 00:08:35.160
콘텐츠의 벡터 인베딩이 포함된 지원 티켓 등을 말이죠.

00:08:35.340 --> 00:08:37.260
별도의 벡터 데이터베이스가 필요 없습니다.

00:08:37.600 --> 00:08:39.660
기존의 SQL 기술을 그대로 활용할 수 있습니다.

00:08:39.880 --> 00:08:41.660
벡터열을 추가하고 인덱스를 생성한 뒤

00:08:41.660 --> 00:08:43.180
유사도 검색을 시작하기만 하면 됩니다.

00:08:43.420 --> 00:08:46.100
코파일럿이 내부적으로 이 기능을 사용하는 방식은 다음과 같습니다.

00:08:46.360 --> 00:08:48.820
작년 3분기 매출 보고서 보여줘 라고 질문하면

00:08:48.820 --> 00:08:52.880
코파일럿은 3분기 매출 보고서라는 정확한 구문을 검색하지 않습니다.

00:08:52.880 --> 00:08:55.920
질문을 벡터로 변환하여 인덱싱된 문서, 이메일,

00:08:56.240 --> 00:08:59.820
시어포인트 파일, 온드라이브 문서, 팀즈 대화 등을 검색한 뒤

00:08:59.820 --> 00:09:02.800
질문과 인베딩 값이 가장 가까운 문서를 찾아냅니다.

00:09:02.940 --> 00:09:05.260
정확한 단어가 일치하지 않더라도 의미가 통하면

00:09:05.260 --> 00:09:08.640
2024년 3분기 재무 요약과 같은 파일을 찾아낼 수 있습니다.

00:09:08.880 --> 00:09:11.000
이것이 바로 벡터 검색이 작동하는 방식입니다.

00:09:11.200 --> 00:09:13.240
여기서 핵심은 마이크로소프트의 전략입니다.

00:09:13.460 --> 00:09:15.960
전문 벡터 데이터베이스를 새로 구매하라 고하는 대신

00:09:15.960 --> 00:09:18.400
이미 사용 중인 도구에 벡터 기능을 추가하는 것입니다.

00:09:18.560 --> 00:09:22.480
에이저 AI 서치, 코스모스의 DB, SQL 서버 모두 이제 벡터를 지원합니다.

00:09:22.680 --> 00:09:24.360
새로운 시스템을 배울 필요가 없습니다.

00:09:24.720 --> 00:09:28.080
개념만 이해하면 나머지는 마이크로소프트가 알아서 처리해줍니다.

00:09:28.340 --> 00:09:30.120
AI 위 실제 활용 사례입니다.

00:09:30.360 --> 00:09:33.360
그렇다면 오늘날 벡터 데이터베이스는 실제로 어디에 쓰이고 있을까요?

00:09:33.540 --> 00:09:35.460
실제 현장에서 어떻게 활용되는지 보여드리겠습니다.

00:09:35.760 --> 00:09:37.280
가장 대표적인 것이 RAG입니다.

00:09:37.500 --> 00:09:39.140
RAG는 검색 증강 생성의 약자로

00:09:39.140 --> 00:09:41.540
현재 대부분의 기업용 AI가 작동하는 방식입니다.

00:09:41.740 --> 00:09:45.100
책보색에 질문할 때 AI는 학습 데이터로만 추측하지 않습니다.

00:09:45.100 --> 00:09:48.060
대신 벡터 데이터베이스에서 관련 문서를 검색하고

00:09:48.060 --> 00:09:51.480
가장 근접한 자료를 찾아 언어 모델의 문맥으로 제공합니다.

00:09:51.660 --> 00:09:54.680
그러면 모델은 그 실제 문서들을 바탕으로 답변을 구성합니다.

00:09:54.900 --> 00:09:58.440
즉, 우리 회사의 정책, 제품, 데이터에 대해 정확한 답변을 얻을 수 있다는 뜻입니다.

00:09:58.580 --> 00:10:01.960
벡터 데이터베이스가 없다면 AI는 인터넷의 일반적인 지식으로 추측해야 했을 것입니다.

00:10:02.160 --> 00:10:04.880
하지만 데이터베이스를 사용하면 실제 파일에서 직접 정보를 가져옵니다.

00:10:05.040 --> 00:10:07.020
추천 엔진도 매우 큰 활용 사례 중 하나입니다.

00:10:07.240 --> 00:10:10.040
넷플릭스, 아마존, 유튜브 모두 같은 방식으로 작동합니다.

00:10:10.040 --> 00:10:14.560
사용자의 행동, 즉 시청하거나 구매하거나 클릭하는 기록을 바탕으로 사용자를 벡터로 변환합니다.

00:10:14.680 --> 00:10:18.080
또한 상품의 설명, 리뷰, 특성을 기반으로 상품을 벡터로 변환합니다.

00:10:18.260 --> 00:10:20.200
그런 다음 가장 가까운 이웃을 찾기만 하면 됩니다.

00:10:20.440 --> 00:10:23.520
사용자의 벡터가 특정 영화의 벡터와 가까우면 그 영화를 추천하는 식입니다.

00:10:23.680 --> 00:10:28.360
이는 대규모로 수행되는 유사도 검색이며 모든 사용자에게 초당 수백 번씩 실행됩니다.

00:10:28.560 --> 00:10:30.840
의미 론적 검색은 세 번째 주요 사례입니다.

00:10:31.060 --> 00:10:33.460
이는 키워드가 아닌 의미로 검색하는 방식입니다.

00:10:33.460 --> 00:10:37.540
지원 담당자가 고객이 비밀번호 재설정 후 로그인을 못합니다. 라고 입력하면

00:10:37.540 --> 00:10:41.240
자격 증명 업데이트 후 인증 실패 문제 해결 이라는 문서를 찾아줍니다.

00:10:41.400 --> 00:10:43.640
단어는 일치하지 않지만 의미는 일치하는 것이죠.

00:10:43.840 --> 00:10:45.900
이것이 바로 벡터 검색이 가능하게 하는 기능입니다.

00:10:46.080 --> 00:10:49.400
하루에 수백 건의 티켓을 처리하는 팀에게는 해결 시간을 획기적으로 줄여줍니다.

00:10:49.580 --> 00:10:51.080
다음은 이상 징후 탐지입니다.

00:10:51.300 --> 00:10:53.180
덜 분명해 보이지만 매우 강력합니다.

00:10:53.400 --> 00:10:58.400
정상적인 행동, 일반적인 거래 패턴, 평소 시스템 지표, 표준 사용자 동작 등을 인베딩합니다.

00:10:58.600 --> 00:11:01.980
이 벡터들을 저장한 뒤 데이터 군집에서 멀리 떨어진 것을 탐지해냅니다.

00:11:01.980 --> 00:11:04.740
평소와 전혀 다른 거래가 발생하면 그것이 바로 사기인 것입니다.

00:11:04.900 --> 00:11:07.860
서버 지표가 평소 범위를 크게 벗어났다면 사고가 발생할 징조입니다.

00:11:08.020 --> 00:11:10.880
벡터 데이터베이스는 이를 실시간으로 처리할 만큼 충분히 빠릅니다.

00:11:11.240 --> 00:11:13.480
마이크로소프트의 세계에서 이는 어디에나 존재합니다.

00:11:13.680 --> 00:11:17.120
파워 앱스는 폼을 만들 때 AI 제안을 위해 벡터 검색을 사용합니다.

00:11:17.340 --> 00:11:21.020
다이나믹스 365는 고객 기록 전반의 지능형 검색에 이를 활용합니다.

00:11:21.220 --> 00:11:23.140
팀지 회의 녹취록은 벡터로 변환되므로

00:11:23.140 --> 00:11:25.820
예산에 대해 무엇을 결정했지? 라고 검색하면

00:11:25.820 --> 00:11:28.260
녹화본에서 정확한 순간을 찾아낼 수 있습니다.

00:11:28.260 --> 00:11:34.620
코파일럿 4 마이크로소프트 365는 본질적으로 개인 및 회사 데이터 위에서 실행되는 거대한 RAG 시스템이며

00:11:34.620 --> 00:11:36.560
모두 벡터 검색을 기반으로 합니다.

00:11:36.740 --> 00:11:39.420
이 모든 것을 동기화하는 것, 바로 벡터 ETL입니다.

00:11:39.640 --> 00:11:41.280
이제 현실적인 과제를 살펴보겠습니다.

00:11:41.680 --> 00:11:45.960
데이터는 변하고 문서는 업데이트되며 새 제품이 추가되고 오래된 정책은 보관처리됩니다.

00:11:46.100 --> 00:11:48.620
원본 데이터가 변경될 때마다 벡터도 변경되어야 합니다.

00:11:48.820 --> 00:11:50.320
그 지점에서 벡터 ETL이 필요합니다.

00:11:50.520 --> 00:11:53.640
ETL은 추출, 엑스트랙트, 변환, 트랜스폼, 적재, 로드를 의미합니다.

00:11:53.640 --> 00:11:55.760
벡터 데이터베이스의 경우 과정은 다음과 같습니다.

00:11:56.040 --> 00:12:02.420
먼저, 블랍 저장소 컨테이너, 시어포인트 라이브러리, SQL 데이터베이스 등 원본에서 새 문서 나 변경된 문서를 추출합니다.

00:12:02.600 --> 00:12:07.760
그런 다음 텍스트를 관리 가능한 조각으로 나누고, 각 조각을 인베딩 모델에 통과시켜 변환합니다.

00:12:08.000 --> 00:12:15.640
마지막으로, 생성된 벡터를 원본 소스 URL, 타임스탬프, 사용된 모델 버전과 같은 메타데이터와 함께 벡터 저장소에 적재합니다.

00:12:15.880 --> 00:12:17.900
여기서의 모범 사례는 증분 처리입니다.

00:12:18.160 --> 00:12:21.240
무언가 바뀔 때마다 전체 코퍼스를 다시 인베딩하지 마세요.

00:12:21.240 --> 00:12:23.440
실제로 변경된 문서만 처리하십시오.

00:12:23.580 --> 00:12:25.780
각 인베딩을 생성한 모델 버전을 추적하세요.

00:12:26.000 --> 00:12:29.240
모델을 업그레이드하면 이전 벡터는 새 벡터와 일관성을 잃게 됩니다.

00:12:29.480 --> 00:12:30.660
그리고 비용을 확인하세요.

00:12:30.880 --> 00:12:34.880
인베딩 API는 토큰 단위로 과금됨으로 수백만 개의 문서를 처리하면 비용이 빠르게 증가합니다.

00:12:35.080 --> 00:12:37.300
에이저에서의 일반적인 워크플로는 간단합니다.

00:12:37.540 --> 00:12:39.340
문서를 블랍 저장소에 저장하세요.

00:12:39.560 --> 00:12:45.600
그런 다음, 청킹과 인베딩을 자동으로 처리하는 통합 스킬 세트를 갖춘 에이저 AI 서치 인벡서를 설정하세요.

00:12:45.600 --> 00:12:51.520
마이크로소프트는 청킹을 위한 텍스트 분할 스킬과 벡터 생성을 위한 에이저 오픈 아이 인베딩 모델 스킬을 제공합니다.

00:12:51.700 --> 00:12:56.500
인벡서는 일정에 따라 실행되며 새 파일을 가져와 처리하고 벡터를 인벡스에 업서트, 업서트 합니다.

00:12:56.700 --> 00:12:58.800
별도의 사용자 지정 파이프라인 코드는 필요 없습니다.

00:12:59.080 --> 00:13:01.420
흔히 하는 실수로 메타 데이터를 무시하는 경우가 있습니다.

00:13:01.720 --> 00:13:06.040
모든 벡터에는 소스 참조, 인베딩 모델 이름과 버전, 생성 타임 스탬프가 필요합니다.

00:13:06.240 --> 00:13:11.960
그렇지 않으면 결과의 출처를 추적할 수 없고, 모델 변경 시 재인베딩 할 수 없으며, 규정 준수 감사에 어려움을 겪게 됩니다.

00:13:11.960 --> 00:13:15.580
벡터를 다른 비즈니스 데이터처럼 취급하고, 그 계보를 추적하세요.

00:13:15.760 --> 00:13:16.740
다음 단계입니다.

00:13:16.980 --> 00:13:19.020
자, 직접 시도해볼 준비가 되셨나요?

00:13:19.300 --> 00:13:20.380
간단하게 시작하세요.

00:13:20.640 --> 00:13:23.260
에이저 포털을 열고 에이저 AI 서치 리소스를 만드세요.

00:13:23.440 --> 00:13:25.760
그런 다음 기존 인벡스에서 벡터 검색을 활성화하세요.

00:13:25.960 --> 00:13:29.240
문서 몇 개를 업로드하고, 인베딩 모델을 선택한 후, 유사도 커리를 실행해보세요.

00:13:29.460 --> 00:13:31.400
1시간 안에 작동하는 것을 확인할 수 있습니다.

00:13:31.680 --> 00:13:35.520
개발자라면 파이썬 SDK를 사용하여 에이저 오픈 아이 로 문서를 인베딩하고,

00:13:35.980 --> 00:13:39.980
코스모스 DB 벡터 검색에 저장한 뒤, 가장 유사한 결과를 찾는 커리를 작성해보세요.

00:13:41.960 --> 00:13:43.740
벡터 샘플과 문서가 여러분을 안내할 것입니다.

00:13:43.900 --> 00:13:46.920
벡터 데이터베이스를 사용하기 위해 데이터 과학자가 될 필요는 없습니다.

00:13:47.220 --> 00:13:51.280
마이크로소프트 위 도구가 인베딩 생성, 인덱싱, 커리 로직을 모두 처리합니다.

00:13:51.500 --> 00:13:54.840
여러분은 개념을 이해하고, 도구를 자신의 데이터에 연결하기만 하면 됩니다.

00:13:55.120 --> 00:13:56.280
여기 도전 과제가 있습니다.

00:13:56.600 --> 00:13:58.800
오늘 여러분이 해결해야 할 검색 문제를 생각해보세요.

00:13:59.020 --> 00:14:03.660
사내 문서 찾기, 제품 카탈로그 검색, 혹은 지식 기반에서 고객 질문에 답변하는 일일 수 있습니다.

00:14:03.860 --> 00:14:06.920
벡터 검색이 키워드 매칭보다 더 나은 결과를 낼 수 있을까요?

00:14:06.920 --> 00:14:10.860
작은 데이터 세트, 예를 들어 문서 100개만 골라서 한번 시도해보세요.

00:14:11.060 --> 00:14:13.020
즉시 그 차이를 느끼실 수 있을 겁니다.

00:14:13.340 --> 00:14:16.340
이제 벡터 데이터베이스가 무엇인지 확실히 이해하셨을 겁니다.

00:14:16.640 --> 00:14:21.940
그것은 신비한 AI 기술이 아니라, 단순히 단어 자체가 아닌 데이터의 의미를 저장하고 검색하는 방식입니다.

00:14:22.140 --> 00:14:27.140
이 기술은 마이크로소프트 365, A저, 코파일럿 위 스마트 검색 및 AI 기능을 뒷받침합니다.

00:14:27.360 --> 00:14:29.100
질문을 던지고 관련 답변을 얻을 때마다,

00:14:29.520 --> 00:14:33.160
어딘가에 있는 벡터 데이터베이스가 여러분의 커리에 가장 가까운 결과를 찾아낸 것입니다.

00:14:33.160 --> 00:14:38.500
구조화된 사실, 고객 이름, 주문 금액, 재고 수량 등은 여전히 기존 데이터베이스에 저장됩니다.

00:14:38.660 --> 00:14:41.280
벡터 데이터베이스는 여기에 이해라는 계층을 더해줍니다.

00:14:41.480 --> 00:14:44.600
이를 통해 애플리케이션이 의미, 위도, 맥락에 따라 검색할 수 있게 됩니다.

00:14:44.800 --> 00:14:46.060
전체적인 그림은 이렇습니다.

00:14:46.320 --> 00:14:49.160
마이크로소프트 기술에 대한 쉬운 설명을 더 보고 싶다면 구독하세요.

00:14:49.380 --> 00:14:53.120
다음 시간에는 RAG 파이프라인의 실제 작동 원리와 오후 시간 동안 이를 구축하는 방법을 살펴보겠습니다.

00:14:53.440 --> 00:14:54.440
시청해주셔서 감사합니다.
