기존 .NET 백엔드에 LLM 레이어 추가하기: Semantic Kernel 활용
By Reliqio ·
기존 .NET 백엔드에 AI 기능을 추가하는 방법: Semantic Kernel, Azure AI Search 기반 RAG, 테스트된 프롬프트, 로깅과 몇 가지 가드레일.
Automatically translated with AI from the original post.
기존 .NET 백엔드를 운영하는 고객사 대부분이 조만간 똑같은 질문을 합니다. "여기에 AI 기능을 좀 붙일 수 있을까요?" 보통은 요약, 더 나은 검색, 지원 어시스턴트를 말합니다. 그리고 팀 안에서 누군가는 이를 위해 별도의 Python 서비스를 만들자고 이미 제안해 둔 상태인 경우가 많습니다.
그렇게 할 수도 있습니다. 하지만 저희가 진행한 프로젝트 대부분에서는 그럴 필요가 없었습니다. Semantic Kernel은 ASP.NET Core 앱에 무리 없이 들어가며, 기존 파이프라인, 로깅, 테스트를 그대로 유지할 수 있습니다. 대략 아래와 같은 방식으로 구성합니다.
Semantic Kernel 뒤에 모델 숨기기
LLM도 결제 제공업체 같은 다른 외부 의존성과 똑같이 다루십시오. Semantic Kernel에는 이미 IChatCompletionService 추상화가 있으므로 [1] 코드가 벤더 SDK를 직접 건드릴 일이 없습니다. DI에 등록해 두면 Azure OpenAI에서 다른 제공업체로 옮기는 일이 설정 변경으로 끝납니다.
저희 방식은 이렇습니다. 커널은 Program.cs에서 한 번만 등록하고, 각 유스케이스마다 작은 서비스(예: TicketSummaryService)를 따로 둡니다. 배포 이름, temperature, 토큰 한도는 옵션 클래스에 둡니다. 컨트롤러는 서비스만 알고 있으면 됩니다. 이렇게 하면 가짜 completion 서비스로 바꿔 끼울 수 있어 단위 테스트도 쉬워집니다.
파인튜닝 전에 RAG부터 시도하기
파인튜닝은 그럴듯해 보이지만, 업무 데이터라면 대부분 RAG로 충분합니다. 저희는 벡터 필드가 있는 Azure AI Search에 문서를 인덱싱하고 [2], 요청마다 상위 몇 개 청크를 가져와 모델에 전달합니다. 비용이 덜 들고, 모델이 어떤 자료를 받았는지 정확히 확인할 수 있으며, 문서가 바뀌면 같은 날 답변도 바뀝니다.
답변 품질을 예상보다 크게 높여 준 몇 가지 방법은 다음과 같습니다.
- 문서는 고정된 글자 수가 아니라 제목과 섹션 단위로 나눕니다.
- 각 청크에 테넌트, 언어, 날짜를 함께 저장하고 순위를 매기기 전에 이들로 필터링합니다.
- 하이브리드 검색(키워드 + 벡터)을 사용합니다. 기술 문서에서는 순수 벡터 검색이 오류 코드 같은 정확한 용어를 자꾸 놓쳤습니다.
- 답변과 함께 출처를 항상 반환합니다. 사용자의 신뢰도가 높아지고, 잘못된 검색 결과도 더 빨리 찾아낼 수 있습니다.
프롬프트도 코드이므로 테스트하기
프롬프트 템플릿은 사용하는 서비스 옆의 저장소에 둡니다. 다른 코드와 똑같이 풀 리퀘스트에서 검토합니다. 또한 기대 답변이 있는 질문 20~50개의 작은 세트를 유지하고 CI에서 실행합니다. 누군가 프롬프트를 "개선"했는데 답변이 나빠지면 빌드가 실패합니다. 이 장치 덕분에 여러 번 문제를 막을 수 있었습니다.
모든 호출 로깅하기
요청마다 프롬프트와 completion 토큰 수, 지연 시간, 모델 버전, 검색된 문서 ID를 기록합니다. Semantic Kernel은 OpenTelemetry를 내보내므로 이 모든 정보가 다른 트레이스와 함께 Application Insights에 나타납니다. 이것이 없으면 잘못된 답변을 설명할 수 없고, 기능마다 실제 비용이 얼마인지도 알 수 없습니다.
가드레일
- 구조화된 출력은 코드가 사용하기 전에 JSON 스키마로 검증합니다.
- 사용자 입력과 모델 출력은 Azure AI Content Safety를 거치게 합니다 [3].
- 테넌트별 호출 제한과 토큰 예산은 모델을 호출하는 코드가 아니라 미들웨어에 둡니다.
가끔 실패할 것을 전제하기
LLM 엔드포인트는 스로틀링이 걸리고, 타임아웃이 나며, 가끔 깨진 JSON을 반환합니다. 호출을 재시도, 타임아웃, 서킷 브레이커(Polly 또는 Microsoft.Extensions.Http.Resilience)로 감싸고, 500 오류 대신 사용자에게 적절한 대체 응답을 보여 주십시오. 스트리밍도 큰 도움이 됩니다. 첫 단어가 나타나면 사람들은 훨씬 참을성 있게 기다립니다.
작게 시작하기
저희가 효과를 본 방식은 다음과 같습니다.
- 먼저 내부용이고 위험이 낮은 기능 하나를 고릅니다. 티켓 요약이 좋은 후보입니다.
- 기능 플래그 뒤에 두고 소수의 사용자에게 배포해 답변에 대한 피드백을 받습니다.
- 매주 트레이스와 비용을 확인하고, 새로운 것을 추가하기 전에 검색과 프롬프트를 조정합니다.
- 평가 결과와 비용이 더 이상 요동치지 않을 때만 고객에게 보여 줍니다.
정리
이런 방식으로 하면 AI 부분은 아키텍처에 추가된 하나의 의존성일 뿐입니다. .NET 코드, 배포 체계, 모니터링을 그대로 유지할 수 있고, 더 나은 모델이 나오면 모델을 바꿀 수도 있습니다.
이것은 Reliqio [4]에서 사용하는 구성입니다. 저희는 헬스테크, 핀테크, 이커머스 분야에서 AI 기반 B2C 제품을 만드는 창업자들과 기술 파트너로 일하고 있습니다. 이 문제들을 다른 방식으로 해결하셨다면 댓글로 공유해 주시면 좋겠습니다.
Sources
- ↑ Introduction to Semantic Kernel – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Vector search in Azure AI Search – Microsoft Learn (2026) · learn.microsoft.com
- ↑ What is Azure AI Content Safety? – Microsoft Learn (2026) · learn.microsoft.com
- ↑ Reliqio - AI B2C product development partner – Reliqio (2026) · reliqio.com