검색 증강 생성

개요

검색 증강 생성(RAG)은 모델이 답을 만들기 전에 외부 문서를 먼저 검색해 근거로 삼는 방식이다. 파라미터에 저장된 지식만으로는 최신 정보나 사내 문서처럼 학습 시점 이후의 사실을 다룰 수 없기 때문에, 별도의 검색 단계를 앞에 붙여 그 한계를 보완한다.

두 단계, 두 종류의 오류

RAG 파이프라인은 검색과 생성이라는 두 단계로 나뉘고, 실패도 두 갈래로 갈린다. 검색 단계가 관련 없는 문서를 가져오면 아무리 생성 모델이 뛰어나도 답이 틀릴 수밖에 없고, 검색은 정확했는데 생성 단계에서 문서 내용을 잘못 해석하는 경우도 있다. 오랫동안 이 둘을 하나의 종단 정답률로만 평가해 왔는데, 그러면 점수가 낮을 때 어느 단계를 고쳐야 하는지 알 수 없다는 문제가 있었다. 최근에는 검색 품질과 생성 품질을 분리해서 보고하는 지표 세트가 제안되고 있다.

인덱스 구조의 변화

벡터 데이터베이스는 임베딩 간 유사도로 문서를 찾지만, 의미는 비슷해도 정확한 키워드가 필요한 질의에는 약점이 있다. 벡터 인덱스와 키워드 인덱스를 하나의 쿼리 플래너로 묶는 하이브리드 검색이 이 약점을 보완하는 방향으로 자리 잡고 있고, 두 인덱스를 별도로 조회하던 것보다 지연도 함께 줄어드는 사례가 보고되고 있다.

검색 지연이 줄어드는 것은 단순한 속도 개선을 넘어, 리트리벌을 매 단계마다 쓰는 에이전트형 워크플로의 전체 응답 시간에 누적 효과를 만든다.