추론 최적화

개요

추론 최적화는 모델을 다시 학습하지 않고도 서빙 비용과 응답 지연을 줄이는 기법들을 통칭한다. 같은 가중치를 더 적은 비트로 표현하거나, 여러 토큰을 한 번에 검증하거나, 반복되는 프롬프트 구간을 다시 계산하지 않는 것처럼 접근 방식은 다양하지만, 목표는 모두 같다 — 품질을 크게 해치지 않으면서 비용을 낮추는 것이다.

양자화와 라우팅

양자화는 가중치를 16비트나 8비트 대신 4비트로 표현해 메모리 사용량과 연산량을 줄이는 기법이다. 한때는 품질 저하를 감수하는 예외적 선택이었지만, 최근에는 주요 추론 프레임워크가 4비트를 기본값으로 채택할 만큼 표준화됐다. Mixture-of-Experts 구조는 매 토큰마다 전문가 일부만 활성화해 전체 파라미터 수 대비 연산량을 아끼지만, 일부 전문가에게 토큰이 몰리는 라우팅 붕괴가 고질적인 문제였고 보조 손실 함수로 이를 억제하는 연구가 이어지고 있다.

디코딩과 캐싱

추측 디코딩은 작은 초안 모델이 여러 토큰을 미리 예측하면 큰 모델이 한 번에 검증하는 방식으로 생성 속도를 끌어올린다. 초안 모델과 검증 모델의 어휘를 맞추는 정렬 기법이 발전하면서 품질 저하 없이 처리량을 여러 배로 늘리는 사례가 늘고 있다. 컨텍스트 캐싱은 반복되는 시스템 프롬프트 구간을 매번 다시 계산하지 않고 캐시에서 재사용하는 방식으로, 긴 프롬프트를 상시로 쓰는 에이전트 배포에서 비용 절감 효과가 크다.

이 기법들은 서로 배타적이지 않고 함께 쓰인다. 양자화된 모델에 추측 디코딩을 얹고, 캐싱까지 결합하는 스택이 실제 서빙 환경에서는 일반적이다.