제미나이 3, 100만 토큰에서도 지연을 절반으로 줄이다

구글 딥마인드가¹ 제미나이 3에서 100만 토큰 컨텍스트를 유지한 채로 응답 지연을 절반으로 줄였다고 밝혔다.² 긴 컨텍스트를 지원하는 모델은 이미 여럿 있었지만, 컨텍스트가 길어질수록 응답이 느려지는 트레이드오프는 그대로 남아 있었다. 이번 발표는 그 트레이드오프 자체를 완화했다는 점에서 이전 세대와 구분된다.

가장 눈에 띄는 변화는 장문 코드베이스 리뷰 과제다. 수십만 줄 규모의 저장소를 통째로 컨텍스트에 넣고 리뷰를 요청하는 시나리오에서 기존 대비 처리 시간이 크게 단축됐다고 회사 측은 설명했다. 코드 리뷰는 문서 앞뒤를 오가며 참조를 확인해야 하는 작업이라, 긴 컨텍스트의 응답 속도가 실사용성에 직접 영향을 준다.

왜 지연이 줄었나

긴 컨텍스트일수록 응답 지연이 늘어나는 근본 원인은 매 토큰을 생성할 때마다 전체 컨텍스트를 다시 참조해야 하는 어텐션 연산 비용이다. 이 비용을 줄이는 접근은 크게 두 갈래로 나뉜다 — 연산 자체를 근사해서 줄이는 방법과, 반복되는 구간을 캐싱해서 다시 계산하지 않는 방법이다. 회사 측은 구체적인 기법을 전부 공개하지는 않았지만, 두 접근을 함께 쓴 것으로 보인다고 밝혔다.

긴 컨텍스트가 더 이상 속도를 희생하지 않아도 되는 선택지가 되면서, 문서 전체를 매번 잘라 넣던 기존의 청킹 전략을 재검토하는 팀도 늘어날 가능성이 있다.

각주

1. 발표한 곳이 곧 제미나이를 만드는 곳이다. 아래의 지연 수치가 제3자 측정이 아니라 자체 발표값이라는 뜻이다. ↩

2. 지연 절반이라는 수치는 발표 자료의 장문 코드베이스 리뷰 과제 기준이며, 다른 과제군에서 재현된 값은 아직 공개되지 않았다. ↩