Mixed SFT, 다음 청크 추론 강화학습보다 높은 성능 상한과 60배 이상 적은 계산량

명시적 사고 과정(CoT) 주석이 없는 추론 중심 데이터로 모델을 학습할 때, 복잡한 강화학습 절차가 항상 더 나은 선택은 아니라는 통제 비교 결과가 나왔다. 연구진이 비교한 두 전략 가운데 Mixed SFT는 다음 청크 추론 강화학습보다 RLVR 이후의 성능 상한이 높았고, 학습 계산량은 60배 이상 적었다.¹

무엇이 달라졌나

이번 연구는 다음 청크 추론 강화학습과 Mixed SFT를 동일한 문제 설정에서 비교했다. Mixed SFT는 사고 과정이 없는 데이터와 긴 사고 과정 데이터를 단일 단계에서 함께 학습하는 지도 미세조정 전략이다. 비교 결과, Mixed SFT는 RLVR을 거친 뒤 도달한 성능 상한에서 다음 청크 추론 강화학습을 앞섰으며, 그 과정에 필요한 학습 계산량도 60분의 1 미만이었다.¹

핵심 변화는 단순히 지도 미세조정이 더 저렴했다는 데 그치지 않는다. 이 연구가 보고한 범위에서는 계산 비용을 크게 늘린 다음 청크 추론 강화학습이 후속 RLVR 이후의 최종 성능 우위로 이어지지 않았다. 오히려 더 단순한 단일 단계 학습 전략이 계산 효율과 성능 상한을 함께 개선했다.¹

배경

강화학습은 보상 신호를 이용해 정책을 최적화하는 학습 방식이다. 관련 연구에서는 데이터가 제한된 조건과 풍부한 조건에 따라 정규화 방식이나 Q 함수 구성을 달리하는 등, 데이터 조건이 학습 효율과 안정성에 영향을 줄 수 있다고 본다.

이번 논문은 명시적인 사고 과정 주석이 없는 추론 중심 데이터를 다룬다. 비교 대상인 다음 청크 추론 강화학습의 구체적인 보상 설계, 학습 단계와 자원 구성은 제공된 근거만으로는 알 수 없다. 확인할 수 있는 것은 이 조건에서 Mixed SFT와 해당 강화학습 전략을 통제 비교했다는 점이다.

왜 중요한가

보고된 결과가 중요한 이유는 학습 전략을 평가할 때 사전 강화학습 단계의 성능뿐 아니라 후속 RLVR 이후의 성능 상한과 총 계산 비용을 함께 봐야 한다는 점을 보여주기 때문이다. 이 연구에서는 Mixed SFT가 더 높은 사후 성능 상한을 보이면서 계산량도 60배 이상 줄였다.¹

따라서 동일하거나 유사한 데이터 조건에서는 복잡한 강화학습 단계를 채택하기 전에 Mixed SFT를 강한 기준선으로 검토할 근거가 생겼다. 다만 이 결론은 논문이 설정한 통제 조건과 실험 범위에 한정해 해석해야 한다.

한계와 남은 질문

제공된 근거에는 사용한 모델의 종류와 규모, 데이터셋 구성, 평가 과제, 절대 성능 수치, 계산량 산정 방식이 포함되어 있지 않다. ‘60배 이상’이라는 차이가 어떤 하드웨어와 학습 예산을 기준으로 계산됐는지도 현재 맥락만으로는 확인할 수 없다.

또한 이 결과가 다른 모델 크기, 다른 종류의 추론 데이터, 명시적 사고 과정 주석이 있는 환경에서도 유지되는지는 알 수 없다. Mixed SFT의 우위가 데이터 혼합 비율이나 긴 사고 과정 데이터의 품질에 얼마나 민감한지, 다음 청크 추론 강화학습의 설정을 달리했을 때 격차가 유지되는지도 남은 질문이다.

관련 지식

Mixed SFT는 사고 과정이 없는 데이터와 긴 사고 과정 데이터를 한 번의 지도 미세조정 단계에서 공동 학습하는 전략이다. 이번 비교에서 다룬 강화학습은 보상 신호를 통해 정책을 최적화하는 더 넓은 학습 방법론에 속한다. 두 접근의 차이를 이해할 때에는 학습 단계의 복잡성, 필요한 계산량, 후속 RLVR 이후의 성능을 분리해 살펴볼 필요가 있다.

강화학습의 효율은 데이터 조건과도 관련된다. 관련 지식에 제시된 WarpSAC 사례는 대규모 병렬 시뮬레이션에서 데이터가 제한된 환경과 풍부한 환경에 서로 다른 구성을 적용하고, 오래된 표본의 가중치를 조절해 학습 효율과 성공률을 개선했다고 보고한다. 다만 이는 로봇 조작 환경의 별도 사례이며, 이번 언어모델 비교 결과를 직접 입증하는 근거는 아니다.

출처

이번 글은 2026년 8월 24일 공개된 논문 「Is Next-Chunk Reasoning RL Really Better than SFT? Revisiting Training Strategies under no-CoT Data」와 제공된 정형화된 연구 맥락을 바탕으로 작성했다.

각주

1. arXiv 논문 「Is Next-Chunk Reasoning RL Really Better than SFT? Revisiting Training Strategies under no-CoT Data」 — https://arxiv.org/abs/2608.23256 ↩ ↩² ↩³ ↩⁴