같은 모델도 언어가 바뀌면 실력이 달라진다

대형 언어 모델의 능력이 언어를 바꿔도 그대로 유지된다는 전제에 의문을 제기하는 연구가 발표됐다. 「Skill Issue: Are Skills Language-Invariant in LLMs?」는 다국어 자기대전을 이용해 동일한 모델의 게임 수행 능력과 실패 양상이 상호작용 언어에 따라 크게 달라질 수 있다고 보고한다.¹

무엇이 달라졌나

연구진은 8개 언어와 6개 텍스트 기반 게임에서 대형 언어 모델의 기술 일관성을 측정했다. 평가에는 텍스트 게임 기반 모델 평가 프로젝트인 TextArena가 사용됐으며, 이 연구를 위해 다국어 인터페이스가 추가됐다. 핵심적으로 확인된 변화는 서로 다른 모델을 비교할 때뿐 아니라 동일한 모델을 비교할 때도 상호작용 언어에 따라 게임 수행 수준과 실패 패턴이 현저히 달라질 수 있다는 점이다.¹

배경

대형 언어 모델의 성능은 여러 과제와 벤치마크를 통해 측정된다. 이번 연구는 텍스트 기반 게임에서 모델끼리 겨루는 자기대전 방식을 다국어 환경으로 확장해 언어별 기술 불일치를 살폈다. 이는 하나의 언어에서 측정한 능력을 모델 자체의 고정된 능력으로 간주할 수 있는지를 직접 점검하는 평가다.

기존 벤치마크 논의에서도 최종 점수만으로는 성능 차이가 생기는 과정을 충분히 설명하기 어렵다는 문제가 제기돼 왔다. 관련 지식에 정리된 TraceML 사례는 코드 버전별 행동과 의도, 점수 효과를 연결해 결과뿐 아니라 개발 과정도 분석했다. 이번 연구는 다른 방향에서, 평가에 쓰이는 언어 자체가 관찰되는 능력과 실패 양상을 달라지게 할 수 있음을 보여준다.¹

왜 중요한가

동일한 모델의 성능이 언어에 따라 달라진다면 단일 언어 평가 결과를 다른 언어의 사용 환경에 그대로 적용하기 어렵다. 다국어 서비스를 평가할 때 평균 점수 하나만 제시하기보다 언어별 수행 능력과 실패 패턴을 나누어 확인해야 할 이유가 생긴다.¹

또한 모델 간 우열도 평가 언어에 따라 다르게 관찰될 가능성을 점검해야 한다. 이 연구가 직접 확인한 범위는 게임 수행 능력과 실패 양상의 언어별 차이이며, 다른 종류의 과제에서도 같은 현상이 나타나는지는 별도 검증이 필요하다.

한계와 남은 질문

제공된 근거만으로는 어떤 모델과 언어가 포함됐는지, 언어별 격차가 얼마나 컸는지, 특정 게임이나 언어에서 차이가 집중됐는지 알 수 없다. 번역 품질, 언어별 학습 데이터, 추론 과정과 상호작용 언어의 관계 가운데 무엇이 관찰된 차이를 만들었는지도 이 맥락에서는 확인되지 않는다.

평가 범위는 8개 언어와 6개 텍스트 게임이다. 따라서 결과를 일반적인 지식 질의, 코딩, 수학, 실제 에이전트 업무로 곧바로 일반화할 수 있는지는 남은 질문이다. 후속 평가에서는 과제 유형을 넓히고 언어별 실패 사례를 분리해 재현성을 확인할 필요가 있다.

관련 지식

• Skill Issue: Are Skills Language-Invariant in LLMs?
• TextArena
• 대형 언어 모델
• 벤치마크와 평가

출처

각주

1. 「Skill Issue: Are Skills Language-Invariant in LLMs?」, 2026년 8월 26일 공개, arXiv. ↩ ↩² ↩³ ↩⁴