UI-Mate-27B가 보여준 오픈 웨이트 GUI 에이전트의 진전

UI-Mate 논문은 장기 컴퓨터 사용 과제를 수행하는 오픈 웨이트 파운데이션 GUI 에이전트와 이를 학습·평가하기 위한 체계를 함께 제시했다. 핵심은 환경에 기반한 학습 스택, 문맥 내 시연 학습, 27B 규모 모델 UI-Mate-27B, 그리고 장기 사무 과제를 다루는 OSWorkerBench다. 공개된 결과에서 UI-Mate-27B는 일반 컴퓨터 사용 벤치마크와 OSWorkerBench 모두에서 기반 모델보다 향상된 성능을 보였다.¹²

무엇이 달라졌나

UI-Mate-27B는 가중치가 공개된 GUI 에이전트로서, 환경 기반 학습과 문맥에 제공된 시연을 활용해 여러 단계에 걸친 컴퓨터 사용 과제를 수행하도록 설계됐다. 논문은 모델만 제안한 것이 아니라 학습 스택과 평가 벤치마크를 하나의 구성으로 묶었다.

보고된 일반 컴퓨터 사용 평가에서 UI-Mate-27B는 OSWorld-Verified 77.0%, WindowsAgentArena 66.2%를 기록했다.¹ OSWorkerBench에서는 엄격 성공률 41.0%와 진행률 76.9%를 달성했다. 이는 Qwen3.6-27B 기반 모델보다 각각 17.7점과 24.5점 높은 결과다.²

배경

GUI 에이전트는 화면을 관찰하고 행동을 선택한 뒤, 바뀐 환경을 다시 관찰하는 과정을 반복한다. 단일 응답의 정확도만으로는 이런 시스템이 긴 작업 절차를 끝까지 수행하는 능력이나 중간 단계에서 얼마나 진전했는지를 충분히 보여주기 어렵다.

OSWorkerBench는 이러한 장기 과정을 평가하기 위해 41개 애플리케이션에 걸친 사무 과제 100개를 포함한다. 평가 설정은 지시만 제공하는 방식과 시연을 함께 제공하는 방식을 지원한다. UI-Mate가 강조하는 문맥 내 시연 학습은 모델 가중치를 바꾸지 않고도 현재 문맥에 담긴 예시를 이용해 과제를 익히는 접근이다.

왜 중요한가

첫째, UI-Mate-27B의 결과는 오픈 웨이트 GUI 에이전트가 일반 컴퓨터 사용 벤치마크에서 높은 성능을 낼 수 있다는 사례를 제공한다.¹ 모델을 직접 검토하거나 별도 환경에서 운용하려는 연구에 출발점이 될 수 있다는 점에서 의미가 있다.

둘째, OSWorkerBench는 최종 성공 여부와 진행률을 함께 제시한다. UI-Mate-27B가 기록한 41.0%의 엄격 성공률과 76.9%의 진행률 사이에는 상당한 차이가 있다.² 이는 에이전트가 과제의 여러 단계를 수행하더라도 완결 조건에 도달하지 못할 수 있음을 보여주며, 장기 작업에서는 최종 성공과 중간 진척을 구분해 살펴볼 필요가 있음을 시사한다.

셋째, 기반 모델 대비 엄격 성공률과 진행률이 모두 상승했다는 결과는 환경 기반 학습과 GUI 작업에 맞춘 구성이 장기 컴퓨터 사용 능력과 관련돼 있음을 보여준다.² 다만 제공된 근거만으로 각 구성 요소의 개별 기여도를 분리해 판단할 수는 없다.

한계와 남은 질문

현재 제공된 맥락에는 OSWorld-Verified와 WindowsAgentArena의 세부 평가 조건, 비교 대상 모델 목록, 실행 비용과 지연 시간, 실패 유형이 포함돼 있지 않다. 따라서 77.0%와 66.2%라는 수치가 어떤 조건에서 산출됐으며 실제 운용 환경으로 얼마나 일반화되는지는 여기서 확인할 수 없다.¹

OSWorkerBench 역시 100개 과제와 41개 애플리케이션으로 구성됐다는 정보는 있지만, 과제별 난도와 애플리케이션별 성능 편차는 제시되지 않았다. 엄격 성공률과 진행률의 격차가 특정 단계나 애플리케이션에서 집중되는지도 알 수 없다. 또한 문맥 내 시연의 수와 품질이 결과에 미치는 영향, 환경 기반 학습 스택의 각 요소가 성능 향상에 기여한 정도도 추가 검증이 필요하다.

관련 지식

UI-Mate는 AI 에이전트, 벤치마크와 평가, 문맥 내 학습, 멀티모달 모델이라는 네 주제와 연결된다. 화면 정보를 다루고 환경에 행동을 가한다는 점에서는 멀티모달 에이전트에 해당하며, 여러 단계의 행동과 관찰을 반복한다는 점에서는 일반적인 AI 에이전트 구조를 따른다.

문맥 내 시연은 가중치 갱신 없이 예시를 통해 현재 과제의 수행 방식을 전달한다. OSWorkerBench의 지시 전용·시연 기반 설정은 이 능력을 장기 사무 작업에서 비교할 수 있도록 한다. 최종 성공률과 진행률을 함께 보는 평가 방식은 에이전트가 어디까지 수행했는지를 최종 결과와 분리해 해석하게 해준다.

출처

• UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations, arXiv, 2026년 8월 16일.

각주

1. UI-Mate-27B의 OSWorld-Verified 및 WindowsAgentArena 결과. ↩ ↩² ↩³ ↩⁴

2. UI-Mate-27B의 OSWorkerBench 엄격 성공률·진행률과 기반 모델 대비 향상 폭. ↩ ↩² ↩³ ↩⁴