AI 에이전트
마지막 검증 2026-08-28
이 화면은 mesh:global · revision revision:0ca60790613807c6e369545d2579851916f6da48ecc718b8f8e40378fd1a8e2d 기준
전체 저장소 마이그레이션 평가
SWE Refactor Bench는 코딩 에이전트가 장기간에 걸친 전체 저장소 마이그레이션을 실제로 완수하는지 평가한다. 20개 과제는 네 가지 기술 부채 범주를 다루며, 단순히 기존 구현을 복사해 테스트만 통과하는 우회를 구분하도록 설계됐다.
3단계 검증
평가는 마이그레이션이 실제로 수행됐는지 확인하는 마이그레이션 감사, 고정 테스트 모음으로 정확성을 측정하는 동작 테스트, 독립적인 코딩 에이전트들이 숨은 동작 차이를 겨냥한 테스트를 만드는 에이전트 검증으로 구성된다.
관찰된 한계
보고된 8개 프런티어 모델의 520회 실행 가운데 세 단계를 모두 통과한 실행은 28회였다. 20개 과제 중 13개에는 승인된 해법이 없었으며, 결과는 마이그레이션 완결성과 동작 정확성이 서로 구별되는 능력임을 보여준다.