에이전트 평가가 점수에서 실패 분석으로 옮겨간다

새 벤치마크는 200개 과제를 다단계 도구 사용으로 구성했다. 단일 파일 버그 수정처럼 한 번의 호출로 끝나는 과제가 아니라, 여러 도구를 순서대로 골라 쓰고 중간 결과를 확인하며 다음 단계를 정해야 풀리는 문제들이다. 공개와 동시에 리더보드도 함께 열려, 어떤 에이전트 스택이 이 다단계 과제에 강한지 바로 비교할 수 있게 됐다.

기존 벤치마크가 단일 성공률만 보고한 반면, 이번 것은 실패를 유형별로 나눈다. 도구를 잘못 고른 경우, 도구는 맞게 골랐지만 인자를 잘못 채운 경우, 중간 단계에서는 맞았지만 마지막 조합에서 어긋난 경우를 구분해서 집계한다. 같은 70% 성공률이라도¹ 실패 원인이 서로 다르면 개선해야 할 지점도 완전히 달라진다.

무엇이 달라지나

도구 호출 실패와 추론 실패가 구분되므로, 개선해야 할 지점이 드러난다. 도구 호출 실패가 많다면 도구 설명서나 인터페이스 설계를 손봐야 하고, 추론 실패가 많다면 계획 수립 능력 자체를 개선해야 한다. 지금까지는 이 두 원인이 하나의 점수에 섞여 있어서 어느 쪽에 투자해야 할지 판단하기 어려웠다.

리더보드 운영진은 이번 분해 보고 방식이 다른 다단계 벤치마크에도 참고 사례가 되기를 기대한다고 밝혔다. 단일 점수 비교에 익숙한 팀이라면, 이번 벤치마크의 실패 분포표를 먼저 살펴보는 것이 리더보드 순위보다 더 유용한 출발점이 될 수 있다.

각주

1. 본문의 70%는 실패 분해를 설명하려고 든 예시 값이고, 특정 라운드에서 보고된 수치가 아니다. 이 자리의 근거는 난도를 높인 후속 라운드도 같은 과제 구성 파이프라인을 쓴다는 쪽이며, 서로 다른 벤치마크의 성공률을 나란히 놓고 읽으려면 그 전제가 필요하다. ↩