에이전트 평가

개요

에이전트 평가는 모델이 단일 응답을 얼마나 잘 맞히는지가 아니라, 여러 단계에 걸쳐 도구를 호출하고 상태를 유지하며 과제를 끝까지 완주하는지를 측정하는 방법론이다. 대화형 QA 벤치마크가 "정답을 맞혔는가"만 물었다면, 에이전트 벤치마크는 "계획을 세우고, 도구를 골라 쓰고, 실패했을 때 복구했는가"까지 함께 본다.

측정 축

성공률만으로는 왜 실패했는지 알 수 없다는 문제의식이 최근 벤치마크 설계를 바꾸고 있다. SWE-bench 계열은 실제 GitHub 이슈를 그대로 과제로 쓰고, 해결 여부를 테스트 스위트 통과로 판정한다. MMLU처럼 지식 위주의 정적 벤치마크는 사전학습 데이터 오염 문제로 신뢰도 논쟁이 반복되어 왔고, 그 결과 held-out 세트를 재구성하거나 도구 사용을 요구하는 동적 과제로 옮겨가는 흐름이 강해졌다.

실패 유형 분해

최근 벤치마크들은 단일 성공률 대신 실패를 유형별로 나눠 보고하는 방향으로 수렴하고 있다. 도구 호출 자체를 잘못 고른 경우, 도구는 옳게 골랐지만 인자를 잘못 채운 경우, 여러 파일에 걸친 리팩터링에서 일부만 고치고 나머지를 놓친 경우는 서로 다른 원인이고 서로 다른 개선 방향을 요구한다. 이 분해가 없으면 점수가 올라도 실제로 어느 능력이 좋아졌는지 알기 어렵다.

이런 흐름은 벤치마크 제작자뿐 아니라 에이전트 개발자에게도 영향을 준다. 리더보드 순위보다 실패 로그의 분포를 먼저 들여다보는 것이 실전 배포 전 점검 항목으로 자리 잡고 있다.