Executive Summary
평가 치트시트는 AI 시스템이 작동한다는 증거로 숫자 4개를 요구한다
AI 시스템이 실제로 작동하는지 알려면 숫자 4개를 받아야 한다는 것이 이 평가(eval) 치트시트의 답이다. 넷은 오차 막대를 단 통과율, 채점기와 사람 판정의 일치도, 탐지 하한, 직전 변경에서 나빠진 사례의 비율이다. 출처는 2026-11-05에 올라온 Sergii Makarevych의 X 게시물이다. 이 치트시트는 그가 2026-10-03에 쓴 X 아티클 Evals: how to know whether an AI system actually works의 압축판이다. 치트시트의 7개 절은 숫자 4개를 믿을 수 있게 만드는 절차다. 절차를 꿰는 축은 3절 제목의 주장, 곧 채점기도 시스템의 일부라는 주장이다.
아티클 소개문은 대규모 언어 모델(large language model, LLM) 기반 소프트웨어를 출시하거나 사거나 승인하는 사람 모두를 독자로 잡는다. 아래에서 ‘저자의 예제’로 적은 수치는 아티클에 실린 저자 자신의 튜토리얼 실험값이다.
시험 재료는 실제 실패 사례와 정답지다
치트시트는 실제 사례 20~50건으로 시작하라고 한다. 사례는 까다로운 것까지 실제 실패에서 가져온다. 사례마다 무엇이 “맞는” 답인지 정답지에 적는다. 저자는 이 정답지를 평가의 진짜 자산으로 꼽는다.
사례는 두 묶음으로 나눈다. 시스템과 채점기를 다듬는 일은 개발 세트에서 한다. 보고하는 숫자는 테스트 세트에서만 낸다.
채점기를 고르기 전에 오류 분석부터 한다. 출력 100개 이상을 직접 읽는다. 실패를 하나씩 기록한 뒤 유형별로 묶어 센다. 치트시트는 그렇게 얻은 실패 유형 목록이 곧 채점기 계획이라고 쓴다.
싼 채점기는 자주, 비싼 채점기는 드물게 돌린다
치트시트는 채점기를 네 계열로 나눈다. 코드, 소형 모델, LLM 판정자, 사람이다. 채점기마다 비용 등급 태그가 붙는다. LLM 판정자의 질문은 1절의 실패 유형 목록에서 나온다.
비용 등급은 치트시트의 태그다. [free] 추가 비용 없음 · [≈free] 거의 없음 · [¢] 센트 단위 · [¢¢¢] [¢]보다 비쌈 · [¢–$] 센트에서 달러 단위 · [$$$] 가장 비쌈
| 계열 | 채점기 | 비용 등급 | 치트시트가 정한 용도 |
|---|
| 코드 | 완전 일치, F1 | [free] | 정답이 하나뿐인 라벨 |
| 코드 | 규칙 검사 | [free] | 형식, 길이, 필수 사실, 금지 문구 |
| 코드 | 유사도(ROUGE, 임베딩) | [free] | 드리프트 경보 전용. 품질 점수로 쓰지 않는다 |
| 소형 모델 | 환각 탐지기(HHEM, MiniCheck, LettuceDetect) | [≈free] | “이 주장은 근거가 있는가”만 묻는다 |
| 소형 모델 | 타입형 판정자(Jev) | [¢] | 라벨 하나와 보정된 확률을 낸다. 텍스트는 쓰지 않는다 |
| LLM 판정자 | 단일 판정자 | [¢] | 실패 유형마다 예/아니요 질문 하나. 근거를 인용하게 하고 맥락을 준다 |
| LLM 판정자 | 판정자 3인 패널 | [¢¢¢] | 평균 대신 중앙값으로 합친다 |
| 사람 | 정답 라벨 | [$$$] | 다른 모든 채점기를 재는 잣대 |
아티클은 표의 세 항목에 근거를 붙인다. 저자의 예제에서 임베딩 유사도는 좋은 답과 나쁜 답을 AUC 0.709로 가른다. 동전 던지기가 0.5다. 아티클은 Jev가 텍스트를 생성하지 않으므로 생성형 판정자보다 약 100배 싸다고 쓴다. 중앙값의 근거로는 Acharya 연구진(2026)을 든다. 고장 난 판정자 하나가 좋은 판정자를 몇 명 더하든 평균을 얼마든지 멀리 끌고 간다는 결과다.
7절은 이 비용 등급을 실행 주기로 옮긴다. 커밋마다 [free] 코드 채점기를 돌린다. 프롬프트, 모델, 검색 단계가 바뀌면 [¢–$] 등급의 판정자와 사람의 표본 읽기를 더한다. 출시 뒤에는 A/B 테스트를 한다. 실제 트래픽에서 뽑은 표본에도 채점기를 돌린다. 아티클은 이 주기의 출처로 Hamel Husain의 3단계 모델(2024)을 든다.
채점기도 측정 대상이다
치트시트는 채점기를 사람의 정답 라벨과 비교하라고 한다. 일치도는 Cohen의 카파(κ)로 잰다. 치트시트가 적은 기준은 둘이다. 출시를 막는 관문에 쓰려면 κ ≥ 0.6, 감독 없이 돌리려면 κ ≥ 0.8이다.
치트시트는 단순 일치율이 오해를 부른다고 쓴다. 저자의 예제 판정자는 답변 60건 중 36건(60%)에서 사람과 일치했다. 그 세트에서는 모든 답을 통과시키기만 해도 57%가 일치했다. 이 판정자의 카파는 0.15였다. 치트시트가 단순 일치율 대신 보고하라는 숫자는 둘이다. 나쁜 출력을 잡는 적발률과 좋은 출력을 떨어뜨리는 오탈락률이다.
치트시트는 LLM 판정자의 알려진 편향으로 넷을 든다. 앞의 세 편향에 붙인 완화책은 아티클의 설명이다.
- 위치 편향: 판정자는 앞에 놓인 답을 고른다. 두 순서로 모두 채점해 두 판정이 같을 때만 승리로 세면 줄어든다.
- 길이 편향: 판정자는 더 긴 답을 고른다. 길이를 통제한 점수나 길이에 보상하지 않는 예/아니요 질문이 이 편향을 줄인다.
- 자기 계열 편향: 판정자는 자기와 같은 모델 계열의 답을 고른다. 시험 대상과 다른 계열의 판정자를 쓰면 줄어든다.
- 호감 편향: 판정자는 “해결한” 답보다 “듣기 좋은” 답을 고른다.
채점기 검증은 한 번으로 끝나지 않는다. 치트시트는 모든 결과 옆에 판정자 모델과 버전을 기록하라고 한다. 모델, 판정자, 도메인 중 하나라도 바뀌면 판정자를 다시 검증한다. 치트시트는 학습이나 선택에 쓰는 채점기가 공략당한다고 쓴다. 치트시트의 처방은 시스템이 한 번도 보지 못하는 채점기를 따로 두는 것이다.
모든 비율에 오차 막대를 단다
치트시트는 모든 비율에 오차 막대를 요구한다. 예시 문구는 “70%, 58에서 82 사이”다. 저자의 예제에서 이 구간은 티켓 60건 분류 정확도 0.700의 95% 신뢰구간 [0.583, 0.817]이다. 탐지 하한도 표본 크기에서 나온다. 치트시트는 사례 60건으로는 약 12%p보다 작은 변화를 볼 수 없다고 쓴다. 아티클은 이 크기에서 5%p 퇴보가 보이지 않는다고 덧붙인다.
두 버전은 짝지은 비교로 잰다. 같은 사례에 두 버전을 모두 돌린다. 나빠진 사례 수도 센다. 저자의 예제에서 v1과 v2의 통과율은 둘 다 0.700이었다. 그 예제의 v2는 사례의 14%에서 나빠졌다. 같은 통과율 뒤에 개선과 퇴보가 함께 숨어 있었다.
치트시트는 프롬프트 변형 20개를 시험했다면 1등을 새 사례에서 다시 확인하라고 한다. 아티클에 따르면 변형 20개 중 하나는 운만으로 10%p 앞서 보인다.
점수 하나를 부품과 조건으로 쪼갠다
치트시트는 부품이 있는 시스템을 부품별로 채점하라고 한다. 검색 증강 생성(retrieval-augmented generation, RAG)에서는 검색기를 hit@k와 recall@k로 잰다. 작성기의 충실도는 따로 잰다.
에이전트 채점에는 네 가지가 들어간다. 최종 상태와 경로, 여러 번 실행한 pass^k, 문장을 바꿔 쓴 과제, 성공당 비용이다. 아티클의 정의로 pass@k는 k번 중 한 번이라도 성공하는 능력을 잰다. pass^k는 k번 모두 성공하는 신뢰성을 잰다. 저자의 예제 에이전트는 pass^3 = 0.75였다.
치트시트 6절은 공개 벤치마크를 엔진 선택용으로 둔다. 제품 판정에는 쓰지 않는다. 치트시트는 점수를 모델, 프롬프트, 하네스, 버전의 묶음으로 본다. 저자의 예제에서 같은 공개 가중치 모델이 GSM8K에서 프롬프트 형식에 따라 0.686과 0.746을 받았다.
벤치마크 점수는 오염과 포화로도 흔들린다. 아티클의 설명으로는 시험 문제가 학습 데이터에 들어가면 점수가 기억을 잰다. 아티클은 오래된 벤치마크일수록 빨리 포화한다고 쓴다. 치트시트가 날짜를 확인하라고 하는 이유다. 치트시트가 권하는 쓰임은 벤치마크 5개 안팎으로 후보 모델을 2~3개로 줄이는 데까지다. 최종 선택은 자기 데이터로 만든 평가가 정한다.
반대 입장: 실행의 간극과 실데이터
Jeffrey Ip는 답글에서 이 치트시트가 이론으로는 맞다고 인정한다. 그는 구현이 용도, 산업, 팀 규모에 따라 크게 달라진다고 쓴다. 그가 보기에 치트시트는 평가를 하는 법보다 이해하는 법의 겉만 긁는다. 한 장짜리 목록은 정답지를 누가 얼마를 들여 쓸지 정해 주지 못한다. 카파 기준을 어느 도메인에 그대로 쓸 수 있을지도 정해 주지 못한다.
치트시트 안에서 이 반론에 답하는 줄은 오류 분석 줄 하나다. 그 줄은 도메인 차이를 팀 자신의 실패 목록으로 넘긴다. 도메인별 기준값과 팀 규모별 예산은 치트시트에 없다. 그 부분에서 Ip의 반론은 답을 얻지 못한다.
Sanyam Wadhwa는 답글에서 모든 테스트를 통과한 파이프라인도 실제 입력에서 틀릴 수 있다고 쓴다. 그의 결론은 평가 일부를 고정 시험 데이터인 픽스처(fixture) 대신 실데이터로 돌려야 한다는 것이다. 한 번 모은 개발 세트와 테스트 세트도 시간이 지나면 픽스처가 된다. 치트시트에서 실데이터가 들어오는 자리는 출시 전 사례 수집과 출시 후 트래픽 표본이다. 그 사이에 세트를 언제 새 실데이터로 바꿀지는 치트시트의 어느 줄도 정하지 않는다.
두 답글이 가리키는 빈칸은 같은 쪽에 있다. 숫자 4개는 무엇을 물을지 정한다. 그 숫자를 어떤 데이터와 예산으로 낼지는 각 팀의 몫으로 남는다.
팩트체크
평가 치트시트 주장 22건에 오류는 없다. 11건에는 조건이 붙는다
종합 신뢰도 B · 수치와 도구 설명은 1차 근거와 맞는다. 조건부 판정은 주로 저자의 운용 규칙을 문헌 기준처럼 쓴 줄과 설계에 따라 변하는 수치를 상수로 쓴 줄에서 나온다.
Sergii Makarevych가 2026-11-05 X에 올린 평가 치트시트는 1차 근거와 대체로 맞는다. 환각 탐지기 세 종, pass^k, RAG 분리 채점, 판정자 교체에 따른 점수 이동은 원 논문의 서술과 일치한다. 오차 막대 예시는 계산으로 재현된다. 카파 기준의 용도 배정은 저자의 규칙이다. 탐지 하한은 비교 설계에 따라 변하는 값을 상수로 적었다. 중앙값 집계와 Jev의 '보정된 확률'은 2026년 프리프린트 한 편씩에 기댄다. 판정 22건은 사실 11건, 부분사실 11건이다.
범례: 사실은 1차 출처가 주장을 그대로 받친다. 부분사실은 핵심은 맞지만 조건·귀속·수치 일부가 다르다. 불확실은 1차 출처로 확인하지 못한 주장이다. 오류는 1차 출처와 어긋난다. 등급은 치트시트 전체가 1차 근거와 맞는 정도로, A는 전부 일치, B는 핵심 일치에 일부 조건부, C는 절반가량 조건부·과장, D는 핵심 일부 오류, F는 대부분 무근거·오류다.
부분사실 · Cohen의 카파 기준
Cohen의 카파 0.6이면 릴리스 게이트, 0.8이면 무감독 운용
두 수치는 문헌의 해석 구간 경계와 맞는다. 릴리스 게이트와 무감독 운용이라는 용도 배정은 저자의 운용 규칙이다. McHugh(Biochemia Medica, 2012-10-15)는 0.61–0.80을 '상당한(substantial)' 일치로, 0.81–1.00을 '거의 완벽한(almost perfect)' 일치로 보는 구간을 Cohen의 제안으로 소개한다. 같은 논문은 카파 0.60 미만이면 일치가 부적절하다고 본다. McHugh 자신의 표는 더 엄격해서 0.60–0.79를 '보통(moderate)', 0.80–0.90을 '강함(strong)'으로 둔다.
위키백과 Cohen's kappa 항목은 같은 구간을 Landis와 Koch의 것으로 적는다. 항목은 Landis와 Koch가 근거 없이 개인 의견으로 이 구간을 정했다고 쓴다. 같은 항목이 인용한 Bakeman과 동료들은 보편적으로 받아들일 카파 값은 없다고 결론짓는다. 판정: 0.6과 0.8은 관행적 경계로 쓸 만하다. McHugh와 위키백과 항목 어디에도 출시나 무감독 운용의 기준은 없다.
McHugh 2012, Interrater reliability: the kappa statistic · Cohen's kappa, Wikipedia
사실 · 단순 일치율
채점기와 사람 라벨의 단순 일치율은 실제 일치를 부풀린다
단순 일치율은 우연히 맞은 몫까지 일치로 센다. 위키백과 Cohen's kappa 항목은 카파가 우연에 의한 일치 가능성을 반영하는 지표라고 설명한다. McHugh(2012)는 단순 일치율의 핵심 한계로 평가자의 추측 가능성을 꼽는다. 그 때문에 실제 일치를 과대평가할 수 있다고 쓴다. 같은 논문은 평가자가 잘 훈련되어 추측이 적으면 단순 일치율로도 충분하다는 단서를 단다. 적발률과 오탈락률을 따로 보고하라는 처방은 저자의 권고다.
Cohen's kappa, Wikipedia · McHugh 2012, Interrater reliability: the kappa statistic
사실 · 오차 막대
60건 중 70% 통과의 오차 막대는 약 58~82%
60건 표본의 정규 근사 95% 신뢰구간이 원문 수치를 재현한다.
반폭 = 1.96 × √(0.7 × 0.3 / 60) ≈ 0.116 → 구간 58.4% ~ 81.6%
치트시트는 표본 수를 이 줄에 적지 않는다. 바로 다음 줄의 60건을 넣으면 수치가 맞는다. Miller(arXiv, 2024-11-01)는 평가 점수를 보고할 때 평균의 표준오차를 함께 적으라고 권한다. 95% 구간은 평균 ± 1.96 × 표준오차로 구한다.
Miller 2024, Adding Error Bars to Evals
부분사실 · 탐지 하한
60건으로는 약 12점보다 작은 변화를 탐지할 수 없다
원문 "약 12점" → 확인: 12점은 가장 유리한 설계에서만 나오는 하한이다. 두 버전 사이 변화의 탐지 하한은 비교 설계와 바뀐 사례의 분포에 따라 달라진다. 통과율 70%, 버전마다 60건, 유의수준 5%·검정력 80%로 계산하면 다음과 같다.
독립 비교의 최소 탐지 효과 = (1.96 + 0.84) × √(2 × 0.7 × 0.3 / 60) ≈ 23.4%p
짝지은 비교의 최소 탐지 효과 δ = 2.80 × √((d − δ²) / 60) — d는 두 버전 사이 판정이 바뀐 사례 비율, d ≥ δ
바뀐 사례가 모두 한 방향이면 d = δ → δ = 7.84 / 67.84 ≈ 11.6%p · 사례 20%가 바뀌면 δ ≈ 15.2%p
짝지은 비교에서 바뀐 사례가 모두 한 방향일 때만 약 12점이 나온다. 개선과 퇴보가 섞일수록 하한은 올라가 독립 비교의 약 23점에 다가간다. 60건 단일 비율의 95% 구간 반폭도 11.6%p지만 두 값의 일치는 우연이다. Miller(2024)는 표본 수·분산·검정력으로 최소 탐지 효과를 미리 계산하라고 권한다. 판정: 12점보다 작은 변화를 볼 수 없다는 하한은 모든 설계에서 맞다. 실제 하한은 대개 그보다 높아 약 23점까지 오른다는 조건이 빠졌다.
Miller 2024, Adding Error Bars to Evals
사실 · 짝지은 비교
두 버전 비교는 같은 사례에 짝지어 돌린다
Miller(2024)는 두 모델이 같은 문항을 풀면 문항별 점수 차이로 표준오차를 줄일 수 있다고 쓴다. 단순 비교는 그 기회를 놓친다. 평가 문항 점수는 서로 무관한 모델 사이에서도 양의 상관을 보이기 쉽다. Miller는 이를 근거로 짝지은 차이를 추정 분산의 '공짜' 감소라 부른다. 같은 논문의 예시에서 상관계수가 0.5이면 분산이 상대적으로 3분의 1 줄었다. 나빠진 사례 수를 세라는 부분은 저자의 권고다.
Miller 2024, Adding Error Bars to Evals
사실 · 환각 탐지기
HHEM·MiniCheck·LettuceDetect는 근거에 뒷받침되는지를 판정하는 소형·저비용 환각 탐지기다
세 도구 모두 생성문이 주어진 근거에 뒷받침되는지를 판정한다. Vectara의 HHEM 모델 카드는 HHEM을 RAG 문맥에 뒷받침되지 않는 생성문을 찾는 특화 모델로 소개한다. 공개판 HHEM-2.1-Open은 T5-base 기반이다. 32비트 정밀도에서 메모리 600MB 미만을 쓴다. 최신 x86 CPU에서 2천 토큰 입력 처리에 약 1.5초가 걸린다.
MiniCheck(Tang·Laban·Durrett, arXiv 2024-04-16, EMNLP 2024)의 최고 모델 MiniCheck-FT5는 파라미터 7억 7천만 개로 GPT-4 정확도에 이른다. 저자들은 GPT-4급 성능을 400분의 1 비용으로 낸다고 쓴다. LettuceDetect(Kovács·Recski, arXiv 2025-02-24)는 근거 없는 주장을 토큰 단위로 찾는다. 크기는 최고 성능 모델들의 약 30분의 1이다. 판정: [≈free] 표기는 GPT-4급 판정자와 비교할 때 맞다.
Vectara HHEM-2.1-Open 모델 카드 · Tang 외 2024, MiniCheck · Kovács·Recski 2025, LettuceDetect
부분사실 · 타입형 판정자 Jev
타입형 판정자 Jev는 텍스트 없이 라벨 하나와 보정된 확률만 출력한다
출력 형식에 대한 서술은 맞다. '보정된'은 과제마다 측정해야 하는 성질이다. JEV-as-a-Judge(Yubo Li 외 3명, Carnegie Mellon University, arXiv 2609.26550 v6 2026-10-29)는 TypeSafe가 호스팅하는 판정 서비스 TypeSafe JEV를 평가한 논문이다. JEV는 지정한 출력 타입 안에서 판정을 내린다. 모든 라벨에 확률이 붙는다. 생성 텍스트는 없다.
논문은 타입형 확률 출력만으로 판정자가 정확하거나 보정되지는 않는다고 밝힌다. 정확도·확률 품질·요금·지연을 함께 재는 이유다. 기준 답이 없는 산문 응답에서 JEV를 포함한 판정자 셋은 우연 수준 정확도에 머물렀다. 셋 모두 높은 확신을 보였다. 공개 판정 4,850건 통합 정확도에서 JEV는 LLM 판정자 15개 중 8위로 GPT-6보다 1.7점 낮았다. 요금은 v6(2026-10-29) 기준 판정 1,000건당 0.044달러로 GPT-6의 277분의 1이다.
판정: [¢] 표기와 출력 형식은 맞다. '보정된 확률'은 기준 답이 있는 과제에서 따로 확인해야 하는 성질이다. 근거는 2026년 프리프린트 한 편이다.
Li 외 2026, JEV-as-a-Judge
부분사실 · 예/아니요 질문
LLM 판정자에게는 실패 유형마다 예/아니요 질문 하나를 묻는다
실패 유형별 이진 질문은 BinEval(Cho 외 6명, arXiv 2026-06-25 프리프린트)의 방식과 맞는다. BinEval은 평가 기준을 원자적 이진 질문으로 쪼갠 뒤 답을 모아 해석 가능한 다차원 점수를 만든다. 저자들은 총체적 LLM 판정자의 점수가 불투명해서 디버깅하기 어렵다고 지적한다. 근거 인용과 문맥 제공까지 묶은 처방은 이 초록에서 확인되지 않는다. 판정: 이진 질문이라는 방향은 2026년 프리프린트 한 편이 받친다. 세부 처방은 저자의 권고다.
Cho 외 2026, Ask, Don't Judge (BinEval)
부분사실 · 판정자 패널
판정자 3인 패널의 점수를 평균 대신 중앙값으로 합친다
원문 "중앙값, 평균 아님" → 확인: 3명 패널의 출처는 2024년 PoLL이다. 중앙값 집계의 출처는 2026년 프리프린트 RoPoLL이다. PoLL(Verga 외, arXiv 2024-04-29)은 서로 다른 계열의 모델 셋(Command R, Haiku, GPT-3.5)으로 패널을 꾸렸다. 이진 판정은 다수결(max voting)로, 1~5점 척도는 평균(average pooling)으로 합쳤다. 이 패널은 GPT-4 단독 판정자보다 7배 넘게 쌌다. [¢¢¢] 표기는 소형 판정자 하나와 비교할 때만 맞는다.
RoPoLL(Acharya·Pan·Verkhovsky, arXiv 2026-06-29)은 평균 집계의 약점을 증명한다. 판정자 하나가 모드 붕괴·아첨·안전 거부처럼 LLM에 전형적인 방식으로 고장 나면, 평균의 편향은 배심 크기와 무관하게 한없이 커진다. 대안은 기하 중앙값이다. 점수가 하나뿐이면 기하 중앙값은 보통의 중앙값과 같다. 같은 논문은 판정자 수 3에서 이득이 꺾인다고 실측했다. 판정: 패널 구성은 2024년 연구와, 중앙값 처방은 2026년 단일 프리프린트와 맞는다.
Verga 외 2024, PoLL 전문 · Verga 외 2024, PoLL 초록 · Acharya 외 2026, RoPoLL 초록 · Acharya 외 2026, RoPoLL 전문
부분사실 · 위치 편향
LLM 판정자는 먼저 나온 답을 선호한다
위치 편향은 확인되지만 선호 방향은 모델마다 다르다. Zheng 외(arXiv 2023-06-09)는 시험한 LLM 판정자 대부분이 첫 자리를 선호했다고 보고한다. Wang 외(arXiv 2023-05-29)에서 GPT-4는 먼저 제시된 답을 선호했다. 같은 연구에서 ChatGPT는 대체로 두 번째 답을 선호했다. 판정: '먼저 나온 답 선호'는 다수 판정자의 경향이다. 모든 판정자에 통하는 법칙은 아니다.
Zheng 외 2023, Judging LLM-as-a-Judge · Wang 외 2023, Large Language Models are not Fair Evaluators
사실 · 길이 편향
LLM 판정자는 더 긴 답을 선호한다
Dubois 외(arXiv 2024-04-06)는 AlpacaEval이 긴 출력을 내는 모델을 선호한다고 알려져 있다고 쓴다. 저자들은 회귀 분석으로 길이를 통제한 AlpacaEval을 내놓았다. Zheng 외(2023)는 같은 내용을 반복한 목록으로 장황함 편향을 시험했다. 결과는 모든 LLM 판정자가 이 편향에 취약할 수 있다는 것이었다. GPT-4가 가장 잘 버텼다. Yang·Hou·Yang(arXiv 2026-07-09)은 더 강한 판정자도 위치·장황함 편향을 줄일 뿐 없애지 못한다고 보고한다.
Dubois 외 2024, Length-Controlled AlpacaEval · Zheng 외 2023, Judging LLM-as-a-Judge · Yang 외 2026, When the Judge Changes, So Does the Measurement
부분사실 · 자기 계열 선호
LLM 판정자는 자기 모델 계열의 답을 선호한다
자기 출력 선호는 확인된다. 계열 단위 선호의 근거는 관찰 한 건이다. Panickssery·Bowman·Feng(arXiv 2024-04-15)은 사람이 같은 품질로 본 답에서 LLM 평가자가 자기 출력에 더 높은 점수를 준다고 보고한다. 저자들은 자기 인식 능력과 이 선호의 강도 사이에서 선형 상관을 찾았다.
PoLL 논문에서는 GPT-4 판정자가 다른 GPT-4 변형을 실제 4위에서 2위로 올렸다. Zheng 외(2023)는 데이터가 적어 자기 강화 편향 여부를 판단할 수 없다고 적는다. 판정: 자기 출력 선호는 통제 실험이 받친다. '같은 계열' 선호는 순위 관찰 한 건에 기댄다.
Panickssery 외 2024, LLM Evaluators Recognize and Favor Their Own Generations · Verga 외 2024, PoLL 전문 · Zheng 외 2023, Judging LLM-as-a-Judge
부분사실 · 듣기 좋은 답
LLM 판정자는 해결한 답보다 듣기 좋은 답을 선호한다
가장 가까운 근거는 Wu·Aji(arXiv 2023-07-06)다. 이 연구에서 사실 오류가 있는 답이 너무 짧거나 문법 오류가 있는 답보다 높은 평가를 받았다. 연구는 크라우드 평가자·전문가 평가자·LLM을 함께 조사했다. 초록은 이 편향을 평가 과정 전체의 문제로 보고한다. 'pleasant'와 'solved'라는 대비는 저자의 환언이다. 판정: 문체가 실질을 이긴다는 방향은 맞다. 사람 라벨도 같은 편향을 받을 수 있다는 조건이 붙는다.
Wu·Aji 2023, Style Over Substance
사실 · 판정자 버전 기록
결과마다 판정자 모델·버전을 기록한다. 판정자가 바뀌면 다시 점검한다
Yang·Hou·Yang(arXiv 2026-07-09)은 후보 답이 그대로여도 판정자가 바뀌면 LLM 판정 점수가 움직인다고 보고한다. 판정 데이터셋 4개에서 Qwen3 판정자를 1.7B에서 32B로 키운 경로와 MiniMax M2~M2.7 API를 옮긴 경로를 비교했다. 판정자 업그레이드끼리는 서로 바꿔 쓸 수 없었다. 이 근거는 판정자 교체에 한정된다. 평가 대상 모델이나 도메인이 바뀔 때의 재점검은 저자의 권고다. 연구는 6쪽 분량의 2026년 프리프린트다.
Yang 외 2026, When the Judge Changes, So Does the Measurement
부분사실 · 유사도 지표
ROUGE·임베딩 유사도는 품질 점수로 쓸 수 없다
ROUGE 쪽은 확립된 결과다. G-Eval(Liu 외, arXiv 2023-03-29)은 BLEU·ROUGE 같은 참조 기반 지표가 사람 판단과 상관이 낮다고 정리한다. 창의성과 다양성이 필요한 과제에서 특히 낮다. 임베딩 쪽 근거는 2016년 대화 응답 연구다. Chia-Wei Liu 외(arXiv 2016-03-25)에서 임베딩 기반 지표는 Twitter 말뭉치에서 사람 판단과 약하게 상관했다. Ubuntu 대화 말뭉치에서는 전혀 상관하지 않았다.
이 연구의 임베딩 지표는 Word2Vec 같은 단어 임베딩 기반이다. 최신 문장 임베딩에 대한 근거는 되지 못한다. 같은 연구는 이 지표들이 기준 모델과 최신 모델을 유의하게 구별한다고도 보고한다. 변화 감지용 '드리프트 경보'라는 용도는 이 결과와 맞는 저자의 권고다. 판정: 품질 점수로 못 쓴다는 결론은 맞다. 임베딩 부분의 근거는 2016년 단어 임베딩 지표에 머문다.
Liu 외 2023, G-Eval · Liu 외 2016, How NOT To Evaluate Your Dialogue System
사실 · RAG 분리 채점
RAG는 검색기와 작성기(충실도)를 따로 채점한다
RAGAS(Es 외, arXiv 2023-09-26)는 RAG 평가 차원으로 검색 시스템의 관련 문맥 식별, LLM의 충실한 문맥 활용, 생성 품질을 든다. 앞의 두 차원이 치트시트의 검색기·작성기 구분과 맞는다. RAGAS는 이 차원들을 사람 정답 주석 없이 재는 지표 묶음을 제안한다. hit@k와 recall@k는 정보 검색 분야의 표준 지표명이다. RAGAS 고유의 지표 이름은 아니다.
Es 외 2023, RAGAS
사실 · pass^k
pass^k는 같은 과제를 k번 돌려 모두 성공할 확률로 에이전트 신뢰성을 잰다
τ-bench(Yao 외, arXiv 2024-06-17)가 이 지표를 제안했다. 정의는 독립 시행 k번이 모두 성공할 확률의 과제 평균이다. 적어도 한 번 성공할 확률인 pass@k와 반대 방향에서 신뢰성을 잰다. 채점은 에피소드 종료 시점의 데이터베이스 상태를 정답 상태와 비교한다. 치트시트의 '최종 상태' 채점과 같은 방식이다. 초록 기준으로 gpt-4o의 retail 영역 pass^8은 25% 미만이었다.
Yao 외 2024, τ-bench 초록 · Yao 외 2024, τ-bench 전문
부분사실 · 에이전트 다축 평가
에이전트는 실행 반복·바꿔 말한 과제·성공당 비용까지 따로 본다
실행 반복과 비용 축은 2026년 연구가 받친다. Rabanser 외(arXiv 2026-02-18, ICML 2026 채택)는 성공률 하나가 실행 간 일관성·교란 견딤·예측 가능한 실패·오류 심각도를 가린다고 쓴다. '교란'에 바꿔 말한 과제가 들어가는지는 초록이 특정하지 않는다. Bai 외(arXiv 2026-04-24)는 SWE-bench Verified에서 같은 과제의 실행 간 토큰 사용량이 최대 30배 차이 났다고 보고한다. 토큰을 더 쓴다고 정확도가 오르지 않았다. 판정: 경로 채점과 '성공당 비용'이라는 지표 형태는 저자의 권고다.
Rabanser 외 2026, Towards a Science of AI Agent Reliability · Bai 외 2026, How Do AI Agents Spend Your Money?
사실 · 채점기 게이밍
학습·선택에 쓴 채점기는 게임당한다
Gao·Schulman·Hilton(arXiv 2022-10-19)은 보상 모델이 불완전한 대리 지표라서 지나치게 최적화하면 실제 성능이 떨어진다고 보인다. 저자들은 이를 굿하트의 법칙에 해당한다고 쓴다. 실험은 강화학습과 best-of-n 샘플링을 모두 다룬다. best-of-n은 채점기로 후보를 고르는 '선택'에 해당한다. 실험 설정은 고정된 '금본위' 보상 모델이 사람 역할을 하는 합성 환경이다. 시스템이 보지 못하는 채점기를 따로 두라는 처방은 저자의 권고다.
Gao 외 2022, Scaling Laws for Reward Model Overoptimization
사실 · 점수의 설정 의존
벤치마크 점수는 모델·프롬프트·하네스·버전의 묶음에 속한다
Biderman 외(arXiv 2024-05-23, 2026-05-31 개정)는 lm-eval 하네스를 3년간 개발한 경험을 정리한다. 초록은 평가 설정에 대한 모델의 민감성을 첫 문제로 든다. 방법 간 비교의 어려움과 재현성·투명성 부족이 뒤를 잇는다. 같은 모델도 평가 설정이 바뀌면 점수가 바뀐다는 뜻이다. 치트시트의 네 요소는 이 평가 설정을 풀어 쓴 목록이다.
Biderman 외 2024, Lessons from the Trenches
사실 · 오염과 포화
공개 벤치마크는 오염·포화되므로 날짜를 확인한다
GSM1k(Zhang 외, arXiv 2024-05-01)는 GSM8k를 본떠 새로 만든 초등 수학 문제 세트다. 주요 모델을 여기서 재면 정확도가 최대 8% 떨어졌다. 여러 모델 계열은 거의 모든 크기에서 체계적 과적합의 증거를 보였다. Akhtar 외(arXiv 2026-02-18, ICML 2026)는 언어 모델 벤치마크 60개 중 절반 가까이가 포화했다고 보고한다. 포화 비율은 벤치마크가 오래될수록 높았다. 날짜를 확인하라는 처방은 두 결과와 맞는다.
Zhang 외 2024, GSM1k · Akhtar 외 2026, When AI Benchmarks Plateau
부분사실 · 오류 분석 우선
오류 분석이 먼저다. 출력 100건 이상에서 실패를 묶어 센 목록이 채점기 계획이 된다
출력 채점에는 기준이 필요하다. 그 기준은 출력을 채점하는 과정에서 정해진다. Shankar 외(arXiv 2024-04-18)는 이 현상을 기준 표류(criteria drift)라 부른다. 일부 기준은 관찰한 특정 출력에 의존했다. 출력을 먼저 읽으라는 순서는 이 정성 연구의 결과와 맞는다. 판정: '100건 이상'은 출처 없는 저자의 경험칙이다.
Shankar 외 2024, Who Validates the Validators?
권고 — 판정 대상 아님. 치트시트의 나머지 줄은 운용 권고다. 실제 실패에서 고른 20~50건으로 시작하기, 사례마다 정답 적기, 개발 세트와 테스트 세트 나누기가 입력 단계의 권고다. 정답이 하나인 라벨에 완전 일치·F1과 규칙 검사를 쓰라는 줄, 사람 라벨을 모든 채점기의 기준으로 삼으라는 줄도 권고다. 프롬프트 변형 20개를 시도했으면 새 사례로 승자를 다시 확인하라는 줄도 같은 묶음이다.
공개 벤치마크 약 5개로 모델 2~3개를 추리기, 커밋·변경·출시 후의 세 주기로 채점기 돌리기도 권고다. 마지막 줄의 네 숫자는 오차 막대가 붙은 통과율, 채점기와 사람의 일치도, 탐지 하한, 직전 변경에서 나빠진 사례 비율이다. 이 네 숫자를 요구하라는 줄 역시 저자의 운용 권고다.
