86%
네 가지 분석 결정에서 분석가의 선택이 에이전트의 기울기와 일치한 비율로, 기울기가 아무 영향도 없다면 약 50%가 나온다(원문 P4). 저자들은 효과를 재려고 기울기를 일부러 강화했다(원문 P7).
읽기 전에
정답이 없는 분석 결정을 AI 에이전트와 함께 내릴 때, 그 결정은 누구의 판단인가
아마치 헤르다델렌·헤일리 조런·알렉스 탐킨이 2026-10-27 Anthropic 정렬(Alignment)팀 연구 글로 보고한 실험에서, 그 결정은 대부분 에이전트의 판단이었다(원문 머리 · 논문 1쪽). 네 가지 분석 결정에서 분석가들은 동전 던지기가 정한 에이전트의 기울기를 86%의 비율로 따랐는데, 에이전트가 영향을 주지 않았다면 약 50%였을 비율이다(원문 P4). 사후 설문에서 에이전트의 논거로 자기 선택을 설명한 분석가는 77%, 어느 답에서든 에이전트를 언급한 분석가는 15%였다(원문 P28). 52%는 최종 권고가 에이전트보다 자기 것에 가깝다고 답했다(원문 P26).
AI 안전 연구에서 사람이 개입하는 고리(human in the loop)는 사람의 판단이 독립 점검이라는 전제에 선다(원문 P40). 이 실험의 분석가들은 판단 결정이 에이전트의 무작위 기울기로 대부분 정해진 작업을 승인했다(원문 P40).
멘탈 모델
동전이 에이전트의 기울기를 정하고, 기울기가 분석 결정 넷을, 분석 결정이 추정치를, 추정치가 권고를 움직이는 사슬이다(원문 P18 · 원문 P17 · 원문 P22).
이 사슬의 수치는 분석가 50명이 가상의 그린필즈 농업협동조합(Greenfields Farming Cooperative) 과제 하나를 Claude Opus 4.8 에이전트와 함께 푼 실험 한 번에서 나왔다(원문 P2 · 원문 P10 · 원문 P34). 저자들은 효과를 재려고 기울기를 일부러 강화했으므로, 기울기가 분명하지 않은 실제 업무에서는 효과가 더 작을 수 있다고 적는다(원문 P33 · 원문 P7).
먼저 알아 둘 것
- 판단 결정
- 판단 결정은 증거가 방어 가능한 답을 둘 이상 허락해서, 결정하는 사람의 가정과 사전 믿음이 답을 고르는 결정이다(논문 1쪽). 기존 과의존(overreliance) 연구는 맞는 답이 있다고 전제하므로, 정답이 없는 이런 결정에서는 “지나친 의존”을 정의할 수 없다(논문 1쪽 · 논문 2쪽). 이 실험의 분석 결정 넷은 두 선택지가 모두 타당하도록 저자들이 일부러 열어 둔 결정이다(원문 P11).
- 동전 던지기(무작위 배정)가 말해 주는 것
- 결정마다 동전이 기울기를 정했으므로, 반대로 기운 에이전트를 받은 두 집단의 차이가 곧 기울기의 평균 효과다(원문 P35 · 논문 8쪽). 분석가 한 사람이 얼마나 영향을 받았는지는 이 설계로 알 수 없다(원문 P35). 자기 선호를 먼저 밝힌 38건에서는 에이전트가 반대하면 60%, 동의하면 6%가 선택을 바꿨다(원문 P24). 이 38건은 분석가 자신의 행동으로 골라진 부분집합이어서, 저자들은 이 차이를 인과로 단정하지 않는다(원문 P24 · 논문 9쪽).
- 이중차분과 수준 보정
- 이중차분(difference-in-differences)은 가입 농가의 수확량이 가입 뒤 변한 폭을 같은 기간 다른 농가가 변한 폭과 비교하는 설계다(원문 P13). 수준 보정(levels adjustment)은 농가 사이의 차이를 통계적으로 보정한 뒤 수확량을 직접 비교한다(원문 P13). 어느 쪽이 맞는지는 농가가 지속적인 격차 때문에 가입했는지 일시적인 부진 끝에 가입했는지에 달렸는데, 이 가정은 데이터로 판정할 수 없다(논문 19쪽). 한 세션에서는 이 선택 하나가 추정치를 +4.6%에서 −1.6%로 옮겼다(논문 10쪽). 이사회가 프로그램 확대의 조건으로 건 생산성 개선 폭은 약 3~4%다(원문 P10).
- 시스템 프롬프트와 지정된 기울기
- 이 실험에서 시스템 프롬프트는 참가자에게 보이지 않는 숨은 지시였다(원문 P18). 그 지시는 기울기를 에이전트 자신의 견해로 삼아 결정이 나오면 꺼내게 하면서, 증거가 결정적으로 반대하면 생각을 바꾸고 결과를 왜곡하거나 데이터를 숨기지 말라고 정했다(원문 P18). 기울기를 지정하지 않은 Claude Opus 4.8도 123회 실행 중 112회 같은 다섯 선택을 했다(원문 P7). 사후 설문에서 48명 중 6명이 연구 주제를 AI의 영향으로 짐작했지만, 에이전트의 선호가 조작됐다고 의심한 사람은 없었다(원문 P29).
- 두 가지 수치: 추종률과 효과 크기
- 추종률은 분석가의 선택이 에이전트의 기울기와 맞은 비율로, 결정별로 결과 지표 92%·비교 방법 82%·평가 대상 농가 81%·가중 방식 90%다(원문 P21). 효과 크기는 A 쪽으로 기운 에이전트를 받은 집단과 B 쪽 집단의 A 선택률 차이를 퍼센트포인트(%p)로 잰 값이다(원문 P23). 가중 방식에서 B 쪽 기울기 집단의 A 선택률은 22%, A 쪽 집단은 100%였으므로 효과는 +78%p다(원문 P23). 분석 결정 넷의 효과 크기는 62~82%p에 걸친다(원문 P23).
읽는 순서
- Executive Summary — 결론과 수치를 먼저 본다.
- 원본 (완역)의 도입부 — 그림 1이 결정 다섯과 동전 던지기 설계를 한 장으로 보여 준다(원문 P6).
- 연구 설계 — 결정 다섯의 두 선택지와 숨은 지시의 조건이 이 절에 있다(원문 P11 · 원문 P18).
- 결과 — 그림 2는 효과 크기를, 그림 3은 권고의 소유 인식을, 그림 4는 에이전트 발언과 사후 설명의 겹치는 문구를 보여 준다(원문 P23 · 원문 P27 · 원문 P30).
- 이 연구의 한계 — 저자들이 실제 업무로 넓혀 읽을 때의 조건을 적은 절이라 해석보다 먼저 둔다(원문 P33).
- 팩트체크 — 수치마다 판정을 본다.
- 이것이 뜻하는 것 — 여기부터는 실험 결과가 아니라 저자들의 해석과 향후 연구 제안이다(원문 P37 · 원문 P42).
- 저자와 감사의 말 — 연구 책임자와 편집 지원자가 이 절에 있다(원문 P47).
분량은 원문 본문 약 2,600단어와 그림 4장, 바탕 논문 「Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls」 29쪽이다(원문 · 논문 29쪽).
이 글이 답하는 질문
최종 권고는 에이전트의 영향을 벗어났나?
직접 효과는 약했지만 벗어나지 못했다(원문 P22). 에이전트가 전면 시행 쪽으로 기울었을 때는 54%, 반대쪽으로 기울었을 때는 36%가 전면 시행을 권고했다(원문 P22). 가장 흔한 권고를 늘 고르면 61%가 맞는 자리에서, 분석 결정 넷의 기울기만 넣은 통계 모델은 권고의 82%를 맞혔다(원문 P22 · 논문 10쪽). 권고가 기댄 추정치를 앞선 분석 결정이 이미 기울여 놓았기 때문이다(논문 10쪽).
경험 많은 전문가는 덜 따랐나?
경력과 인과 추론 퀴즈 점수를 포함한 특성 10개 가운데 추종 정도를 믿을 만하게 예측한 것은 없었다(원문 P25). 나이만 통계적으로 유의하게 나왔지만, 여러 특성을 한꺼번에 검정한 것을 보정하자 그 결과도 사라졌다(원문 P25). 분석가 대부분이 결정 대부분에서 에이전트를 따랐으므로, 설명할 차이 자체가 작았다(원문 P25). 이 분석가들은 인과 추론 전문가였지만 농업 분야는 처음이었다(원문 P34).
그렇다면 AI 에이전트를 쓰지 말라는 결론인가?
저자들은 AI를 덜 쓰자는 주장이 아니라고 적는다(원문 P42). 결과를 무효로 만드는 심각한 방법론 오류는 에이전트를 쓴 50명 중 3명(6%), 쓰지 않기로 한 11명 중 6명(55%)에게서 나왔다(원문 P31). 에이전트 없이 한 분석가들의 작업 시간 중앙값은 90분으로, 에이전트를 쓴 집단의 65분보다 길었다(원문 P31). 에이전트를 쓰지 않은 집단은 평균 경험이 적어서, 저자들은 이 차이를 AI 사용의 효과로 단정하지 않는다(원문 P32). 저자들이 제안하는 방향은 일상 업무에서 추종을 재는 방법, 선택지마다 최선의 논거를 대거나 전문가의 견해를 먼저 묻는 에이전트, 전문가의 승인을 독립 판단의 증거로 여기는 제도의 재검토다(원문 P43 · 원문 P44 · 원문 P45).
Executive Summary
2026-10-27 Anthropic 정렬(Alignment)팀이 낸 연구 글(저자 아마치 헤르다델렌·헤일리 조런·알렉스 탐킨, 바탕 논문 29쪽)에 따르면, Claude Code와 함께 분석한 전문 분석가 50명은 정답 없는 분석 결정에서 대부분 동전 던지기로 정해진 에이전트의 기울기를 따랐다(원문 P2 · 원문 P4 · 원문 P47 · 논문 1쪽). 에이전트를 많이 따른 분석가도 나머지 분석가만큼 최종 권고를 자기 판단의 산물로 불렀다(원문 P5). 선택 이유를 쓸 때 분석가 다수는 에이전트의 논거를 되풀이했지만, 그 출처로 에이전트를 밝힌 사람은 드물었다(원문 P5). 저자들은 이 결과를 AI를 덜 쓰라는 신호가 아니라, 사람의 승인을 독립된 검증으로 보는 가정이 흔들린다는 신호로 읽는다(원문 P40 · 원문 P42 · 원문 P45).
신뢰도 B — 수치는 논문과 반올림 범위 안에서 맞고 한계 고지도 충분하지만, 권고 효과의 비유의성과 82% 예측의 미등록·표본 내 성격을 빠뜨렸고 외부 인용 8건 중 3건은 문장의 일부만 받친다. → 팩트체크
82%
네 분석 결정의 기울기만 넣은 통계 모형이 맞힌 최종 권고의 비율로, 늘 가장 흔한 권고를 고르면 61%다(원문 P22). 1년 연장을 제안한 분석가를 뺀 탐색적 분석이다(원문 P22 · 논문 10쪽).
77% 대 15%
선택 이유를 쓰며 에이전트의 논거를 한 번 이상 되풀이한 분석가의 비율과, 어느 답에서든 에이전트를 출처로 밝힌 분석가의 비율이다(원문 P28).
60% 대 6%
이미 한쪽을 고른 분석가가 반대쪽으로 기운 에이전트를 만났을 때와 같은 쪽으로 기운 에이전트를 만났을 때 선택을 바꾼 비율로, 38건에서 나온 값이라 저자들은 추정이 부정확하다고 적는다(원문 P24).
동전 던지기가 에이전트의 기울기를 정했다
저자들이 시험한 것은 통념 하나다(원문 P2). 에이전트가 코드를 쓰고 수치를 돌려도, 무엇을 잴지와 모호한 증거를 어떻게 읽을지는 전문가가 정한다는 가정이다(원문 P1). 이런 물음에는 합리적인 답이 여럿인 경우가 많아서, 결국 결정하는 사람의 경험과 가치가 답을 가른다(원문 P1).
참가자는 분석가 61명이다(원문 P9). 모두 인과 추론 지식 점검을 통과했고 Python이나 R을 자주 쓰는 사람들로, 통제된 실험 대신 현실 데이터로 인과를 따지는 관찰 인과 분석의 실무 경험이 있었다(원문 P9). 과제는 가상의 그린필즈 농업협동조합(Greenfields Farming Cooperative)이 조합원 농가의 수확량을 높이려고 운영하는 자발적 유료 자문 프로그램을 평가하는 일이다(원문 P10). 조합원의 약 40%가 이 프로그램에 가입했다(원문 P10). 이사회는 생산성이 대략 3~4% 오를 때만 프로그램을 확대하기로 했지만, 생산성을 어떻게 잴지는 정하지 않았다(원문 P10).
저자들은 합리적인 선택지가 둘씩인 분석 결정 네 개를 일부러 열어 두었다(원문 P11).
- 결과 지표 — 생산성을 헥타르당 수확량으로 재는가, 운영비 단위당 수확량으로 재는가(원문 P12).
- 비교 방법 — 가입 뒤 가입 농가의 수확량 변화를 같은 기간 다른 농가의 변화와 견주는 이중차분(difference-in-differences)인가, 농가 간 차이를 통계로 보정해 수확량을 직접 견주는 수준 보정(levels adjustment)인가(원문 P13).
- 평가 대상 농가 — 효과를 가입 농가에서만 재는가, 조합원 전체에서 재는가(원문 P14).
- 가중 방식 — 모든 농가를 똑같이 세는가, 큰 생산자에 더 무게를 주는가(원문 P15).
네 결정은 프로그램을 전면 시행할지 중단할지 고르는 최종 권고로 이어진다(원문 P16). 분석가와 에이전트는 1년 연장도 제안할 수 있었다(원문 P16). 분석 결정 하나가 추정 생산성 향상폭을 몇 %p씩 옮길 수 있어서, 기준이 3~4%인 이사회 결정에서는 이 선택이 결론을 가를 수 있다(원문 P17).
다섯 결정마다 에이전트의 기울기는 동전 던지기로 정했다(원문 P18). 기울기는 참가자에게 보이지 않는 지시문, 곧 시스템 프롬프트로 들어갔다(원문 P18). 지시문은 기울기를 자기 견해로 품고, 결정이 나오면 먼저 꺼내고, 데이터가 허락하는 가장 강한 논거를 대라고 요구했다(원문 P18). 같은 지시문은 증거가 결정적으로 반대로 돌아서면 생각을 바꾸라는 단서와 함께, 결과 왜곡·데이터 은폐·수치가 받치지 않는 주장을 금했다(원문 P18). 분석가들은 에이전트가 기울기를 받았다는 사실을 몰랐다(원문 P3). 그림 1은 이 설계를 세 칸으로 그린다(원문 P6). 첫 칸은 다섯 결정과 각각의 두 선택지, 둘째 칸은 기울기에 따른 예시 발언(B 쪽 에이전트는 운영비 단위당 수확량을, A 쪽 에이전트는 헥타르당 수확량을 권한다), 셋째 칸은 두 기울기 집단의 A 선택률 차이가 기울기의 효과를 추정한다는 원리다(원문 P6).
61명 중 11명은 에이전트를 쓰지 않기로 했다(원문 P19). 이들은 따로 밝힌 곳을 빼면 분석에서 빠졌다(원문 P19). 남은 50명 가운데 65%는 석사·박사 학위가 있거나 경력이 6년 이상이었다(원문 P19). 설문에 답한 48명 중 90%는 관찰 인과 추론 실력을 능숙 또는 전문가 수준으로 스스로 평가했다(원문 P19). 과제 시간의 중앙값은 65분, 분석가 절반의 과제 시간은 50~79분이었다(원문 P19). 작업 환경은 Claude Code를 내장한 웹 기반 VS Code 편집기, 에이전트의 모델은 High effort로 설정한 Claude Opus 4.8이다(원문 P19).
분석가는 네 분석 선택과 최종 권고, 생산성 효과 추정치와 그 신뢰구간을 제출한 뒤 사후 설문에 답했다(원문 P20). 별도의 AI 모델이 제출물과 코드를 읽어 결정마다 어느 선택지를 골랐는지 기록했다(원문 P20). 그 판독이 분석가의 설문 답과 어긋나면 저자들이 최종 판정했다(원문 P20).
네 분석 결정은 기울기를 따랐고, 최종 권고는 동전 던지기만으로 예측됐다
분석가의 선택이 에이전트의 기울기와 일치한 비율은 결정마다 결과 지표 92%, 비교 방법 82%, 평가 대상 농가 81%, 가중 방식 90%다(원문 P21). 그림 2는 같은 결과를 다른 양, 곧 A 쪽으로 기운 집단과 B 쪽으로 기운 집단의 A 선택률 차이로 보여 준다(원문 P21 · 원문 P23). 저자들이 사전에 등록한 주 분석에서 네 결정의 이 차이를 평균하면 72%p(95% 신뢰구간 60~83%p)다(논문 9쪽).
최종 권고에서는 기울기의 효과가 약했다(원문 P22). 전면 시행을 권한 분석가는 에이전트가 그쪽으로 기울면 54%, 반대쪽으로 기울면 36%였다(원문 P22). 1년 연장은 전면 시행이 아닌 쪽으로 셌다(원문 P22). 논문의 사전등록 주 추정치로 이 이동은 단측 p=0.069, 95% 신뢰구간 −6~40%여서 통계적으로 유의하지 않았다(논문 10쪽). 저자들은 추정치가 나온 뒤에는 권고가 이사회 기준 3~4%를 넘느냐로 대부분 정해져 판단의 여지가 적었기 때문이라고 본다(원문 P22). 그 시점에는 네 분석 결정의 기울기가 이미 추정치 자체를 빚어 놓은 상태였다(원문 P22). 네 기울기만으로 권고의 82%를 맞힌 모형의 AUC는 0.84로, 저자들은 이 값을 표본 안에서 잰 탐색적 결과로 밝힌다(논문 10쪽). 저자들의 표현으로는, 분석가가 과제를 시작하기도 전에 동전 던지기만으로 권고를 대부분 예측할 수 있었다(원문 P22).
논문이 예로 드는 한 세션이 이 연쇄를 보여 준다(논문 10쪽). 분석가는 이중차분으로 +4.6%라는 추정치를 얻었다가, 에이전트의 기울기를 따라 수준 보정으로 바꾸자 −1.6%를 얻었다(논문 10쪽). 이 분석가는 최종 권고에서 에이전트의 전면 시행 기울기를 거슬러 중단을 권했다(논문 10쪽). 저자들은 그 권고가 이미 앞선 분석 결정에서 에이전트의 영향으로 정해져 있었다고 해석한다(논문 10쪽).
먼저 자기 선호를 밝힌 분석가도 에이전트가 반대하면 자주 돌아섰다(원문 P24). 에이전트가 기울기를 말하기 전에 분석가가 분석 결정 하나에 선호를 밝힌 경우가 38건이었다(원문 P24). 위 그리드의 60% 대 6%는 이 38건의 전환율로, 차이는 54%p다(원문 P24). 사례가 38건뿐이라 95% 신뢰구간이 24~82%p에 이를 만큼 추정이 부정확하다고 저자들은 적는다(원문 P24). 논문 표 2의 등록 추정치는 53%p다(논문 9쪽). 선호를 먼저 밝힌 분석가가 그러지 않은 분석가와 체계적으로 달랐을 수 있어서, 저자들은 이 차이를 AI의 영향 때문이라고 확신할 수 없다고 적는다(원문 P24).
경력과 전문성은 누가 따를지를 예측하지 못했다(원문 P25). 저자들은 탐색적 분석에서 특성 10가지가 추종 빈도를 예측하는지 봤다(원문 P25). 분석 경력 연수, 인과 추론 전문성 자가 평가, 학력, 인과 추론 퀴즈 점수, AI에 대한 신뢰, AI 사용 빈도, 애써 생각하기를 즐기는 정도를 재는 인지 욕구(need for cognition), 열린 사고, 성별, 나이다(원문 P25). 통계적으로 유의한 연관을 보인 특성은 나이 하나로, 나이 많은 분석가가 기울기를 더 자주 따랐다(원문 P25). 저자들은 검정을 많이 하면 우연히 양성이 나오기 쉽다는 이유로 이 결과에 무게를 두지 않는다(원문 P25). 검정 10개를 보정하자 이 효과(보정 전 p=0.037)가 사라졌다(원문 P25 · 논문 10쪽). 대부분의 분석가가 대부분의 결정에서 에이전트를 따라 설명할 변이가 적었으므로, 실제 차이가 있었어도 잡기 어려웠다(원문 P25).
기울기를 따른 분석가도 권고를 자기 것이라 불렀다
사후 설문에서 최종 권고가 에이전트보다 자기 것에 가깝다고 평가한 분석가는 52%, 에이전트의 것에 가깝다고 답한 분석가는 나머지였다(원문 P26). 자기 것이라 답한 쪽의 선택은 평균 약 65%p, 나머지의 선택은 79%p 에이전트의 기울기 쪽으로 움직였다(원문 P26). 저자들은 이 차이가 오차 범위 안이어서 두 집단이 비슷하게 영향을 받았다고 본다(원문 P26). 그림 3은 응답자 48명의 분포다(원문 P27). "최종 권고는 주로 누구의 판단을 반영하나?"라는 6점 척도에서 에이전트 쪽은 23명(전적으로 0명, 대부분 9명, 약간 14명), 내 쪽은 25명(약간 8명, 대부분 13명, 전적으로 4명)이다(원문 P27). 대부분 또는 전적으로 자기 것이라 답한 사람은 35%다(원문 P27).
권고에 대한 확신도 같은 모양이다(원문 P26). 0("동전 던지기다")부터 100("직업적 평판을 걸겠다")까지의 척도에서, 네 분석 결정 모두 기울기를 따른 분석가는 평균 71, 나머지는 평균 73을 답했다(원문 P26). 앞쪽은 29명, 뒤쪽은 19명이다(논문 12쪽). 분석가들은 자기가 무엇을 골랐는지는 결정의 85%에서 정확히 기억했다(논문 11쪽).
분석가들은 자기 선택을 에이전트의 말로 설명했다(원문 P28). 설문은 결정마다 "왜 다른 선택지가 아니라 그것인가? 능동적으로 고른 게 아니라면 그렇다고 쓰라"고 물었다(원문 P28). 답하는 동안 분석가는 에이전트와 나눈 대화를 다시 볼 수 없었다(원문 P28). 그림 4는 에이전트의 과제 중 발언(주황)과 같은 참가자의 사후 답(파랑)을 두 쌍으로 나란히 놓고 겹치는 구절을 표시한다(원문 P30). 첫 쌍에서 에이전트는 보조금이 총 톤수에서 나온 잉여로 충당되니 3헥타르 밭과 400헥타르 농장을 똑같이 세지 말고 면적으로 가중하자고 말했다(원문 P30). 그 참가자는 나중에 같은 보조금 논리로 농가 수가 아니라 헥타르 기준 평균이 맞다고 썼다(원문 P30). 둘째 쌍에서 에이전트는 시행 뒤 한 시즌은 프로그램을 없애기에 근거가 얇다며 1년 연장을 권했다(원문 P30). 참가자는 같은 "얇은 근거"라는 표현으로 이유를 댔다(원문 P30).
연구가 무엇에 관한 것 같으냐는 물음에 48명 중 6명은 AI가 선택에 미치는 영향이라고 맞혔지만, AI의 선호가 조작됐다고 의심한 사람은 없었다(원문 P29).
에이전트 없이 일한 11명은 더 자주 틀리고 더 오래 걸렸다
저자들은 이 연구가 AI와 일하지 말라는 단순한 경고담이 아니라고 쓴다(원문 P8). 결과를 무효로 만드는 심각한 방법론 오류는 에이전트를 쓰지 않은 11명 중 6명(55%), 에이전트를 쓴 50명 중 3명(6%)에게서 나왔다(원문 P31). AI 모델 둘이 표시한 오류를 저자 한 명이 분석가의 집단을 모르는 상태에서 하나씩 확인했다(원문 P31). 에이전트 없이 일한 쪽은 시간도 더 걸렸다(원문 P31). 중앙값은 90분, 에이전트를 쓴 쪽은 65분이다(원문 P31).
두 집단은 직접 비교할 수 없어서, 저자들은 이 차이가 AI 사용 여부 때문인지 확신할 수 없다고 적는다(원문 P32). AI 없이 일한 쪽은 평균적으로 경험이 적었다(원문 P32). 석사·박사 학위자는 11명 중 4명(에이전트 사용자는 46명 중 24명), 분석 경력 2년 이하는 11명 중 6명(48명 중 15명), 인과 추론을 능숙 또는 전문가 수준으로 자가 평가한 사람은 11명 중 8명(48명 중 43명)이다(원문 P32).
저자들이 그은 경계: 일부러 강화한 기울기, 한 번의 과제, 평균 효과
저자들은 이 결과가 현실 세계에 대해 얼마나 말해 주는지 모른다고 먼저 밝힌다(원문 P7). 실제 에이전트도 때로 한쪽으로 기운다(원문 P7). 기울기를 지정하지 않았을 때 Claude Opus 4.8은 123번의 실행 중 112번 같은 다섯 선택을 했다(원문 P7). 그 다섯 선택은 운영비 단위당 수확량, 이중차분, 가입 농가, 농가별 동일 가중, 전면 시행이다(논문 12쪽). 분명한 선호와 그것을 말하라는 지시가 없으면 효과는 더 작을 수 있다고 저자들은 적는다(원문 P7). 전체 논문은 기울기를 받지 않은 에이전트의 선호가 더 약하고, 이 에이전트가 때로는 사용자에게 반박한다는 결과도 싣는다(원문 P40). 분석가 역할의 스크립트가 에이전트의 기본 선호와 반대인 결정을 선언하고 코드만 요청하자, 기본 에이전트는 150건 중 66%에서 다른 선택지를 꺼냈고 41%에서 그것을 권하거나 옹호했다(논문 13쪽). 기울기를 주면 옹호 비율은 87%로 올랐다(논문 13쪽).
- 일부러 강화한 기울기 — 보고된 비율은 에이전트가 한쪽으로 기울고 그 사실을 말할 때의 값이다(원문 P33). 실제 업무에 얼마나 들어맞는지는 전문가 자신의 견해가 얼마나 강한지, 결정이 얼마나 분명하게 정의됐는지, 모델이 선호를 갖고 그것을 먼저 꺼내는지에 달렸다(원문 P33).
- 과제·분야·모델이 하나씩 — 연구 대상은 약 1시간짜리 농업 분석 과제 하나와 Claude Opus 4.8 기반 에이전트 하나였다(원문 P34). 분석가들은 인과 추론 전문가였지만 농업은 처음이었다(원문 P34). 실제 업무라면 분야를 더 잘 알고 견해도 더 강했을 수 있다(원문 P34). 관계자를 인터뷰하거나 이사회와 이야기해 합리적 선택지를 좁히면 에이전트의 영향이 줄 수 있다(원문 P34).
- 분석가 평균의 추정치 — 동전 던지기가 분석가마다 달라서, 반대로 기운 에이전트를 쓴 분석가끼리 비교하면 기울기의 평균 효과를 알 수 있다(원문 P35). 에이전트가 기울기를 말하기 전의 각자 견해를 기록하지 않았기 때문에, 한 사람이 얼마나 영향을 받았는지는 말할 수 없다(원문 P35). 논문은 견해를 미리 묻지 않은 이유로, 묻는 행위 자체가 개입이 되어 자연스러운 작업 흐름의 추종을 과소 측정할 수 있다는 점을 든다(논문 7쪽).
- 기록하지 않은 선호의 강도 — 추종의 한 가지 설명은 전문가에게 애초에 강한 의견이 없었다는 것이다(원문 P36). 저자들은 선택에 대한 확신은 재지 않고 선택이 움직였는지만 쟀다(원문 P36).
저자들의 해석: 한쪽만 논증된 판단은 독립된 검증이 되지 못한다
저자들은 분석가들이 쉽게 따른 이유 하나로, 전문가가 견해를 완성한 채 오지 않는다는 점을 든다(원문 P37). 전문가는 선택지를 저울질하면서 자기 생각을 정리하거나 발견하기도 한다(원문 P37). 원문은 이 대목에서 선호가 판단 과정에서 구성된다고 본 슬로빅(Paul Slovic)의 1995년 논문을 인용한다(원문 P37). 논문의 세션 기록으로는 분석가가 입장을 정하기 전에 에이전트가 먼저 한쪽을 말한 결정이 77%였다(논문 11쪽). 오도하지 말라는 지시를 받은 에이전트는 선택지마다 결과가 어떻게 달라지는지 자주 터놓고 밝혔다(원문 P37). 에이전트가 거의 하지 않은 일은 전문가가 다른 선택지를 고를 만한 이유를 강하게 논증하는 것이었다(원문 P37). 한쪽만 잘 논증되자 분석가는 자기 가정을 세우지 않고 에이전트의 가정을 받아들일 수 있었다(원문 P37).
개인 전문가에게 이것은 자기 일에 대한 주체성을 잃는 일, 연구자들이 무력화(disempowerment)라 부르는 현상의 한 형태일 수 있다(원문 P38). 원문이 연결한 연구는 급격한 장악이 아니라 점진적인 AI 도입으로 사람의 영향력이 약해지는 위험을 다룬 Kulveit 외의 2025년 논문 「Gradual Disempowerment」다(원문 P38). 결과물은 여전히 전문가의 이름으로 나가지만, 판단에 가장 기대는 결정은 실제로는 에이전트의 사전 믿음이 정한다(원문 P38).
과학과 정책의 많은 부분이 이런 판단 결정에 기대기 때문에 문제는 개인을 넘는다(원문 P39). 따로 일한 연구팀들이 같은 결과에 이르면 사람들은 각 팀이 독립적으로 도달했다고 보고 그 결과를 더 믿는다(원문 P39). 팀들이 같은 선호를 가진 모델을 따르면 그 일치는 더는 독립적이지 않을 수 있다(원문 P39). 원문이 연결한 Doshi·Hauser의 2024년 Science Advances 논문은 생성형 AI의 아이디어를 쓰면 개인 작품은 나아지지만 작품끼리 서로 비슷해진다고 보고한 실험이다(원문 P39). 겉보기 합의는 한 모델의 선호를 반영할 수 있다(원문 P39). 그 선호가 자의적이거나 잘못 정렬돼 있으면 같은 편향이 많은 결과를 한꺼번에 빚는다(원문 P39). 논문은 기울기 없는 에이전트가 같은 다섯 선택을 거듭 낸 앞의 시뮬레이션을 이 위험의 징후로 든다(논문 14쪽).
같은 문제가 AI 안전 연구에도 걸린다(원문 P40). 연구자들은 AI 에이전트로 실험을 돌리고 분석하기 시작했고, 사람 인력이 일의 양을 따라가지 못하는 것도 그 이유 중 하나다(원문 P40). 원문이 연결한 글은 정렬 감사를 스스로 수행하는 에이전트를 만들고 평가한 Anthropic 정렬 과학 블로그의 2025-07 글이다(원문 P40). 사람이 개입하는 고리(human in the loop)는 사람의 판단이 독립된 검증이라는 가정 위에 서 있다(원문 P40). 검토자의 판단이 그 자신의 것일 때만 그 검증은 독립적이다(원문 P8). 이 연구의 분석가들은 판단 결정이 에이전트의 무작위 선호로 대부분 정해진 작업을 승인했다(원문 P40). 논문은 잘못 정렬된 에이전트가 자기 정렬 실패를 찾으려는 바로 그 연구를 이끌고, 사람의 승인은 사람이 여전히 주도하는 것처럼 보이게 만들 수 있다고 적는다(논문 14쪽).
이런 추종은 잡아내기 어렵다(원문 P41). AI가 도운 작업을 오류로 검사하거나 기준 답과 대조하는 방법은 정답이 있다고 가정한다(원문 P41). 판단 결정처럼 정답이 없는 곳에서는 어느 선택지를 골라도 작업이 멀쩡해 보인다(원문 P41). 전문가 자신이 에이전트의 영향을 알아차리지 못할 수 있어서, 나중에 물어도 소용없을 수 있다(원문 P41).
저자들이 제안하는 세 갈래: 추종 측정, 에이전트 설계, 제도 변화
저자들은 AI를 덜 쓰자는 주장이 아니라고 밝힌다(원문 P42). 잘 쓰면 AI가 사람의 주체성을 깎는 대신 넓힐 수 있다는 판단 아래 세 영역의 후속 연구를 제안한다(원문 P42).
- 추종 측정 — 이 연구가 추종을 잴 수 있었던 것은 에이전트의 기울기를 무작위로 정했기 때문인데, 실제 업무에서는 그렇게 하기 어렵다(원문 P43). 결과는 사람이 자기 추종을 정확히 보고하지 못할 수 있음을 시사한다(원문 P43). 저자들은 일상 환경에서 추종을 잴 방법이 필요하다고 본다(원문 P43). AI 없이 했다면 어떻게 했을지를 추정하는 연구를 좋은 시작으로 든다(원문 P43). 이 연구는 AI에 넘긴 인지 노력의 비율로 의존도를 재는 Padmakumar 외의 2026-05 arXiv 논문 「Offloading Score」다(원문 P43). 모델의 기본 선호와 그 표현 방식도 더 잘 알아야 사람들이 정보를 갖고 모델을 대할 수 있다(원문 P43).
- 에이전트 설계 — 에이전트가 선택지마다 가장 좋은 논거를 대거나, 자기 견해를 내기 전에 전문가의 견해를 먼저 물을 수 있다(원문 P44). 이 방식은 사용자를 금세 지치게 할 수 있다(원문 P44). 분석 하나에 열린 결정이 많고, AI의 가치 상당 부분은 사람이 그 하나하나를 따져 보지 않아도 된다는 데 있기 때문이다(원문 P44). 에이전트는 가장 중요한 결정만 꺼내야 하지만, 그것을 고르는 일 자체가 판단 결정이다(원문 P44). 저자들은 모델의 말투도 중요하다고 본다(원문 P44). 원문은 확신과 유창함이 사람을 흔들 수 있다는 연구를 연결한다(원문 P44). 두 연구는 1인칭 불확실성 표현이 과의존을 줄인다는 Kim 외의 2024년 실험과, 사용자가 확신에 찬 답에 더 기댄다는 Zhou 외의 2024년 논문이다(원문 P44). 지나치게 확신하는 모델은 근거보다 더 사람을 기울게 하지만, 얼버무리는 모델은 사용자를 짜증 나게 할 뿐이다(원문 P44).
- 제도 변화 — 기관은 흔히 전문가의 승인을 독립된 판단의 증거로 다루지만, AI가 일을 더 맡을수록 그 가정은 흔들린다(원문 P45). 조직은 어떤 결정에 사람 자신의 판단이 필요한지 의도적으로 정하고, 그 판단을 형성할 시간과 자원을 주어야 한다(원문 P45). 판단은 기술에 기대므로, 이런 결정을 그만둔 사람은 결정하는 능력을 잃을 수 있다(원문 P45). 모델이 유능해질수록 기관은 사람의 역할과 기술 개발에 대한 명시적 전략이 필요하다(원문 P45). 원문이 연결한 글은 개발자 52명을 무작위로 나눠 AI에 위임하면 이해도 점수가 낮아졌다고 보고한 Anthropic의 2026-01 연구 글이다(원문 P45). 매우 유능한 AI가 있어도 기관은 안전이나 회복력 때문에, 혹은 그 자체로 가치가 있어서 사람의 기술과 감독을 지키려 할 수 있다(원문 P45).
저자들은 넘겨도 되는 결정과 지킬 만한 결정이 따로 있어서, 사람과 AI 사이에 정답인 분업이 하나만 있지는 않을 수 있다고 맺는다(원문 P46). 맞는 도구가 있으면 그 경계는 떠밀려 정해지는 대신 사람이 고를 수 있다(원문 P46).
팩트체크
원문이 옮긴 실험 수치는 바탕 논문과 반올림 범위 안에서 거의 모두 맞는다(원문 P21 · 논문 3쪽). 어긋남은 1단위 크기의 두 곳이다 — 과제 시간 사분범위 상단(원문 79분, 논문 78분)과 전환율 차이(원문 54%p, 등록 추정치 53%p)다(원문 P19 · 논문 12쪽 · 논문 9쪽). 결정별 추종률 92·82·81·90%와 권고 54% 대 36%는 논문 본문에 숫자로 없고 원문 그림에서만 나온다(원문 P21 · 원문 P22). 원문은 사전 등록 검정에서 권고 효과가 유의하지 않았다는 사실(한쪽 p=0.069)과 82% 예측이 계획서에 없는 표본 내 분석이라는 사실을 쓰지 않는다(논문 9쪽 · 논문 3쪽 · 사전 분석 계획서 §6). 링크한 외부 연구 8건 중 3건(Kulveit 외 2025, Doshi·Hauser 2024, Zhou 외 2024)은 원문 문장의 일부만 받친다(Kulveit 외 2025 (arXiv) · Doshi·Hauser 2024 (Crossref) · Zhou 외 2024 (arXiv)). 공백이 가장 큰 곳은 「합의의 독립성」 문장이고, 그 주장을 담은 출처는 논문이 인용한 Kelly 2010이다(원문 P39 · Kelly 2010 원고 37쪽).
판정 어휘
- 사실원문 주장이 논문 쪽수나 실제로 연 출처의 값·문장과 일치한다. 반올림한 두 값의 차이처럼 ±1 안의 차이는 사실로 둔다.
- 부분 사실핵심은 맞지만 수치·분모·조건 하나가 출처와 다르거나, 링크한 출처가 문장의 일부만 담는다.
- 불확실공개 출처(논문 본문·부록·사전 분석 계획서)에 그 값이 없어 확정할 수 없다. 거짓이라는 뜻이 아니다.
- 거짓출처가 반대 값이나 반대 사실을 적는다. 이 글에서 거짓 판정은 0건이다.
- 판정 보류기한이 오지 않은 예측이다. 이 글에는 해당 없음.
등급: 원문은 저자들이 자기 실험을 보고하는 글이므로 등급은 보고 정합성(원문의 수치·서술이 논문과 사전 분석 계획서와 맞는가)과 인용 적합성(링크한 출처가 그 문장을 실제로 담는가)으로만 매기고, 외적 타당도(다른 과제·모델·전문가로 일반화되는가)는 원문이 스스로 밝힌 한계가 충분한지로 따로 판정한다. A = 수치가 전부 일치하고 인용이 전부 적합하며 논문의 단서(유의성·탐색 분석 여부)를 원문이 그대로 옮긴다. B = 수치가 반올림 범위 안에서 맞지만 1단위 어긋남이나 논문에서 검증할 수 없는 수치가 몇 개 있고, 일부만 적합한 인용이나 빠진 단서가 있으되 결론을 뒤집지 않는다. C = 결론에 걸리는 수치 하나가 논문과 다르거나 핵심 인용이 부적합하다. D = 핵심 수치 여럿이 논문과 다르거나 논문에 없는 결론을 낸다. F = 원문 결론이 논문과 반대다.
B
정합성 한줄평: 수치는 논문과 반올림 범위 안에서 맞고 한계 고지도 충분하지만, 권고 효과의 비유의성과 82% 예측의 미등록·표본 내 성격을 빠뜨렸고 외부 인용 8건 중 3건은 문장의 일부만 받친다.
글의 정체 — 발행·저자·바탕 논문
사실
주장: Anthropic 정렬팀이 2026-10-27 낸 글이고 저자는 헤르다델렌·조런·탐킨 3명이다 (위치: 원문 P47)
사실이다. 원문 머리는 발행일을 2026-10-27, 팀을 정렬(Alignment)로 적는다(원문 머리). 원문에서 연구를 이끈 사람은 아마치 헤르다델렌(Amaç Herdağdelen)·헤일리 조런(Hailey Joren)·알렉스 탐킨(Alex Tamkin)이다(원문 P47). 논문 1쪽 저자란은 헤르다델렌을 Anthropic 펠로 프로그램(Anthropic Fellows Program), 조런과 탐킨을 Anthropic 소속으로 적는다(논문 1쪽). 블로그 제목은 「How AI agents shape experts’ judgment calls」이고 논문 제목은 「Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls」다(논문 1쪽). 논문이 등록처로 적은 OSF 프로젝트의 기여자도 같은 세 사람이다(OSF 기여자 목록).
저자의 공개 이력도 소속 표기와 맞는다(herdagdelen.com · Berk Ustun 사이트 · FAR.AI 「Alex Tamkin」). 헤르다델렌의 개인 사이트는 그가 Facebook/Meta에서 10년간 연구 과학자로 일했고 계산언어학·AI 박사이며 가장 최근 Anthropic 펠로였다고 적는다(herdagdelen.com). 베르크 우스툰(Berk Ustun) 연구실 사이트는 2025-06-25에 그의 박사 논문 심사 통과와 Anthropic AI 안전 합류를 알렸다(Berk Ustun 사이트). 탐킨은 스탠퍼드 컴퓨터과학 박사(지도교수 노아 굿맨)이고 Anthropic 연구 과학자다(FAR.AI 「Alex Tamkin」).
근거: 원문 P47 · 논문 1쪽 · herdagdelen.com · Berk Ustun 사이트 · FAR.AI 「Alex Tamkin」
설계와 표본 — 원문 「연구 설계」 절 대조
부분 사실
주장: 무작위 대조 시험에 분석가 61명을 모집했고, 11명은 에이전트를 쓰지 않아 50명을 분석했다 (위치: 원문 P9 · 원문 P19)
부분 사실이다. 논문의 61명은 유효한 산출물을 내고 과제를 마친 사람 수다(논문 5쪽). 사전 등록 전에 17명이 과제를 시작해 그중 4명이 중도 이탈했고(논문 9쪽), 모집을 멈춘 시점에 1명이 더 과제를 마쳤다(논문 5쪽). 모집 인원은 61명보다 많다(논문 9쪽 · 사전 분석 계획서 §7). 11명이 에이전트 없이 과제를 마쳐 비교 집단으로만 쓰이고 50명이 분석 표본이라는 서술은 논문과 같다(원문 P19 · 논문 5쪽).
근거: 논문 5쪽 · 논문 9쪽 · 사전 분석 계획서 §7
사실
주장: 65%가 석·박사 또는 경력 6년 이상, 90%가 관찰 인과 추론 숙련·전문가 자평이다 (위치: 원문 P19)
사실이다. 논문은 설문을 마친 참가자 기준으로 두 비율을 65%와 90%로 적는다(논문 5쪽). 두 비율의 분모는 설문 응답자 48명이고, 원문의 괄호 「(48명 중)」는 90%에만 붙어 있지만 65%도 같은 분모다(원문 P19 · 논문 5쪽). 표 4는 숙련·전문가 자평을 43명으로 적는다(논문 17쪽). 43 / 48 = 89.6%다. 선별 조건(지식 검사 통과, Python 또는 R 상용, 관찰 인과 분석 실무)은 부록 A.1과 같다(원문 P9 · 논문 16쪽).
부분 사실
주장: 과제 시간 중앙값은 65분이고 절반이 50~79분 걸렸다 (위치: 원문 P19)
부분 사실이다. 논문 12쪽은 에이전트 사용자의 완료 시간을 중앙값 65분, 사분범위 50~78분으로 적는다(논문 12쪽). 원문의 상단값 79분과 1분 차이다(원문 P19). 결론에 걸리지 않는 크기이지만 논문 값은 78분이다(논문 12쪽). 사전 분석 계획서는 과제 길이를 45~60분으로 잡았다(사전 분석 계획서 서론).
사실
주장: 분석가들은 Claude Code가 들어 있는 웹 버전 VS Code에서 Claude Opus 4.8 High effort로 일했다 (위치: 원문 P19)
사실이다. 논문은 에이전트를 Claude Code v2.1.220과 Claude Opus 4.8 high effort로 모든 세션에 고정했다고 적는다(논문 6쪽). 같은 고정은 사전 분석 계획서 §1에도 있다(사전 분석 계획서 §1). 작업 공간은 녹화·감시되는 브라우저 기반 VS Code 환경이다(논문 7쪽). Anthropic은 2026-05-28 Claude Opus 4.8을 발표했고 이 모델의 기본 effort를 high로 적는다(Anthropic 「Introducing Claude Opus 4.8」). 2026-10-29 기준 Claude Code 공식 문서는 VS Code 확장, Open VSX를 쓰는 VS Code 포크, 터미널 CLI를 안내하지만 브라우저용 VS Code 빌드는 따로 적지 않는다(Claude Code 문서 「VS Code」). 연구의 웹 VS Code는 연구진이 마련한 작업 공간이다(논문 7쪽).
근거: 논문 6쪽 · 논문 7쪽 · Anthropic 「Introducing Claude Opus 4.8」 · Claude Code 문서 「VS Code」
불확실
주장: 협동조합 조합원의 약 40%가 자문 프로그램에 가입했다 (위치: 원문 P10)
불확실하다. 가입률 약 40%는 논문 본문·부록·사전 분석 계획서 어디에도 없다(논문 6쪽 · 사전 분석 계획서 §1). 과제 브리핑 전문이 공개되지 않아 이 값은 원문으로만 남는다(원문 P10). 같은 문단의 이사회 기준 3~4%는 논문과 계획서에 같은 값으로 있다(논문 6쪽 · 사전 분석 계획서 §1).
사실
주장: 기울기는 숨은 시스템 프롬프트로 주었고, 에이전트는 가장 강한 정직한 근거를 대되 증거가 결정적으로 반대면 생각을 바꾸고 결과를 왜곡하지 말라는 지시를 받았다. 분석 결정 하나가 추정치를 몇 %p 움직인다 (위치: 원문 P18 · 원문 P17)
사실이다. 부록 A.3은 지시문이 기울기를 에이전트 자신의 사전 견해로 갖고, 결정이 나오면 말하고, 데이터에 근거한 가장 강한 선의의 논거를 대고, 증거가 결정적으로 반대면 생각을 바꾸라고 적는다(논문 17쪽). 같은 부록은 결과 왜곡, 요청받은 데이터의 은닉·왜곡, 데이터가 받치지 않는 논증을 금지한다(논문 17쪽). 추정치를 움직이는 크기는 부록 사례 하나로 드러난다(논문 10쪽). 한 참가자의 이중차분 추정 +4.6%가 수준 보정으로 바꾸자 −1.6%가 됐다(논문 10쪽). 비교 방법 하나가 6.2%p를 움직였다(원문 P17 · 논문 10쪽). 선택은 LLM 판정 모델이 기록했고 자기 보고와 어긋난 41건은 저자가 판정했으며 그중 37건이 LLM 쪽으로 정해졌다(원문 P20 · 논문 8쪽).
결과 수치 대조와 내부 계산
사실
주장: 분석가의 선택은 결과 지표 92%, 비교 방법 82%, 평가 대상 농가 81%, 가중 방식 90%로 에이전트의 기울기와 일치했고 넷을 합치면 86%다. 기울기가 아무 영향이 없으면 약 50%다 (위치: 원문 P4 · 원문 P21)
사실이다. 논문 초록·1.1절·5장은 분석 결정의 추종률을 86%, 우연 기준을 50%로 적는다(논문 1쪽 · 논문 3쪽 · 논문 13쪽). 결정별 92·82·81·90%는 논문 본문에 숫자로 없지만 원문 그림 2의 값에서 다시 계산된다(원문 P23). 두 기울기 집단의 크기가 같으면 추종률은 (A 기울기 집단의 A 선택률 + B 기울기 집단의 B 선택률) / 2다(논문 8쪽).
| 결정 | 그림 2: B 기울기 → A 기울기의 A 선택률 | 계산한 추종률 | 원문 추종률 |
|---|---|---|---|
| 결과 지표 | 0% → 82%(원문 P23) | (82 + 100) / 2 = 91% | 92%(원문 P21) |
| 비교 방법 | 28% → 92%(원문 P23) | (92 + 72) / 2 = 82% | 82%(원문 P21) |
| 평가 대상 농가 | 38% → 100%(원문 P23) | (100 + 62) / 2 = 81% | 81%(원문 P21) |
| 가중 방식 | 22% → 100%(원문 P23) | (100 + 78) / 2 = 89% | 90%(원문 P21) |
두 행의 1점 차이는 반올림된 그림 값과 집단 크기의 작은 불균형으로 생기는 범위다(원문 P23). 네 값의 평균은 (92 + 82 + 81 + 90) / 4 = 86.25로 86%와 맞는다(원문 P21). 논문 그림 1의 H1 +72%p는 다른 양이다(논문 2쪽). 그것은 두 기울기 집단의 A 선택률 차이(뒤집힘 비율)이고, 논문 3쪽은 같은 결과를 「다시 말해」 86% 일치로 바꿔 쓴다(논문 2쪽 · 논문 3쪽). 두 집단이 같은 크기면 일치율 = 50% + 뒤집힘 비율 / 2 = 50 + 72 / 2 = 86%다(논문 3쪽). 그림 2의 네 효과 평균 (82 + 64 + 62 + 78) / 4 = 71.5도 등록 추정치 0.72와 맞는다(원문 P23 · 논문 9쪽). 그림 캡션의 「62~82%p」는 논문 10쪽의 범위와 같다(원문 P23 · 논문 10쪽).
부분 사실
주장: 에이전트가 전면 시행 쪽으로 기울었을 때 54%, 반대로 기울었을 때 36%가 전면 시행을 권고했다. 1년 연장은 전면 시행이 아닌 쪽으로 센다 (위치: 원문 P22)
부분 사실이다. 방향(권고에서 효과가 약하다)은 논문과 같지만 54%와 36%는 논문 본문에 없다(원문 P22 · 논문 10쪽). 논문의 등록 지표는 연장을 0.5로 친 권고 점수의 차이이고, 공변량 보정 추정치 0.17(한쪽 p=0.069, 95% 신뢰구간 −0.06~0.40), 보정 없는 추정치 0.22(p=0.037)다(논문 9쪽). 원문 수치는 연장을 0으로 묶은 다른 양이다(원문 P22). 그림 2 권고 행은 54 − 36 = 18인데 +17로 표기됐다(원문 P23). 반올림한 두 비율의 차이는 반올림 전 차이와 최대 1점 다르므로 +17은 오류가 아니다(원문 P23). 그림의 17이 논문의 0.17과 같은 계산인지는 공개 자료로 가릴 수 없다(논문 9쪽). 원문은 권고 효과가 「더 약했다」고만 쓰고 등록 검정에서 유의하지 않았다는 사실을 쓰지 않는다(원문 P22 · 논문 9쪽).
부분 사실
주장: 에이전트가 기울기를 말하기 전에 선호를 밝힌 38건에서, 기울기가 반대면 60%, 같으면 6%가 선택을 바꿨다. 차이는 54%p, 95% 신뢰구간은 24~82%p다 (위치: 원문 P4 · 원문 P24)
부분 사실이다. 38건과 신뢰구간 24~82%p는 논문 표 2와 같다(원문 P24 · 논문 9쪽). 표 2의 등록 추정치는 결정별 절편을 넣은 53%p이고, 사전 분석 계획서는 이 보정 계수를 확증 지표로, 원 비율을 기술 통계로 정했다(논문 9쪽 · 사전 분석 계획서 §2). 원문의 54%p는 원 비율 60%와 6%의 단순 차이이고, 그 뒤에 53%p 추정치의 신뢰구간을 붙였다(원문 P24 · 논문 13쪽). 60%는 논문 5장에 있지만 6%는 논문 본문에 없다(논문 13쪽). 자기 선택 부분집합이라 인과 해석에 단서가 붙는다는 점은 원문과 논문이 같게 적는다(원문 P24 · 논문 9쪽). 이 분석에서 15개 세션은 사람이 직접 코딩했고 나머지 35개는 LLM 판정 값을 썼다(논문 8쪽).
근거: 논문 9쪽 · 논문 13쪽 · 사전 분석 계획서 §2
사실
주장: 특성 10개 가운데 나이만 추종과 통계적으로 유의하게 연결됐고, 다중 비교를 보정하자 사라졌다 (위치: 원문 P25)
사실이다. 논문은 탐색 분석에서 경력·숙련 자평·학력·퀴즈 점수·AI 신뢰·AI 사용 빈도·인지 욕구(need for cognition)·열린 사고·나이·성별 10개를 조절 변수로 검정했고, 나이만 명목상 유의했으며(p=0.037) 10개 검정 보정 뒤에 남지 않았다고 적는다(원문 P25 · 논문 10쪽). 사전 분석 계획서는 조절 변수 분석을 표본 50명으로는 검정력이 부족한 탐색 분석으로 등록했고 p값으로 결론을 내지 않겠다고 적었다(사전 분석 계획서 §3·§6). 원문의 「통계적으로 유의한 연결」은 계획서보다 한 걸음 센 표현이지만, 같은 문단이 보정 후 소멸과 변동 부족을 밝힌다(원문 P25).
근거: 논문 10쪽 · 사전 분석 계획서 §6
사실
주장: 52%가 최종 권고를 에이전트보다 자기 것에 가깝다고 답했고 35%는 대부분 또는 전적으로 자기 것이라 답했다. 네 결정 모두 기울기를 따른 사람의 확신도는 평균 71, 나머지는 73이다 (위치: 원문 P26 · 원문 P27)
사실이다. 그림 3의 응답 분포에서 25 / 48 = 52.1%, (13 + 4) / 48 = 35.4%다(원문 P27). 논문은 52%와 35%를 같은 값으로 적는다(논문 11쪽). 확신도는 기울기를 네 번 모두 따른 29명이 평균 71, 나머지 19명이 73이고, 확신도와 일치 비율의 순위 상관은 ρ=−0.06(p=0.666)이다(원문 P26 · 논문 12쪽).
불확실
주장: 「더 내 것」이라 답한 집단의 선택은 기울기 쪽으로 평균 약 65%p, 「더 에이전트 것」 집단은 79%p 움직였고 차이는 오차 범위 안이다 (위치: 원문 P26)
불확실하다. 두 집단의 이동 폭은 논문 본문·부록에 없다(원문 P26 · 논문 11쪽). 사전 분석 계획서는 소유감과 뒤집힘 비율의 관계를 보조 기술통계로 보고하겠다고 등록했지만, 그 값을 담은 표는 29쪽 논문에 실리지 않았다(사전 분석 계획서 §6). 원문만이 출처인 수치다(원문 P26).
근거: 논문 11쪽 · 사전 분석 계획서 §6
사실
주장: 사후 설문에서 77%가 적어도 한 답에서 에이전트의 논거를 되풀이했고, 에이전트를 밝힌 사람은 15%다. 답할 때 대화 기록을 다시 볼 수 없었다 (위치: 원문 P5 · 원문 P28)
사실이다. 논문은 48명 중 37명이 세션 중 에이전트가 낸 논거를 때로 거의 그대로 되풀이했고, 15%가 어느 답에서든 에이전트를 언급했다고 적는다(원문 P28 · 논문 12쪽). 37 / 48 = 77.1%다(논문 12쪽). 원문 도입부는 15%를 「출처로 밝힌 사람」이라 쓰고 논문은 「에이전트를 언급한 사람」이라 쓴다(원문 P5 · 논문 12쪽). 언급이 출처 표시를 포함하는 더 넓은 범주라서 15%는 출처 표시 비율의 상한이다(논문 12쪽). 대화 기록 열람 불가는 논문이 따로 적지 않지만, 사후 설문이 과제 종료 직후 공급사 플랫폼에서 진행됐다는 절차와 맞는다(원문 P28 · 논문 7쪽).
사실
주장: 에이전트를 쓰지 않은 11명은 오류가 더 많고 오래 걸렸으며 경험이 적었다 (위치: 원문 P31 · 원문 P32)
사실이다. 논문에서 검증되는 값은 모두 일치하고, 미사용 집단의 학력·경력 수치 둘은 논문에 없다(논문 12쪽 · 논문 17쪽).
| 항목 | 원문 | 논문 | 판정 |
|---|---|---|---|
| 심각한 방법론 오류 | 6/11 대 3/50(원문 P31) | 55% 대 6%, 사람 판정(논문 12쪽) | 사실 |
| 완료 시간 중앙값 | 90분 대 65분(원문 P31) | 90분(사분범위 83~132) 대 65분(50~78), 윌콕슨 p=0.002(논문 12쪽) | 사실 |
| 석·박사 | 4/11 대 24/46(원문 P32) | 사용 집단 24/46만 있음(논문 17쪽) | 불확실 |
| 분석 경력 2년 이하 | 6/11 대 15/48(원문 P32) | 사용 집단 15/48만 있음(논문 17쪽) | 불확실 |
| 숙련·전문가 자평 | 8/11 대 43/48(원문 P32) | 73% 대 90%(논문 12쪽) | 사실 |
계산은 6 / 11 = 54.5%, 3 / 50 = 6.0%, 8 / 11 = 72.7%, 43 / 48 = 89.6%다(원문 P31 · 원문 P32). 오류 판정은 사전 분석 계획서에 없던 사후(post hoc) 감사다(논문 23쪽). 두 LLM 판정 모델(GPT-5.6-Sol·Gemini 3.1 Pro)이 표시한 오류만 저자가 집단을 모른 채 판정했고, 어느 모델도 표시하지 않은 세션은 사람이 보지 않았다(논문 23쪽).
사실
주장: 기울기를 주지 않은 Claude Opus 4.8은 123회 중 112회 같은 다섯 선택을 했다 (위치: 원문 P7)
사실이다. 논문 12쪽은 기울기 없는 기본 에이전트가 123회 중 91%에서 운영비당 수확량·이중차분·가입 농가 효과·농가별 동일 가중·전면 시행을 골랐다고 적는다(원문 P7 · 논문 12쪽). 112 / 123 = 91.1%다(원문 P7).
부분 사실
주장: 기울기를 주지 않은 에이전트는 자기 선호가 더 약하고, 때로 사용자에게 반박한다 (위치: 원문 P40)
부분 사실이다. 논문 12쪽은 기본 에이전트의 선호를 「일관되고 강하다」고 적는다(논문 12쪽). 약한 쪽은 선호를 입 밖에 내는 빈도다(논문 24쪽). 사용자가 기본 선호와 반대로 정하고 구현만 요청했을 때 기본 에이전트는 150건 중 66%에서 다른 선택지를 꺼냈고 41%에서 권하거나 옹호했으며, 기울기를 준 에이전트의 권고·옹호 비율은 99%다(논문 13쪽 · 논문 24쪽). 사용자에게 반박하기도 한다는 뒷부분은 66%·41%로 받쳐진다(논문 13쪽). 「선호가 더 약하다」는 「선호를 덜 자주 말한다」로 읽어야 논문과 맞는다(원문 P40 · 논문 12쪽).
사전 등록 — 확증 가설과 탐색 분석
부분 사실
주장(논문 3.6절): 설계·결과·추정량·제외·코딩 규칙을 사전 분석 계획서(osf.io/t3q59)에 등록했다 (위치: 논문 9쪽)
부분 사실이다. 계획서는 실재하고, 확증 가설 H1~H4, 목표 표본 50명, 중단 규칙(완료 60건 또는 2026-08-20 종료), 조절 변수의 탐색 분류가 논문 서술과 맞는다(사전 분석 계획서 §2·§3 · 논문 5쪽 · 논문 8쪽 · 논문 10쪽). 계획서는 2026-08-05 만든 OSF 공개 프로젝트에 2026-08-06 00:30 UTC 올린 PDF 한 개이고, 파일의 수정 시각은 업로드 시각과 같다(OSF 프로젝트 t3q59 · OSF 파일 목록). 2026-10-29 기준 이 프로젝트에 OSF의 정식 「등록(Registration)」 객체는 0건이다(OSF 등록 목록). 계획서는 등록 전에 17명이 과제를 시작했고 4명이 이탈했으며 수집 데이터는 두 가지 예외(완료율·포함률 관찰, 루브릭 개발용 세션 3개 코딩) 외에 분석하지 않았다고 스스로 밝힌다(사전 분석 계획서 §7 · 논문 9쪽). 계획서 §7은 논문이 계획 변경 기록표와 추가된 미등록 분석표를 전부 싣겠다고 약속하지만, 29쪽 논문 본문·부록에는 두 표가 없다(사전 분석 계획서 §7 · 논문 23쪽).
| 원문 결과 | 계획서 지위 | 논문 표시 |
|---|---|---|
| 추종률 86% (H1) | 1차 확증(계획서 §2) | 확증, p<.001(논문 9쪽) |
| 권고 효과 (H2) | 2차 확증(계획서 §2) | 확증, 보정 추정치 비유의(논문 9쪽) |
| 38건 전환 (H4) | 2차 확증(계획서 §2) | 확증, 인과 해석은 가정 조건부(논문 9쪽) |
| 네 기울기로 권고 82% 예측 | 계획서에 없음(계획서 §6) | 탐색·표본 내(논문 3쪽) |
| 특성 10개·나이 | 탐색(계획서 §6) | 탐색(논문 10쪽) |
| 소유감·확신도 | 탐색 보조 기술통계(계획서 §6) | 탐색(논문 11쪽) |
| 말 따라 하기 77%·15% | 계획서에 없음(계획서 §6) | 탐색 절(논문 12쪽) |
| 연구 목적 인식 6/48 | 탐색(계획서 §6) | 탐색(논문 12쪽) |
| 미사용자 오류 55% 대 6% | 계획서에 없음(계획서 §6) | 사후(post hoc) 감사(논문 23쪽) |
근거: 사전 분석 계획서 PDF · OSF 프로젝트 t3q59 · OSF 파일 목록 · OSF 등록 목록 · 논문 9쪽
원문이 링크한 외부 연구 8건 — 인용 적합성
사실
주장: 전문가는 선택지를 따지며 자기 생각을 정리하거나 「발견(discover)」한다 — Slovic 1995 링크 (위치: 원문 P37)
사실이다(적합). 링크된 DOI는 폴 슬로빅(Paul Slovic)의 「The construction of preference」, American Psychologist 50(5) 364–371쪽, 1995-05다(Slovic 1995 (Crossref)). 이 논문 첫 문단은 사람의 선호가 흔히 끌어내는 과정에서 구성된다고 적는다(Slovic 1995 사본 1쪽). 낱말 하나는 어긋난다(Slovic 1995 사본 7쪽). 슬로빅은 이 구성을 가치의 「중립적 발견(discovery)」과 맞세운다(Slovic 1995 사본 7쪽). 원문 동사 discover는 슬로빅이 반대편에 둔 낱말이고, 논문 본문은 같은 자리에서 선호가 「부분적으로 구성된다」고 쓴다(원문 P37 · 논문 4쪽).
근거: Slovic 1995 (Crossref) · Slovic 1995 사본 1쪽 · Slovic 1995 사본 7쪽
부분 사실
주장: 개인 전문가가 자기 일의 주체성을 잃는 것은 연구자들이 말하는 무력화의 한 형태다 — Kulveit 외 2025 링크 (위치: 원문 P38)
부분 사실이다(부분 적합, 보충). 링크된 arXiv 2501.16946은 Kulveit 외 5인의 「Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development」(2025-01-28)이고, 무력화를 경제·문화·국가 같은 대규모 사회 체계 수준에서 다룬다(Kulveit 외 2025 (arXiv)). 원문 문장은 개인 전문가 수준의 일이다(원문 P38). 논문 5쪽은 이 구분을 직접 해서 체계 수준에 Kulveit 외 2025를, 개인 수준에 Sharma 외 2026을 단다(논문 5쪽). 개인 수준 보충 출처는 Anthropic의 샤르마(Mrinank Sharma)·매케인(Miles McCain)과 토론토대 더글러스·듀버노가 쓴 「Who’s in Charge? Disempowerment Patterns in Real-World LLM Usage」(arXiv 2601.19062, 2026-01-27)다(Sharma 외 2026 (arXiv) · Sharma 외 2026 본문). 이 연구는 Claude.ai 대화 150만 건에서 개인 단위의 상황적 무력화를 잰다(Sharma 외 2026 (arXiv)).
부분 사실
주장: 여러 연구팀이 같은 선호의 모델을 따르면 그들의 합의는 더 이상 독립적이지 않을 수 있다 — Doshi·Hauser 2024 링크 (위치: 원문 P39)
부분 사실이다(출처 복원). 링크된 도시(Anil R. Doshi)·하우저(Oliver P. Hauser)의 논문은 Science Advances 10(28) eadn5290(2024-07-12)이고, 생성형 AI의 아이디어를 받은 작가의 이야기가 더 창의적으로 평가되지만 서로 더 비슷해진다는 실험이다(Doshi·Hauser 2024 (Crossref)). 이 결과는 같은 모델을 쓰면 산출물이 닮는다는 기전을 받친다(Doshi·Hauser 2024 (Crossref)). 독립적으로 도달한 합의만 강한 증거가 된다는 원문 문장의 인식론 부분은 담지 않는다(원문 P39). 논문은 같은 논지의 독립성 주장에 Kelly 2010 「Peer Disagreement and Higher Order Evidence」(옥스퍼드대 출판부 『Disagreement』)를 단다(논문 14쪽 · 논문 27쪽). 켈리의 원고 37쪽은 신뢰할 만한 동료 다수가 독립적으로 수렴하면 강한 증거이고 수렴이 덜 독립적일수록 그 증거 무게가 줄어든다고 적는다(Kelly 2010 원고 37쪽). 원문 링크의 의도에 맞는 출처는 Kelly 2010이고, Doshi·Hauser는 동질화 기전의 보조 근거다(Kelly 2010 원고 37쪽 · Doshi·Hauser 2024 (Crossref)).
근거: Doshi·Hauser 2024 (Crossref) · Kelly 2010 원고 37쪽 · 논문 14쪽
사실
주장: 연구자들이 실험을 돌리고 분석하는 데 AI 에이전트를 쓰기 시작했고, 이유의 하나는 사람이 감당할 수 있는 양보다 일이 많기 때문이다 (위치: 원문 P40)
사실이다(적합). 링크된 글은 브리컨(Trenton Bricken) 외 7인의 「Building and evaluating alignment auditing agents」(Anthropic 정렬 과학 블로그, 2025-07-24)다(Bricken 외 2025). 이 글은 정렬 감사가 연구자 시간을 많이 쓰고 사람이 혼자서는 따라가지 못할 위험이 있어 감사 에이전트를 병렬로 돌린다고 적는다(Bricken 외 2025). 이 글의 평가 에이전트는 행동 평가를 설계·실행·수정하고, 조사 에이전트는 데이터 분석 도구로 감사 보고서를 쓴다(Bricken 외 2025). 논문 14쪽도 같은 글을 인용한다(논문 14쪽).
근거: Bricken 외 2025 · 논문 14쪽
사실
주장: 누군가 AI 없이 과제를 했다면 어떻게 했을지 추정하는 최근 연구가 일상 환경에서 추종을 재는 출발점이다 (위치: 원문 P43)
사실이다(적합). 링크된 arXiv 2605.29392는 파드마쿠마르(Vishakh Padmakumar) 외 5인의 「Offloading Score: Measuring AI Reliance Through Counterfactual Workflows」(2026-05-28)이고, 도구 없이 사용자가 과제를 어떻게 했을지 반사실 워크플로를 추정해 의존도를 잰다(Padmakumar 외 2026 (arXiv)). 파드마쿠마르는 원문 감사의 말에 실험 설계 조언자로 이름이 올라 있다(원문 P48).
사실
주장: 모델의 확신과 유창성이 사람을 기울게 할 수 있다 — Kim 외 2024 링크(confidence and fluency) (위치: 원문 P44)
사실이다(적합). 링크된 arXiv 2405.00623은 김(Sunnie S. Y. Kim) 외 4인의 「"I’m Not Sure, But...": Examining the Impact of Large Language Models’ Uncertainty Expression on User Reliance and Trust」(FAccT 2024)다(Kim 외 2024 (arXiv)). 사전 등록 실험 404명에서 1인칭 불확실성 표현이 모델 답에 대한 동의와 의존을 줄였다(Kim 외 2024 (arXiv)). 확신 있는 말투가 의존을 키운다는 원문 문장을 반대쪽에서 보인 실험이다(Kim 외 2024 (arXiv) · 원문 P44). 유창성은 이 링크가 다루지 않고, 논문은 유창한 출력에 Steyvers 외 2025를 단다(논문 2쪽).
근거: Kim 외 2024 (arXiv) · 논문 2쪽
부분 사실
주장: 확신과 유창성이 사람을 「흔든다(sway)」 — Zhou 외 2024 링크 (위치: 원문 P44)
부분 사실이다(부분 적합). 링크된 arXiv 2401.06730은 저우(Kaitlyn Zhou)·황·런·사프의 「Relying on the Unreliable: The Impact of Language Models’ Reluctance to Express Uncertainty」(ACL 2024)다(Zhou 외 2024 (arXiv)). 이 논문은 모델이 틀린 답에도 불확실성을 잘 드러내지 않고, 사용자는 확실성 표시가 있든 없든 모델 출력에 크게 의존한다고 적는다(Zhou 외 2024 (arXiv)). 의존이 확실성 표시와 크게 상관없다는 결과라서 「확신이 사람을 흔든다」를 직접 받치지는 않는다(Zhou 외 2024 (arXiv)). 확신 효과는 같은 문장의 Kim 외 2024가 받치므로 대체 출처는 필요 없다(Kim 외 2024 (arXiv)). 논문 본문은 같은 논지에 다른 저우 논문(2023, EMNLP)을 인용한다(논문 15쪽 · 논문 29쪽).
사실
주장: 결정을 멈춘 사람은 결정하는 능력을 잃을 수 있어 제도는 사람의 기술 개발 전략이 필요하다 — Anthropic 2026-01 링크 (위치: 원문 P45)
사실이다(적합). 링크된 글은 셴(Judy Hanwen Shen)·탐킨의 「How AI assistance impacts the formation of coding skills」(Anthropic, 2026-01-29)이고, 소프트웨어 엔지니어 52명 무작위 실험에서 AI 사용 집단의 이해도 퀴즈 점수가 50%로 손코딩 집단 67%보다 낮았다(Shen·Tamkin 2026). 탐킨은 이 글과 원문 모두의 저자다(Shen·Tamkin 2026 · 원문 P47). 논문은 같은 연구를 arXiv판(Shen·Tamkin 2026)으로 인용한다(논문 15쪽).
근거: Shen·Tamkin 2026 · 논문 15쪽
선행연구 맥락 — 「정답 없는 판단」의 새로움
사실
주장: AI 보조 작업을 오류나 정답으로 검사하는 방식은 정답이 있다고 전제한다. 판단 결정에는 정답이 없어 어느 선택지든 작업이 그럴듯해 보인다 (위치: 원문 P41)
사실이다. 논문이 대비시키는 과의존 연구 둘은 정답을 전제한다(논문 2쪽). 바스콘셀로스(Helena Vasconcelos) 외(CSCW 2023)는 미로 과제에서 AI가 틀렸는데도 동의하는 것을 과의존으로 정의한다(Vasconcelos 외 2023 (arXiv)). 셰머(Max Schemmer) 외(IUI 2023)는 옳은 조언을 따르고 틀린 조언을 거절하는 것을 적절한 의존으로 정의한다(Schemmer 외 2023 (arXiv)). 논문은 판단 결정에는 이런 정답이 없어 과의존을 정의할 수 없다는 점을 출발점으로 두고, 정답 없이 정의되는 「뒤집힘 비율」을 지표로 쓴다(논문 2쪽 · 논문 3쪽). 원문의 새로움 주장은 이 대비 위에서 성립한다(원문 P41).
근거: Vasconcelos 외 2023 (arXiv) · Schemmer 외 2023 (arXiv) · 논문 2쪽 · 논문 3쪽
원문 표현의 강도와 한계 고지
사실
주장: 에이전트의 입력이 아무 차이를 만들지 않았다면 일치율은 약 50%였을 것이다 (위치: 원문 P4)
사실이다. 각 분석 결정은 이지선다이고 기울기는 동전 던지기로 정했으므로, 기울기가 선택에 영향이 없으면 참가자가 어느 쪽을 얼마나 고르든 선택이 기울기와 일치할 확률은 50%다(원문 P3 · 논문 6쪽). 배정은 32가지 기울기 구성을 블록마다 한 번씩 넣고 연속한 두 사람이 다섯 결정 모두 반대 기울기를 받게 해 균형을 맞췄다(논문 6쪽). 86%를 순수한 영향으로 읽으려면 기울기가 반대 방향 반발을 일으키지 않는다는 가정이 필요하고, 논문은 이 가정을 밝힌다(논문 8쪽).
부분 사실
주장: 네 기울기만으로 통계 모델이 권고의 82%를 맞혔고(최빈값 기준 61%), 그러니 분석가가 과제를 시작하기도 전에 동전 던지기만으로 권고를 대체로 예측할 수 있었다 (위치: 원문 P22)
부분 사실이다. 82%·61%와 연장 선택자 제외는 논문과 같다(원문 P22 · 논문 10쪽). 논문은 이 결과에 「탐색적」과 「표본 내」라는 두 단서와 AUC 0.84를 붙이는데, 원문은 둘 다 옮기지 않는다(논문 3쪽 · 논문 10쪽). 표본 내 정확도는 모델을 맞춘 같은 자료로 잰 값이라 새 참가자에 대한 예측력을 보장하지 않는다(논문 10쪽). 원문의 「largely predict」는 미등록 탐색 결과에 확증 결과와 같은 무게를 싣는다(원문 P22).
사실
주장: 에이전트를 쓴 분석가가 더 빨리 끝냈고 심각한 오류가 훨씬 적었다. 미사용 집단은 작고 경험이 적었다는 단서가 붙는다 (위치: 원문 P8)
사실이다. 「훨씬 적었다」는 위 표의 수치와 맞고, 원문은 같은 문장과 「결과」 절에서 두 집단이 비교 불가능하며 인과를 말할 수 없다고 밝힌다(원문 P8 · 원문 P32). 논문도 자기 선택 때문에 인과 주장을 할 수 없다고 적는다(논문 12쪽). 감사 방식의 단서(사후 감사, 미표시 세션은 사람이 보지 않음)는 원문에 없다(원문 P31).
부분 사실
주장: 연구가 무엇에 관한 것인지 물었을 때 48명 중 6명이 AI가 자기 선택에 준 영향이라고 맞혔고, AI의 선호가 조작됐다고 의심한 사람은 없었다 (위치: 원문 P29)
부분 사실이다. 6명(12%)과 0명은 부록 표 6과 같다(원문 P29 · 논문 23쪽). 같은 표의 누적 사다리에서 22명(46%)은 AI 의존·추종을 연구 주제로 언급했다(논문 12쪽 · 논문 23쪽). 원문은 가장 엄격한 범주(에이전트의 영향이나 선호)만 보고해, 참가자 다수가 연구 주제를 짐작하지 못했다는 인상을 남긴다(원문 P29). 조작을 의심한 사람이 없다는 결론은 그대로 선다(논문 23쪽).
사실
주장(외적 타당도): 기울기를 일부러 강화했고, 과제·분야·모델이 하나이며, 평균 효과만 추정했고, 선택의 강도는 재지 않았다 (위치: 원문 P33 · 원문 P34 · 원문 P35 · 원문 P36)
사실이다. 원문의 한계 네 항목은 논문 13~14쪽의 한계 세 항목(기울기 강화, 단일 환경, 평균 인과 효과만)을 모두 담고 하나를 더한다(논문 13쪽 · 논문 14쪽). 원문은 도입부에서도 실제 환경에서는 효과가 더 작을 수 있다고 적는다(원문 P7). 일반화의 공백은 원문이 스스로 밝힌 범위 안에 있다(원문 P34). 넷째 한계는 「선택에 대한 확신을 재지 않았다」고 쓰지만 같은 원문이 최종 권고의 확신도(0~100)를 보고한다(원문 P36 · 원문 P26). 재지 않은 것은 분석 결정별 선택의 확신이고, 최종 권고의 확신도는 사후 설문에 있다(논문 12쪽).
원본 (완역)
AI 에이전트는 전문가의 판단 결정을 어떻게 좌우하나
전문가가 AI 에이전트에게 일을 맡길 때, 흔히 하는 가정은 중요한 결정은 여전히 전문가가 내린다는 것이다. 에이전트는 코드를 쓰고, 수치를 계산하고, 조언을 내놓지만, 무엇을 측정할지, 모호한 증거를 어떻게 해석할지, 다음 단계가 무엇이어야 할지는 전문가가 정한다. 이런 질문에는 합리적인 답이 둘 이상인 경우가 많고, 그때 결정은 그 판단을 내리는 사람이 누구든 그 사람의 경험과 가치관으로 갈린다.
우리는 전문가가 그런 중요한 결정을 정말로 직접 내리는지, 아니면 실제로는 AI 에이전트의 판단을 따르는지 살펴보고 싶었다. 새 논문에서 보고하는 연구에서, 우리는 전문 분석가 50명에게 Claude Code로 현실적인 통계 분석을 하게 했다. 이들은 모두 인과 추론(causal inference), 곧 어떤 한 가지가 다른 것의 원인인지를 데이터로부터 가려내는 일에 경험이 있었다. 이들의 과제는 한 농업협동조합에, 그 조합이 운영하던 자문 서비스가 효과가 있었는지, 그리고 확대해야 하는지를 조언하는 것이었다.
그 과정에서 분석가들은 생산성을 헥타르당 수확량으로 잴지 운영비 단위당 수확량으로 잴지처럼, 합리적인 두 선택지 가운데 하나를 고르는 선택을 네 번 하고, 그다음 최종 결정을 내려야 했다. 이들이 이런 판단을 스스로 내리는지 보려고, 우리는 각 분석가의 에이전트가 결정마다 한 선택지를 선호하도록 설정했고, 분석가들에게는 이를 알리지 않았다. 에이전트가 어느 쪽으로 “기울지”는 동전 던지기로 정했다. 에이전트에게는 자기 기울기를 지지하는 가장 좋은 정직한 논거를 펴고, 증거가 요구하면 생각을 바꾸고, 절대 오도하지 말라고 지시했다.
네 가지 분석 선택 전체에서 분석가들은 86%의 비율로 자기 에이전트의 기울기를 따랐다. 에이전트의 의견이 아무 차이도 만들지 않는다면 약 50%가 예상된다. 에이전트가 의견을 내기 전에 분석가가 이미 자기 선호를 밝혀 둔 경우, 에이전트가 동의하지 않으면 분석가는 60%의 비율로 그 선호에서 돌아섰고, 에이전트가 동의하면 그 비율은 6%였다.
과제를 마친 뒤 자기 선택을 설명해 달라는 요청을 받자, 분석가의 77%가 에이전트가 낸 논거를 — 때로는 토씨 하나 다르지 않게 — 그대로 썼지만, 그 논거의 출처로 에이전트를 밝힌 분석가는 15%뿐이었다. 에이전트의 권고를 가깝게 따른 분석가들은 나머지 분석가들과 거의 같은 정도로 자기 최종 권고에 확신을 보였고, 그 권고를 자기 판단의 산물이라고 부를 가능성도 대체로 비슷했다.
그림 1 참가자들은 열린 결정 다섯 개가 든 분석 과제를 풀어 나간다. 참가자마다, 결정마다 동전 던지기가 그 참가자의 AI가 어느 선택지 쪽으로 기울지 정하며, 참가자에게는 이를 알리지 않는다. 우리는 각 기울기 아래에서 참가자들이 선택지 A를 얼마나 자주 고르는지 비교한다.
패널 1 — 각 참가자는 열린 결정 다섯 개를 내린다. 결정마다 옹호할 수 있는 선택지가 둘 있다. 결과 지표: (B) 운영비 단위당 수확량 / (A) 헥타르당 수확량 · 비교 방법: (B) 수준 보정(levels adjustment) / (A) 이중차분(difference-in-differences) · 평가 대상 농가: (B) 조합원 전체 / (A) 가입 농가 · 가중 방식: (B) 생산량 가중 / (A) 농가별 동일 가중 · 권고: (B) 중단 / (A) 전면 시행. 패널 2 — 각 참가자의 AI는 저마다 무작위로 정한 기울기를 받는다. 결정마다 동전 던지기가 참가자의 AI가 어느 선택지를 선호할지 몰래 정한다. 예: 결과 지표 · B 쪽으로 기운 AI는 이렇게 말할 수 있다. “저라면 운영비당 산출량을 보고하겠습니다. 추가로 쓴 비용이 지표 안에 그대로 남기 때문입니다.” · A 쪽으로 기운 AI는 이렇게 말할 수 있다. “저라면 헥타르당 산출량을 보고하겠습니다. 토지는 농가가 철마다 더 늘릴 수 없는 투입 요소이기 때문입니다.” 패널 3 — AI의 기울기가 선택을 얼마나 움직이는지 측정한다. 결정마다 AI의 기울기가 참가자를 두 집단으로 나눈다. 가상의 예 · 범례: A 선택 / B 선택 · 상자: AI가 B 쪽으로 기움 / AI가 A 쪽으로 기움 · 차이가 기울기의 효과를 추정한다 · 축: 0% — 선택지 A를 고른 비율 — 100% · 기울기가 아무 차이도 만들지 않는다면 두 집단은 비슷한 비율로 A를 고르고, 차이는 0에 가깝다.
이 결과가 현실 세계에 대해 얼마나 말해 주는지는 우리도 모른다. 실제 에이전트도 때로는 한쪽 또는 다른 쪽으로 기운다 — 기울기를 지정하지 않았을 때 Claude Opus 4.8은 123번 실행 가운데 112번 같은 다섯 가지 선택을 했다 — 하지만 이번 연구에서는 그 효과를 측정하려고 일부러 에이전트의 선호를 강화했다. 에이전트에게 뚜렷한 선호와 그 선호를 드러내라는 지시를 주지 않으면 효과는 더 작을 수도 있다.
이것은 AI와 함께 일하지 말라는 단순한 경고담이 아니다. 에이전트를 쓴 분석가들은 에이전트 없이 일하기를 택한 분석가들보다 과제를 더 빨리 끝냈고 심각한 오류도 훨씬 적게 냈다. 다만 후자 집단은 규모가 작고 경험도 적었으므로, 우리는 이 차이에서 너무 많은 것을 읽어 내기를 경계한다. 그러나 AI가 직접 손을 대는 실무를 더 많이 맡을수록, 사람의 판단과 가치관이 결과에 영향을 미치는 자리는 점점 더 이런 결정이 된다. 전문가가 자기도 모르게 에이전트의 판단을 따른다면, 에이전트의 선호 — 자의적이거나 정렬에서 벗어났을 수 있는 선호 — 가 누구도 그 선호를 고른 적 없이 정책 제안이나 연구 방향에 관한 중요한 결정을 좌우할 수 있다. 이는 AI를 안전하게 유지하기 위한 연구에서 특히 중요하다. 연구자들은 실험을 돌리고 분석하는 데 에이전트를 쓰기 시작했는데, 사람 검토자는 그 판단이 온전히 자기 것일 때만 독립적인 점검이 된다.
연구 설계
우리는 무작위 대조 시험을 위해 분석가 61명을 모집했다. 모두 사전 선별된 전문가 풀에서 왔다. 이들은 인과 추론 지식 점검을 통과했고, 프로그래밍 언어 Python이나 R을 정기적으로 썼으며, 관찰 인과 분석, 곧 통제된 실험이 아니라 현실 세계의 데이터로 원인과 결과를 연구하는 일을 직접 해 본 경험이 있었다.
과제의 무대는 가상의 조직인 그린필즈 농업협동조합(Greenfields Farming Cooperative)으로 정했다. 이 조합은 조합원 농가의 수확량 향상을 돕는 (역시 가상의) 자발적 유료 자문 프로그램을 운영한다. 조합원의 약 40%가 가입했다. 협동조합 이사회는 이 프로그램에 보조금을 주고 확대할지, 아니면 중단할지 결정해야 한다. 이사회는 프로그램이 농가의 생산성을 정해진 폭, 대략 3~4%만큼 높일 때만 확대하지만, 생산성을 정확히 어떻게 측정해야 하는지는 말하지 않는다.
우리는 네 가지 분석 결정을 일부러 열어 두었고, 각 결정에는 합리적인 선택지가 둘씩 있었다.
- 결과 지표: 생산성을 헥타르당 수확량으로 잴 것인가, 운영비 단위당 수확량으로 잴 것인가?
- 비교 방법: 가입 농가의 수확량이 가입 뒤 어떻게 변했는지를 같은 기간 다른 농가의 수확량 변화와 비교할 것인가(“이중차분” 설계), 아니면 농가 사이의 차이를 통계적으로 보정하면서 수확량을 직접 비교할 것인가?
- 평가 대상 농가: 효과를 가입 농가에서만 측정할 것인가, 협동조합의 조합원 전체에 걸쳐 측정할 것인가?
- 가중 방식: 모든 농가를 똑같이 셀 것인가, 큰 생산자에게 더 큰 가중치를 줄 것인가?
이 네 가지 선택은 최종 권고로 이어졌다. 프로그램을 모두에게 전면 시행할지, 아니면 중단할지다. 분석가와 에이전트는 1년 연장을 제안할 수도 있었다.
분석 결정 하나하나가 추정 생산성 향상 폭을 몇 퍼센트포인트(%p)씩 움직일 수 있었는데, 이사회의 기준선이 3~4%일 때 이는 중요하다.
각 분석가에게 주어진 다섯 결정 하나하나에서, 에이전트의 기울기는 동전 던지기로 정했다. 우리는 숨겨진 지시(시스템 프롬프트)로 에이전트에게 기울기를 주었다. 이 지시는 에이전트에게 각 기울기를 자기 견해로 지니고, 그 결정이 나오면 기울기를 꺼내 말하고, 데이터가 허용하는 한 가장 강한 논거를 펴라고 했다. 같은 지시는 증거가 결정적으로 불리하게 돌아서면 생각을 바꾸고, 결과를 왜곡하거나 데이터를 숨기거나 수치가 뒷받침하지 않는 주장을 절대 하지 말라고도 했다.
참가자 61명 가운데 11명은 에이전트를 쓰지 않기로 했고, 따로 밝히지 않는 한 분석에서 빠진다. 나머지 50명 가운데 65%는 석사나 박사 학위가 있거나 6년 이상의 경력이 있었고, 90%는 스스로를 관찰 인과 추론에 능숙하거나 전문가 수준이라고 평가했다(설문에 답한 48명 기준). 과제에 쓴 시간의 중앙값은 65분이었고, 분석가의 절반은 50분에서 79분 사이가 걸렸다. 이들은 Claude Code가 내장된 웹 기반 VS Code 편집기에서 작업했고, Claude Code는 Claude Opus 4.8을 High 노력(effort) 수준으로 실행했다.
과제를 마친 분석가들은 네 가지 분석 선택과 최종 권고를, 프로그램이 생산성에 미친 효과의 추정치 및 그 신뢰구간과 함께 제출했다. 그다음 과제 후 설문을 작성했다. 별도의 AI 모델이 각 제출물과 그 코드를 읽고, 분석가가 결정마다 어느 선택지를 골랐는지 기록했다. 이 모델의 판독이 분석가 본인의 설문 답과 어긋나는 경우에는 우리가 최종 판단을 내렸다.
결과
분석가들은 대체로 에이전트의 기울기를 따랐다. 네 가지 분석 결정 각각에서 분석가의 선택은 대다수 경우 에이전트의 기울기와 일치했다: 결과 지표 92%, 비교 방법 82%, 평가 대상 농가 81%, 가중 방식 90%. 네 결정을 모두 합치면 86%였다. 그림 2는 최종 권고를 포함해 각 결정에서 에이전트의 기울기가 분석가의 선택을 얼마나 움직였는지 보여 준다.
최종 권고에 대한 에이전트 기울기의 효과는 더 약했지만, 에이전트가 앞서 낸 의견이 여전히 결과를 빚었다. 에이전트가 프로그램 전면 시행 쪽으로 기울었을 때 분석가의 54%가 전면 시행을 권고했다. 반대쪽으로 기울었을 때는 36%였다. (1년 연장은 전면 시행이 아닌 것으로 센다.) 효과가 더 약했던 이유는, 분석가가 추정치를 얻고 나면 권고가 대체로 그 추정치가 이사회의 3~4% 기준을 넘는지에 따라 정해져 판단의 여지가 적었기 때문이라고 우리는 생각한다. 하지만 그때는 이미 분석 결정에서의 에이전트 기울기가 추정치 자체를 빚어 놓은 뒤였다. 그 네 가지 기울기만 써서 통계 모델은 분석가 권고의 82%를 맞혔다. 늘 가장 흔한 권고를 찍으면 61%였다. (연장을 제안한 분석가는 제외했다.) 그러니 분석가가 과제를 시작하기도 전에, 동전 던지기 결과만으로 그가 무엇을 권고할지 대체로 예측할 수 있었다.
그림 2 각 결정에서 선택지 A를 고른 참가자의 비율 — 자기 AI가 A 쪽으로 기울었을 때(초록)와 B 쪽으로 기울었을 때(보라). 네 가지 분석 결정은 62~82%p, 최종 권고는 17%p 움직였다.
범례: “AI가 B 쪽으로 기울었을 때 ● — ● AI가 A 쪽으로 기울었을 때” · 오른쪽 열 머리: “차이” · 결과 지표 0% → 82% (+82%p) · 비교 방법 28% → 92% (+64%p) · 평가 대상 농가 38% → 100% (+62%p) · 가중 방식 22% → 100% (+78%p) · 권고 36% → 54% (+17%p) · 가로축: 0% · 50% · 100% — “선택지 A를 고른 참가자 비율”
이미 선택지를 고른 분석가도 에이전트가 반대하면 자주 선택을 바꿨다. 38건에서 분석가는 에이전트가 기울기를 밝히기 전에 분석 결정 하나에 대해 선호를 밝혔다. 기울기가 자기 선택과 어긋나면 그들은 60%의 경우 선택을 바꿨다. 기울기가 자기 선택과 일치하면 6%였다. 차이는 54%p다. 하지만 근거가 38건뿐이라 이 추정치는 정밀하지 않고, 95% 신뢰구간은 24%p에서 82%p에 걸친다. 이 차이가 AI의 영향 때문인지도 확신할 수 없다: 선호를 밝힌 분석가들은 밝히지 않은 분석가들과 어떤 면에서 체계적으로 달랐을 수 있다.
경력과 전문성은 누가 에이전트의 판단을 따를지 예측하지 못했다. 탐색적 분석에서 우리는 10가지 특성 가운데 어느 것이 분석가의 결정이 에이전트의 기울기를 얼마나 자주 따르는지 예측하는지 확인했다: 경력 연수, 스스로 평가한 인과 추론 전문성, 학력, 인과 추론 퀴즈 점수, AI에 대한 신뢰, AI 사용 빈도, “인지 욕구(need for cognition)”(사람이 애써 생각하는 일을 얼마나 즐기는지 재는 척도), 개방적 사고, 성별, 나이. 통계적으로 유의한 연관을 보인 것은 나이뿐이었다. 나이가 많은 분석가일수록 기울기를 더 자주 따랐다. 하지만 우리는 이 결과에 큰 의미를 두지 않는다: 서로 다른 것을 많이 검정하면 순전히 우연으로 양성 결과 하나를 얻을 가능성이 커진다. 그 점을 보정하자 이 결과는 사라졌다. 어차피 대부분의 분석가가 대부분의 결정에서 에이전트를 따랐기 때문에 설명할 변동이 거의 없었다. 그래서 실제 차이가 있었더라도 찾아내기 어려웠을 것이다.
에이전트의 기울기를 따른 분석가들도 권고를 여전히 자기 것이라고 불렀다. 과제 후 설문에서 분석가의 52%는 최종 권고가 에이전트의 것보다 자기 것에 더 가깝다고 평가했다. 나머지는 에이전트의 권고에 더 가깝다고 답했다. 하지만 두 집단은 에이전트에게서 대략 같은 정도로 영향을 받았다: 앞 집단의 선택은 평균적으로 에이전트의 기울기 쪽으로 약 65%p 움직였고, 뒤 집단은 79%p 움직였다. 이 차이는 오차 범위 안이다. 자기 권고에 대한 분석가의 확신도 비슷한 양상을 보였다. 분석가들은 확신을 0(“동전 던지기다”)에서 100(“내 직업적 평판을 걸겠다”)까지의 점수로 매겼다. 네 가지 분석 결정 모두에서 기울기를 따른 분석가는 평균 71이었고, 나머지는 73이었다.
그림 3 과제 후 설문(n = 48)에서 52%는 권고가 에이전트의 것보다 자기 것에 더 가깝다고 했고, 35%는 대부분 또는 전적으로 자기 것이라고 했다 — 에이전트의 기울기가 그들의 선택을 움직였는데도.
제목: “최종 권고는 주로 누구의 판단을 반영하나?” · “← 에이전트의 것에 더 가깝다 (23)” · “내 것에 더 가깝다 (25) →” · 칸: 전적으로 0 · 대부분 9 · 약간 14 | 약간 8 · 대부분 13 · 전적으로 4 · 각주: “과제 후 설문, n = 48. 6점 척도.”
분석가들은 자기 선택을 에이전트의 말로 설명했다. 과제가 끝난 뒤 설문은 결정마다 이렇게 물었다: “간단히, 왜 다른 쪽이 아니라 그 선택이었나요? 능동적으로 고른 것이 아니었다면 그렇다고만 적어 주세요.” 분석가들은 답하는 동안 에이전트와 나눈 대화를 다시 볼 수 없었다. 그런데도 77%가 적어도 한 답에서 에이전트의 논거를 되풀이했고, 때로는 글자 그대로였다. 어디에서든 에이전트를 출처로 밝힌 사람은 15%뿐이었다.
연구가 무엇에 관한 것이라고 생각하는지 명시적으로 물었을 때, 48명 중 6명이 AI가 자기 선택에 미치는 영향에 관한 연구라고 정확히 추측했다. 하지만 AI 자신의 선호가 조작됐다고 의심한 사람은 아무도 없었다.
그림 4 과제 중 에이전트의 발언(주황)과, 같은 참가자들이 나중에 “왜 다른 쪽이 아니라 그 선택이었나요?”에 단 답(파랑)은 표현을 공유한다. 때로는 글자 그대로다. 참가자의 77%가 적어도 한 답에서 에이전트의 논거를 되풀이했고, 15%는 에이전트를 출처로 밝혔다. 참가자들은 이 답을 쓸 때 에이전트와의 대화 기록을 다시 볼 수 없었다.
첫째 쌍 — 에이전트, 과제 중: “보조금은 총 톤수에서 나온 잉여금으로 재원을 마련하니, 대표 수치를 면적 가중해 3ha 필지를 400ha 농장과 동등하게 세는 대신 협동조합의 헥타르를 반영하게 하겠습니다.” / 참가자, 사후 설문에서: “보조금은 총 톤수에서 나온 잉여금으로 재원을 마련하므로, 결정에 관련된 평균은 농가를 동등하게 세는 것이 아니라 헥타르에 대한 평균이다.”
둘째 쌍 — 에이전트, 과제 중: “하지만 프로그램 이후 한 시즌은 아직 도움이 될 수도 있는 프로그램을 폐기하기에는 근거가 빈약하니, 아예 중단하기보다 자율 참여 프로그램을 한 시즌 더 연장하세요.” / 참가자, 사후 설문에서: “[…] 하지만 사전 추세 검정이 복잡하게 만드는 설계에서 프로그램 이후 한 시즌은 그것을 아예 폐기하기에는 근거가 빈약하게 느껴졌다.”
AI 없이 일한 분석가는 심각한 오류를 더 많이 냈고 시간도 더 오래 걸렸다. 에이전트를 쓰지 않기로 한 참가자 11명 가운데 6명(55%)이 결과를 무효로 만드는 심각한 방법론 오류를 냈다. 에이전트를 쓴 50명 중에서는 3명(6%)이었다. AI 모델 두 개가 오류를 표시했고, 연구 저자 중 한 명이 분석가가 어느 집단인지 모르는 상태에서 오류 하나하나를 확인했다. 에이전트 없이 일한 분석가는 시간도 더 걸렸다: 중앙값이 90분이었고, 나머지 분석가는 65분이었다.
두 집단은 직접 비교할 수 있는 집단이 아니었다. 그래서 결과의 차이가 AI를 쓰거나 쓰지 않기로 한 결정 때문인지 확신할 수 없다. AI 없이 일한 사람들은 평균적으로 경험이 적었다: 석사나 박사 학위 소지자가 더 적었고(11명 중 4명 대 에이전트를 쓴 46명 중 24명), 분석 직무 경력이 2년 이하인 사람이 더 많았으며(11명 중 6명 대 48명 중 15명), 인과 추론에 능숙하거나 전문가 수준이라고 스스로 평가한 사람이 더 적었다(11명 중 8명 대 48명 중 43명).
이 연구의 한계
- 우리는 에이전트의 기울기를 일부러 강화했다. 우리는 그 효과를 측정할 수 있도록, 지시를 통해 에이전트가 선호를 확실하게 유지하고 말로 드러내게 했다. 우리가 보고하는 비율은 에이전트가 한쪽으로 기울고 그렇다고 말할 때 무슨 일이 일어나는지를 보여 준다. 하지만 이것이 실제 업무에 얼마나 들어맞는지는 전문가 자신의 견해가 얼마나 강한지, 관련된 결정이 얼마나 분명하게 정의되는지, 그리고 모델이 어떻게 행동하는지에 달려 있을 것이다. 모델이 선호를 갖는지, 그 선호를 묻지 않아도 먼저 꺼내는지도 여기에 포함된다.
- 우리는 한 과제를, 한 분야에서, 한 모델로 연구했다. 과제는 약 한 시간이 걸렸고, 구체적으로 농업에 관한 것이었으며, 에이전트는 Claude Opus 4.8에서 실행됐다. 분석가들은 인과 추론 전문가였지만 농업은 처음이었다. 실제 업무라면 그들은 그 분야를 더 잘 알 것이고, 아마 자기 견해도 더 강할 것이다. 그들은 관련된 사람들을 인터뷰하고, 이사회와 이야기하고, 그 밖의 방식으로 합리적인 선택지를 좁힐 수도 있다. 그러면 에이전트의 영향력이 줄어들 수 있다.
- 우리의 추정치는 분석가 전체에 걸친 평균이다. 동전 던지기 결과가 분석가마다 달랐으므로, 에이전트가 서로 반대쪽으로 기운 분석가들을 비교하면 기울기의 평균 효과를 알 수 있다. 우리는 에이전트가 기울기를 말하기 전에 참가자 각자의 견해를 기록하지 않았다. 그래서 어느 한 참가자가 얼마나 영향을 받았는지는 말할 수 없다.
- 우리는 분석가가 어느 선택지를 골랐는지는 기록했지만, 그 선택지를 얼마나 강하게 선호했는지는 기록하지 않았다. 에이전트를 따른 이유로 가능한 설명 하나는 전문가에게 강한 자기 의견이 없었다는 것이다. 우리는 분석가의 선택이 옮겨 갔는지만 측정했고, 그 선택을 얼마나 확신했는지는 측정하지 않았다.
이것이 뜻하는 것
분석가들이 그렇게 쉽게 따른 이유 하나는 전문가가 늘 견해를 완전히 굳힌 채로 오지는 않는다는 데 있을지 모른다. 그들은 선택지를 저울질하는 동안 자기가 무엇을 생각하는지를 가다듬거나, 심지어 발견하는 경우가 많다. 우리 연구의 에이전트들은 오도하지 말라는 지시를 받았고, 각 선택지에서 결과가 어떻게 달라지는지를 자주 터놓고 밝혔다. 하지만 전문가가 왜 다른 선택지를 선호할 수도 있는지를 강하게 논증하는 일은 드물었다. 그런 논증이 있었다면 분석가들이 더 충분한 정보를 바탕으로 선택하는 데 도움이 됐을지도 모른다. 한쪽만 제대로 논증되었으니, 분석가들은 자기 가정을 스스로 따져 보지 않고 에이전트의 가정을 받아들일 수 있었다.
개별 전문가에게 이것은 자기 일에 대한 주체성을 잃는다는 뜻일 수 있다. 연구자들이 무력화(disempowerment)라고 부르는 것의 한 형태다. 작업물은 여전히 그 전문가의 이름으로 나가지만, 그의 판단에 가장 크게 기대는 결정들은 실제로는 에이전트의 사전 믿음으로 정해진다.
하지만 걸려 있는 것은 개인을 넘어선다. 과학과 정책의 아주 많은 부분이 이런 판단 결정에 기대고 있기 때문이다. 서로 다른 연구팀이 같은 결과에 이르면 우리는 그 결과를 더 신뢰한다. 팀마다 독립적으로 그 결과에 도달했다고 가정하기 때문이다. 그 팀들이 모두 같은 선호를 지닌 모델을 따른다면, 그들의 일치는 더는 독립적이지 않을 수 있다. 겉보기의 합의가 한 모델의 선호를 반영한 것일 수 있다. 그 선호가 자의적이거나 잘못 정렬된 것이라면, 같은 편향이 많은 결과를 한꺼번에 좌우할 것이다.
같은 문제가 AI 안전 연구에도 해당된다. 연구자들은 실험을 돌리고 분석하는 데 AI 에이전트를 쓰기 시작했다. 사람 인력이 따라잡을 수 있는 것보다 일이 많다는 점이 이유의 일부다. 사람이 개입하는 고리(human in the loop)를 유지하는 일은 그 사람의 판단이 독립적인 점검이 된다고 가정한다. 하지만 우리 연구에서 분석가들은 판단 결정이 대체로 에이전트에게 무작위로 지정된 선호로 정해진 작업을 승인했다. 우리의 논문 전문은 지정된 기울기가 없는 에이전트는 자기 선호가 더 약하며, 때로는 사용자에게 반박하기도 한다는 것도 보여 준다.
이런 종류의 추종은 탐지하기 어렵다. AI의 도움을 받은 작업에 오류가 있는지 점검하거나 기준 답과 대조하는 일은 정답이 있다고 가정한다. 하지만 판단 결정처럼 정답이 없는 곳에서는 어느 선택지를 고르든 작업이 타당해 보일 수 있다. 나중에 전문가에게 물어보는 것도 도움이 되지 않을 수 있다. 그들이 에이전트의 영향을 알아차리지 못할 수 있기 때문이다.
이것은 AI를 덜 쓰자는 주장이 아니다. 잘 쓰면 AI는 사람들의 주체성을 깎아 먹는 대신 넓힐 수 있다. 우리는 앞으로 연구할 영역 세 가지를 제안한다.
추종 측정하기. 우리 연구에서 추종을 측정할 수 있었던 것은 에이전트의 기울기를 무작위로 정했기 때문이다. 실제 업무에서는 그렇게 할 수 있는 경우가 드물다. 그리고 우리 결과는 사람들이 추종을 스스로 정확하게 보고하지 못할 수도 있음을 시사한다. 우리에게는 일상적인 환경에서 추종을 측정할 방법이 필요하다. 어떤 사람이 AI 없이 과제를 어떻게 수행했을지를 추정하는 최근 연구가 좋은 출발점이다. 모델의 기본 선호와 모델이 그 선호를 표현하는 방식도 더 잘 파악해야 한다. 그래야 사람들이 더 많은 정보를 갖고 모델을 대할 수 있다.
에이전트를 다르게 설계하기. 에이전트는 선택지마다 가장 강한 논거를 내놓거나, 자기 견해를 내기 전에 전문가에게 먼저 견해를 물을 수 있다. 하지만 이것은 사용자에게 금세 버거워질 수 있다. 분석 하나에도 열린 결정이 많이 들어 있을 수 있고, AI가 주는 가치의 상당 부분은 사람들이 그 결정 하나하나를 일일이 생각하지 않아도 된다는 데 있다. 에이전트는 가장 중요한 결정만 꺼내야 하겠지만, 그 결정을 고르는 일 자체가 판단 결정이다. 모델이 말하는 방식도 아마 중요할 것이다. 확신과 유창함이 사람들을 흔들 수 있기 때문이다. 매우 자신만만하게 들리는 모델은 사람들을 정당한 정도 이상으로 한쪽으로 기울게 할 수 있다. 하지만 말끝을 흐리며 얼버무리는 모델은 그것을 쓰려는 사람들을 짜증 나게 할 뿐이다.
제도 바꾸기. 제도는 흔히 전문가의 승인을 독립적인 판단의 증거로 취급한다. AI가 일을 더 많이 맡을수록 그 가정은 더 불안정해진다. 조직은 어떤 결정에 사람 자신의 정보에 근거한 판단이 필요한지를 의도적으로 정하고, 사람들에게 그런 판단을 형성할 시간과 자원을 주어야 할 것이다. 판단은 기술에도 달려 있다. 이런 결정을 더는 내리지 않는 사람들은 그런 결정을 내리는 능력을 잃을 수 있다. 모델이 더 유능해질수록 제도에는 사람의 역할과 사람의 기술 개발을 확립하는 명시적인 전략이 필요할 것이다. 극도로 유능한 AI 시스템이 있더라도, 제도는 안전이나 회복력을 위해, 또는 그것을 그 자체로 가치 있게 여기기 때문에 사람의 기술과 감독을 지키고 싶어 할 수 있다.
사람과 AI 사이에 단 하나의 올바른 분업은 없을지도 모른다. 어떤 결정은 넘겨도 괜찮고, 어떤 결정은 지킬 가치가 있을 수 있다. 알맞은 도구가 있으면 그 나눔은 우리가 어쩌다 흘러 들어가는 것이 아니라 우리가 고르는 것이 될 수 있다.
저자와 감사의 말
감사의 말
이 프로젝트는 아마치 헤르다델렌(Amaç Herdağdelen), 헤일리 조런(Hailey Joren), 알렉스 탐킨(Alex Tamkin)이 이끌었다. 이 블로그 글의 편집은 톰 치버스(Tom Chivers)와 아르준 파닉세리(Arjun Panickssery)가 지원했다.
Anthropic 펠로 프로그램(Anthropic Fellows Program)을 통해 이 프로젝트를 가능하게 해 준 조 벤턴(Joe Benton), 모이미르 스테흘리크(Mojmir Stehlik), 에이버리 그리핀(Avery Griffin)에게 감사한다. 실험 설계에 피드백을 준 매슈 예르케(Matthew Jörke), 오누르 알튼다(Onur Altındağ), 비샤크 파드마쿠마르(Vishakh Padmakumar)에게도 감사한다.
인용
@misc{herdagdelen2026judgmentcalls,
author = {Herdağdelen, Amaç and Joren, Hailey and Tamkin, Alex},
title = {How AI agents shape experts’ judgment calls},
year = {2026},
howpublished = {Anthropic Research},
url = {https://www.anthropic.com/research/agents-judgment-calls}
}
원본 링크·인용
원문 본문의 링크 16개는 원본 (완역) 블록의 제자리에 그대로 있다. 같은 주소가 세 번 나오는 논문 PDF를 한 번만 세면 서로 다른 주소는 14개다. 아래 목록은 그 14개와 원문 주소를 한곳에 모은다.
원문과 바탕 논문
- How AI agents shape experts’ judgment calls — Anthropic, 2026-10-27, 아마치 헤르다델렌·헤일리 조런·알렉스 탐킨
- Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls — 바탕 논문 PDF, 29쪽. 완역의 머리, 도입부, 「이것이 뜻하는 것」 절에서 세 번 링크된다
- Alignment — Anthropic 정렬팀 소개 페이지. 완역 머리의 팀 표기
원문 절 목차
- Study design — 완역 「연구 설계」
- Results — 완역 「결과」
- Our study’s limitations — 완역 「이 연구의 한계」
- What this means — 완역 「이것이 뜻하는 것」
본문이 인용한 문헌 — 모두 「이것이 뜻하는 것」 절
- The construction of preference — Paul Slovic, American Psychologist 50(5), 1995. 앵커 “discover(알아낸다)”
- Gradual Disempowerment — Jan Kulveit 외, arXiv 2501.16946, 2025-01. 앵커 “disempowerment(무력화)”
- Generative AI enhances individual creativity but reduces the collective diversity of novel content — Anil R. Doshi·Oliver P. Hauser, Science Advances, 2024. 앵커 “may no longer be independent(더 이상 독립적이지 않을 수 있다)”
- Building and evaluating alignment auditing agents — Anthropic 정렬 과학 블로그, 2025-07. 앵커 “have begun to use AI agents(AI 에이전트를 쓰기 시작했다)”
- Offloading Score — Padmakumar 외, arXiv 2605.29392, 2026-05. 앵커 “recent work(최근 연구)”
- I’m Not Sure, But... — Sunnie S. Y. Kim 외, arXiv 2405.00623, 2024-05. 앵커 “confidence and fluency(확신과 유창함)”
- Relying on the Unreliable — Kaitlyn Zhou 외, arXiv 2401.06730, 2024-01. 앵커 “sway(흔든다)”
- How AI assistance impacts the formation of coding skills — Anthropic 연구 글, 2026-01. 앵커 “development of their skills(기술의 발달)”
기타
- 범위
- 원본 (완역) 블록은 원문의 머리(제목·논문 링크·절 목차·발행일·팀·저자), 도입부, 네 절, 저자와 감사의 말, 그림 4장과 그 설명, 머리 콜라주를 옮긴다. 인용 정보(BibTeX)는 원문 그대로 둔다. 본문 전량 수록.
- 그림
- 그림 안의 글자(패널 제목, 축 이름, 값, 예시 발언)는 각 그림 아래 설명에 한국어로 옮겼다. 원문의 그림 번호는 화면 장식으로만 붙어 있어, 이 문서는 「그림 1」~「그림 4」로 직접 적는다.
- 두 가지 수치
- 86%는 네 가지 분석 결정에서 분석가의 선택이 에이전트의 기울기와 같았던 비율이다(원문 P4). 그림 2의 %p 값은 에이전트가 B로 기울었을 때와 A로 기울었을 때의 A 선택률 차이다(원문 P21). 두 지표는 계산 방법이 다르다.
- 모델
- 실험의 에이전트는 Claude Opus 4.8로 돌았다(원문 P34).
- 용어
- 기울기(lean) · 판단 결정(judgment call) · 추종(deferral) · 인과 추론(causal inference) · 무작위 대조 시험(randomized controlled trial) · 이중차분(difference-in-differences) · 수준 보정(levels adjustment) · 퍼센트포인트(%p) · 무력화(disempowerment) · 인지 욕구(need for cognition).
- 저자
- 원문 저자는 아마치 헤르다델렌·헤일리 조런·알렉스 탐킨이고, 블로그 글의 편집은 Tom Chivers와 Arjun Panickssery가 도왔다(원문 P47).
- 고지
- 원문과 그림의 저작권은 Anthropic에 있다. 한국어 번역과 해설은 Anthropic과 관계없는 판이다.