METR의 Anthropic AI R&D 가속 평가 보고서와 Anthropic의 응답

게시물 1·19 — METR 팀이 2026-08부터 Anthropic 내부 정보로 AI가 AI 개발을 가속하는지 평가했다. 결과를 요약한 보고서를 공개한다.

보고서는 평가 기간을 2026-08-12~2026-10-29로 적는다. 투입 인력은 전일 근무 환산 2.5명이다.

보고서 — 요약

게시물 2 — '가속'은 AI 능력이 역사적 추세보다 더 빠르게 느는 것을 뜻한다.

보고서 정의로 2배 가속은 과거 2년 치 진전을 1년에 이루는 것이다.

보고서 — 핵심 발견

게시물 2 — 평가는 세 질문을 다뤘다. 가속이 일어나는가. 그 가속이 AI 때문인가. 가까운 시기 성장을 막을 병목이 있는가.

보고서 '절차 세부' 절의 세 질문과 같다. METR가 2026-10-14에 낸 평가 제안 글은 같은 세 질문에 방법의 한계를 묻는 질문 하나를 더한다.

보고서 — 절차 세부 · METR 평가 제안 글

게시물 2가 인용한 METR 게시물(2026-10-14) — AI가 AI R&D를 자동화하면 능력 성장이 정렬·통제 방법의 대응을 앞지를 수 있다. METR는 내부에서 AI 자동화가 능력 성장을 얼마나 가속하는지 분석하자고 제안한다.

METR 제안 글(2026-10-14)에 같은 문제 제기가 있다. METR 위험 평가 페이지의 'AI R&D 가속' 항목 설명은 인용 게시물 둘째 문장과 글자가 같다.

METR 통제 상실 위험 제안 글 · METR 위험 평가 페이지 · 인용된 METR 게시물

게시물 3 — Anthropic은 사전학습부터 강화학습(Reinforcement Learning, RL)까지 AI R&D 파이프라인 전반의 증거를 공유했다. 시간에 따른 알고리즘 진전 추정치도 들어 있었다. METR는 이 비공개 증거가 판단에 크게 유익했다고 본다.

보고서의 공유 데이터 목록과 맞는다. 목록에는 사전학습·RL의 알고리즘 효율과 모델 강도 이력 자료가 있다.

보고서 — 절차 세부

게시물 4 — METR는 약 100쪽짜리 전체 보고서를 Anthropic에 냈다.

보고서 일정표에서 전체 보고서 전달일은 2026-10-22다. 공개본 최종 제출일은 2026-11-03이다.

보고서 — 절차 세부

게시물 4 — 공개본에서 Anthropic은 METR가 가장 유익하다고 본 증거의 과반을 삭제했다.

보고서 첫머리 삭제 요약과 문장이 같다. 보고서 증거 표에서 공개본에 결과가 온전히 실린 항목은 내부 모델 벤치마크 하나다. AI 기여 증거와 직원 인터뷰는 일부만 실렸다.

보고서 — 삭제 요약

게시물 4 — 그 결과 대중은 METR가 이상적이라고 보는 수준보다 METR 판단에 더 기대야 한다.

원문 “more than we consider ideal” → 보고서 “much more than would be ideal”. 방향은 같다. 보고서 쪽 표현이 더 강하다.

보고서 — 삭제 요약

게시물 5 — 2026-10 기준 잘 정의된 과제의 능력 향상 속도는 2024-03~2025-10의 약 2배일 가능성이 높다. 불확실성이 커서 1.3배나 3배여도 놀랍지 않다.

보고서 결론 1과 수치·기간이 같다. 보고서는 이 판단을 참여한 METR 직원 다수의 견해로 적는다. 팀 안의 이견도 밝힌다.

보고서 — 위험 결론

게시물 6 — 이 가속의 과반은 지금 AI R&D에 쓰인 AI 덕분일 가능성이 높다.

보고서는 '과반(아마 약 80%)'으로 수치를 단다. 스레드는 80%를 옮기지 않았다.

보고서 — 위험 결론

게시물 6 — METR는 이 판단을 확신하지 못한다. Anthropic 직원 사이에도 합의가 없었다. 2025년 말 가속에는 AI 외 요인이 크게 작용했을 가능성이 높다.

보고서 문장과 같다. 보고서는 2025년 말 요인의 세부 다수가 삭제됐다고 적는다.

보고서 — 위험 결론

게시물 7 — 뚜렷한 병목이나 강한 수확 체감을 보지 못했다. 향후 12개월 안에 가속이 더 빨라질 가능성이 있다. 관찰 위치가 좁아 병목을 놓쳤을 수 있다.

원문 “there is a chance” → 보고서 “there is a significant risk”. 보고서는 같은 결론을 '상당한 위험'으로 적는다.

보고서 — 위험 결론

게시물 8 — 위험 결론에 가장 큰 영향을 준 핵심 발견 일부가 삭제됐다. 나머지를 스레드에 요약한다.

보고서 요약 절 문장과 같다.

보고서 — 요약

게시물 9 — 벤치마크는 가속 증거의 한 갈래다. 2025-10 이후 Anthropic 모델의 AECI 점수는 이전 속도의 1.9배(95% 신뢰구간 1.5~2.8배)로 늘었다.

AECI는 Epoch AI의 ECI(Epoch Capabilities Index)를 Anthropic이 자기 모델에 맞춰 계산한 지표다. 보고서가 추정한 추세 꺾임점은 2025-10-07이다. Haiku 5.5 시스템 카드의 추정은 1.7배였다. 보고서는 차이의 주된 원인으로 미공개 내부 모델 포함을 든다.

보고서 — 핵심 발견

게시물 9 — 분석 선택이 이 추정치를 바꾼다. 벤치마크 점수가 실제 능력과 어떻게 대응하는지는 불분명하다.

보고서의 강건성 분석은 1.1배~2.9배 범위를 낸다. 연결 함수 선택이 폭을 가장 크게 바꾼다. Anthropic 외 프런티어 모델까지 넣으면 추정은 1.4배다.

보고서 — AECI 부록

게시물 10 — 전체 분석은 가속을 컴퓨트·데이터·알고리즘 진전으로 나눠 추정했다. 학습 컴퓨트 증가율이 오른 탓은 아니라고 확신한다.

보고서도 같은 결론을 적는다. 근거와 요인별 분해는 삭제됐다. 공개본으로는 이 결론을 검증할 수 없다.

보고서 — 핵심 발견

게시물 11 — 직원 인터뷰와 설문은 AI 사용이 지금의 가속을 이끈다는 해석과 맞는다. 이 증거는 해석하기 어렵다.

Claude가 인터뷰 11명의 발언을 분류했다: 예 2, 약한 예 3, 경계·불분명 4, 약한 아니오 0, 아니오 2. 보고서는 이 결과를 '2배 이상 가속 쪽으로 약하게 기운다'고 읽는다.

보고서 — AI 속도 향상 증거

게시물 11 — 직원들은 큰 생산성 향상을 자기 보고한다.

2026-10 최신 내부 모델에 대한 Slack 투표의 평균 자기 보고 향상은 약 12배다. 보고서는 이 자료를 '매우 느슨한 증거'로 다룬다.

보고서 — AI 속도 향상 증거

게시물 11 — 직원들은 가장 중요한 AI R&D 기여가 아직 완전 자동화되지 않았다고 말한다.

보고서는 연구자들이 완전 자율 기여의 '생명 신호(signs of life)'를 보고했다고 적는다. 분야마다 성숙도 차이가 크다.

보고서 — AI 속도 향상 증거

게시물 12 — 향후 12개월 안에 작동할 큰 병목의 설득력 있는 증거를 보지 못했다. 대상은 알고리즘 진전, 학습 컴퓨트, 실험 컴퓨트, 데이터다. 평가 중 견해가 바뀌어 병목을 놓쳤을 수 있다.

보고서 문장과 같다. 개별 병목 분석은 삭제됐다.

보고서 — 핵심 발견

게시물 13 — 열람한 증거 다수는 그럴듯한 해석이 여럿이다. METR와 METR가 대화한 Anthropic 연구자 모두 증거를 종합하는 데 큰 불확실성을 가진다.

보고서 문장은 범위를 '삭제된 증거' 다수로 좁힌다. 해석이 갈리는 증거를 대중이 볼 수 없다는 뜻이다.

보고서 — 삭제 요약

게시물 14 — 가속을 과소추정했을 수 있다. 최근 일부 성장률의 상승, 완전 자율 기여의 초기 신호, AECI가 실제 영향을 덜 잡은 사례를 덜 반영했을 경우다.

보고서 요약 절은 (2)를 '추가 자동화가 추가 가속으로 이어지는 경로'로 적는다. 한계 절 본문은 같은 항목의 근거로 '생명 신호'를 든다. 스레드 표현은 본문과 맞는다.

보고서 — 한계

게시물 15 — 가속을 과대추정했을 수 있다. AI 외 요인, AECI의 검증 가능 과제 편중, Anthropic 초기 성장률(2024–2025)이 이례적으로 낮았던 이유를 덜 반영했을 경우다.

원문 “(2024–2025)” → 보고서 요약 절 “(2023–2025)”. 보고서 결론 절의 기준 기간은 2024-03~2025-10이다. 보고서 안에서도 기간 표기가 갈린다. 한계 절 본문은 2025년 말 이전 Anthropic의 AECI 성장률이 업계 프런티어보다 낮았다고 적는다.

보고서 — 요약 · 보고서 — 한계

게시물 16 — 이 평가는 2026-08 중순 시작했다. Anthropic이 발표한 '직원 수준 접근(employee-like access)' 평가와 별개다.

보고서는 이 프로젝트와 2026-10-15 발표 프로젝트를 구분한다. 두 기관 모두 이 평가를 데이터·문서·모델을 직접 여는 직원 수준 접근으로 설계하지 않았다.

보고서 — 절차 세부 · Anthropic 평가자 업데이트 글

게시물 16 — 접근은 깊었다. METR가 정보를 먼저 요청해야 했다. 존재를 몰라 놓친 것이 있을 수 있다.

보고서는 소수의 데이터 요청이 거부됐다고 적는다. 문서를 필요할 때 직접 읽을 수 없었다는 한계도 밝힌다.

보고서 — 한계

게시물 16이 인용한 Anthropic 게시물(2026-10-15) — 평가자가 안전 관행을 평가하게 하겠다고 약속했다. 여러 조직과 논의 중이다. METR 팀에 직원 수준 접근을 줬다.

Anthropic 뉴스 글(2026-10-15)은 METR 직원 6명에게 회사 장비·사무실·내부 도구 접근을 줬다고 적는다. SecureBio, Accenture와도 평가 협력 중이다.

Anthropic 평가자 업데이트 글 · 인용된 Anthropic 게시물

게시물 17 — METR는 컴퓨트 배분 평가 시범에 합의했다. Anthropic은 실질 결론 전에 이 부분을 취소했다. 당분간 위험 평가에 집중하려는 결정이라고 설명했다. 나중에 다시 검토하겠다고 했다.

보고서 문장과 같다. 계약 범위에는 역량·안전 사이 컴퓨트 배분 검증이 들어 있었다. Anthropic은 별도 페이지에 자체 측정치를 냈다. 2026-07-13~07-20 한 주 동안 AI R&D 컴퓨트의 약 6%가 안전 작업에 쓰였다는 수치다. 그 페이지는 제3자가 분류를 다시 돌려 볼 수 있게 하겠다는 계획만 적는다.

보고서 — 절차 세부 · Anthropic 개발 속도 측정 페이지

게시물 18 — 보고서는 접근 범위, 삭제 내역, 한계를 고수준으로 설명한다. AEF-1 공개, 이해충돌 정보, 계약 조건 요약도 담는다.

AEF-1은 AI 평가자 포럼(AI Evaluator Forum, AEF)이 만든 평가 조건 체크리스트다. 이 표에서 METR는 Anthropic 미공개 모델에 질의 접근을 요청하지 않았다고 적는다. 책임 있는 공개 정책이 아직 없다는 점도 '아니오'로 적는다.

보고서 — 이해충돌·계약 조건

Sam McCandlish는 Anthropic 공동창업자다.

Anthropic 경영진 페이지는 그를 공동창업자 겸 수석 아키텍트(Chief Architect)로 소개한다.

Anthropic 경영진 페이지

그는 Anthropic 안전 업무의 상당 부분을 이끈다.

경영진 페이지 요약은 그의 주 업무를 대규모 모델 학습으로 적는다. 사전학습, 연구 생산성, RL 인프라다. 같은 페이지 전체 약력은 그가 책임 있는 확장 책임자(Responsible Scaling Officer)로서 책임 있는 확장 정책(Responsible Scaling Policy, RSP)의 설계와 이행에 관여한다고 적는다. Anthropic의 2025-10-07 발표는 그가 최고기술책임자(CTO)에서 수석 아키텍트로 옮겼다고 적는다. '안전 업무 상당 부분'은 공식 소개보다 넓은 표현이다.

Anthropic 경영진 페이지 · Anthropic CTO 선임 발표

연구 대부분이 프런티어 연구소 안에서 일어나므로 외부 관찰자와 정책 결정자는 진전 속도를 파악하기 어렵다.

METR 제안 글(2026-10-14)도 내부 능력과 알고리즘 진전의 가속 증거가 공개 영역에서 빠져 있다고 적는다.

METR 통제 상실 위험 제안 글

Anthropic은 이 보고서로 이어진 METR와의 과정을 '올해 앞서' 시작했다. 진전이 계속 가속할 것을 예상한 결정이었다.

METR 기록상 시작일은 위 게시물 1·19 항목의 날짜다. 그 전 계약 단계의 날짜는 공개되지 않았다. 2026-08은 '올해 앞서'에 들어간다. 착수 동기를 확인할 자료는 없다. METR는 평가 기간이 처음 4주에서 11주로 늘었다고 적는다.

보고서 — 절차 세부

Anthropic은 미공개 모델의 벤치마크 점수, 모델 진전 추정치, 연구자 인터뷰를 포함한 민감한 내부 데이터를 METR에 줬다.

보고서의 공유 항목과 맞는다. 보고서는 내부 모델 벤치마크 점수, AI 속도 향상 분석, 차기 모델 지표 예측, 직원 인터뷰를 적는다. 핵심 직원 인터뷰는 약 15건이다.

보고서 — 요약

METR는 자기 결론을 내리는 데 완전한 독립성을 가졌다.

계약은 METR가 방법론과 결론에 단독 재량을 가진다고 적는다. 같은 보고서는 Anthropic이 정보 요청을 일방적으로 승인·거부할 수 있었다고 적는다. Anthropic은 비공개 정보 전부에 일방적 삭제권도 가졌다. 이해충돌 공개에는 평가 초기에 Anthropic 입사를 논의하다 제안을 거절한 참여자 1명이 나온다. METR는 향후 접근을 잃을 가능성을 비공식 압력으로 공개했다.

보고서 — 독립성·이해충돌 · 보고서 — 절차 세부

METR 결론 다수가 자신의 생각과 같다. AI는 Anthropic 연구를 가속한다. 정도는 정확히 말하기 어렵다.

METR 결론과 방향이 같다. 자신의 생각과 같다는 부분은 개인 견해라 판정에서 뺐다.

보고서 — 요약

METR는 AI가 모델 학습의 가장 중요한 기여를 아직 혼자 못 한다고 결론냈다. 기본 경로에서 개발 속도가 더 빨라질 수 있다고 본다.

보고서 결론과 맞는다. 보고서는 관찰된 병목과 강한 수확 체감이 없다는 점을 더 빠른 가속의 근거로 든다.

보고서 — 요약

이 작업은 내장형 제3자 평가자보다 훨씬 먼저 시작했다. 그 평가자와 별개다.

Dario Amodei가 2026-09-12 개인 사이트에 올린 에세이 「We Must Pace the Frontier」가 내장 평가자 약속을 담았다. METR 팀 직원 수준 접근 발표는 2026-10-15다. METR 평가는 약속보다 한 달, 발표보다 두 달 앞서 시작했다.

보고서 — 절차 세부 · Dario Amodei 에세이 공개 게시물

내장형 제3자 평가자는 Anthropic의 '프런티어 속도 조절(pacing the frontier)' 약속의 일부다.

이 에세이는 3단계 계획의 첫 단계로 내장 평가자를 둔다. Anthropic은 이 단계를 단독으로 약속했다.

Dario Amodei 「We Must Pace the Frontier」

검토자의 접근이 넓을수록 상황을 더 선명하게 본다. 이번 같은 상황도 더 잘 드러낸다.

METR 보고서도 직원 수준 접근이면 훨씬 깊은 평가가 가능했다고 적는다.

보고서 — 한계

Anthropic은 많이 삭제했다. 그 때문에 다른 사람이 METR 작업을 검증하기 어렵다.

AEF-1 4.1 '독립 검토가 가능한 방법론 공개'에 METR는 '아니오'를 적었다. 이유는 삭제 요구다.

보고서 — 이해충돌·계약 조건

속도 향상 요인을 그대로 공개하면 상업적으로 민감하다. 다른 회사에 더 빨리 가는 로드맵을 주는 위험도 있다. Anthropic은 이 두 이유로 삭제했다.

METR는 삭제가 다른 AI 개발사를 가속할 수 있는 기밀 정보에 머물렀다는 데 동의한다. 삭제된 정보 대부분은 '매우 고수준'이었다고 적는다. 삭제 범위는 속도 향상 요인을 넘어 가속 추정, 병목 분석, 차기 모델 예측에 걸친다. METR는 삭제의 정당성을 판단하지 않는다고 밝힌다.

보고서 각주 1 · 보고서 — 절차 세부

앞으로 몇 주 안에 Anthropic 내부 AI 진전 속도 분석 보고서를 낸다. RSP 기준 위치와 새 안전·보안 조치를 담는다.

2026-11-07 기준 미공개다. Anthropic 뉴스룸에 해당 글이 없다. RSP 페이지 최종 갱신일은 2026-08-14다.

Anthropic 뉴스룸 · Anthropic RSP 페이지