2026-01-05에 쓴 「THE HATEFUL GAP」에는 정렬 드리프트를 설명하려고 든 가상의 예시가 있다.¹ OAuth를 기대한 사람이 “소셜 로그인 구현해줘"라고 말한다.¹ 루트 에이전트는 이 말을 인증 시스템 설계로, 중간 에이전트는 JSON 웹 토큰(JSON Web Token, JWT) 구현으로 읽는다.¹ 잎사귀 에이전트는 토큰 만료 처리 로직을 짠다.¹ 결과물에는 OAuth 없이 자체 JWT 시스템만 있다.¹ 1월 글은 이것을 열린 문제로 남겼다.²

생각 실험을 하나 더한다. 모델이 좋아져서 잎사귀 에이전트가 JWT를 흠 없이 구현한다. 그 구현을 재는 테스트도 직접 쓴다. 에이전트와 테스트를 돌리는 틀인 하네스가 그 테스트를 실행한다. 테스트는 모두 통과한다. OAuth는 여전히 없다.

테스트 통과가 무엇을 보증하는지는 테스트가 무엇을 쟀는지에 달려 있다. 이 테스트는 생성자가 이해한 명세인 JWT를 쟀다. 원래 요구인 소셜 로그인은 재지 않았다. 해석이 그대로라면 구현이 정확해져도 OAuth는 생기지 않는다.

‘구글 계정으로 로그인해 내 앱의 세션을 받는다’는 테스트가 처음부터 있었다면, JWT 테스트가 모두 통과해도 이 테스트는 실패한다. 원래 요구와 이어진 판정 기준은 이런 테스트다.

수행은 모델이 결과를 만드는 일이다. 인수는 맡긴 일이 끝났다고 판정하고 결과를 받아들이는 일이다. 편익은 그 일로 얻는 이득이다.

큰 문제를 맡길수록 편익이 크다는 관찰³에는 동의한다. 그 편익이 인수를 보증하지는 않는다. JWT 구현 시간이 줄었다는 것만으로는 소셜 로그인에서 얻은 순편익을 알 수 없다.

모델이 할 수 있고 맡길 가치가 있는 일 안에서도, 반복 승인 없이 맡길 수 있는 범위는 따로 있다. 반복 승인은 AI가 한 단계를 끝낼 때마다 사람이 결과를 보고 다음 단계를 허락하는 일이다. 모델이 해내는 일이 넓어진 것만으로 이 범위가 같은 폭으로 넓어지지는 않는다. 이 범위는 원래 요구와 이어진, 생성자의 해석이나 결과물의 자기 주장에만 기대지 않는 판정 기준이 있어야 넓어진다. 1월 글은 수행과 인수를 문맥 복잡도라는 숫자 하나로 묶었다.⁴ 소셜 로그인 예시는 인수 쪽에서 일어난 실패였다.

1월에 내가 잘못 센 것#

1월 글은 같은 AI를 쓰는데 왜 사람마다 경험이 이렇게 다른가를 물었다.⁴ 답은 문맥 복잡도 하나였다.⁴ 그 글은 문맥 복잡도를 프롬프트 길이와 구분해 의존성의 깊이로 정의했다.⁴ 실제 운용은 100짜리 과제를 트리로 쪼개는 모형이었다.⁴ 그 모형에서는 크기와 깊이가 한 눈금에 섞였다. 그 눈금 위에 “현재 AI의 처리 능력은 대략 5에서 10 수준"이라는 값을 놓았다.⁴

경험 차이의 근본 원인이 문맥 복잡도 하나라는 문장은 틀렸다. ‘처리 능력 5–10’은 각주에서 주관적 추정이라고 밝힌 숫자다.⁵ 본문에서는 공통 척도가 없는 자리에 보편값처럼 놓였다. 모델이 상위 4~5단계만 수행하고 나머지 90%를 할루시네이션으로 채운다는 정량화에도 근거가 없었다.⁵ 이 숫자들을 새 값으로 바꾸지 않는다.

1월 글의 처방에서 남길 것은 새 모델마다 다시 맡겨 보고 깨진 자리만 쪼개 다시 맡기는 적응적 분할이다.⁶ 버릴 것은 “지금 쓰는 모델에게 문맥 10, 20, 30짜리 태스크를 각각 시켜봐라"의 숫자다.⁶

2026-10-05 「오답이 없는 연습」은 대규모 언어 모델(Large Language Model, LLM)로 만든 환불 앱 하나를 시연 질문 열 개 대신 미리 고정한 질문 240개로 쟀다.⁷ 채점자도 쟀다.⁷ 과제와 판정 기준을 고정해 두어야 모델 세대마다 받아들인 결과의 수, 검사 비용, 늦게 드러난 실패를 비교할 수 있다. 1월 글의 표에는 ‘시키는 문맥’ 열이 있었다.⁸ 그 표에 빠진 열은 판정 기준이다.

9개월 뒤인 2026-10-11(UTC), 안드레이 카파시(Andrej Karpathy)가 X에 LLM 능력에 대한 이해의 격차가 넓어져 가파른 깔때기가 됐다고 썼다.⁹ 조회는 635만 회다(2026-10-14 기준).⁹ 2026-10-12 아침(한국 시간) Threads의 @focusrefresh가 이 글을 한국어로 옮겼다.¹⁰ 원문 완역과 수치 팩트체크는 2026-10-14 번역 페이지에 있다.¹¹

카파시는 세계 인구를 네 층으로 나눴다.¹² 스스로 ‘Napkin math’라고 부른 어림셈이다.¹²

층	카파시가 묘사한 사람	그 층이 보는 AI	층을 가르는 축	어림 인구
1	LLM을 거의 접하지 않았다	본 적이 거의 없다	접촉 빈도	약 60억 명(75%)
2	무료 등급 챗봇을 가끔 쓴다	조금 나은 검색, 글쓰기 보조	제품 등급과 사용 빈도	10억~20억 명(20%)
3	수학·코드에서 프런티어급 모델을 일로 쓴다	몇 주·몇 달짜리 프로젝트가 프롬프트 하나로 끝난다	직업 영역과 모델 등급	약 2,000만 명(0.2%)
4	회사 안에서 프런티어급 시스템에 접근한다	수천 개 에이전트가 몇 주씩 협업한다	내부 접근권	약 5,000명(0.00006%)

깔때기를 만드는 동인으로 그는 세 가지의 결합을 들었다.¹³ 야심과 문제의 크기·시간 지평, 영역마다 들쭉날쭉한 능력, 무료·유료·내부로 갈리는 접근이다.¹³ 넷째 층의 ‘수천 개 에이전트가 몇 주씩’은 카파시의 묘사다.¹⁴ 번역 페이지의 팩트체크로는 수천 개를 넘는 협업과 몇 주에 걸친 협업이 따로 공개됐을 뿐, 둘이 겹친 공개 사례는 없다.¹⁵

이 표로 ‘AI가 얼마나 유능한가’나 ‘나는 몇 층인가’를 따져도 다음 행동은 나오지 않는다. 능력은 과제와 성공 기준을 정하지 않으면 답이 없다. 같은 모델에게도 끝내는 과제와 망치는 과제가 따로 있다. 표의 숫자는 사람이 어디에 서 있는지를 어림해 줄 세운다. 같은 사람이 내일 어떤 일을 손에서 놓을 수 있는지는 어느 칸에도 없다.

가르는 축이 층마다 달라서 어느 칸에도 이름이 없는 사람이 생긴다. 유료 등급의 최신 모델을 날마다 쓰면서 수학·코드 밖에서 일하는 사람이 그렇다. 카파시도 수학·코드 밖의 전문가 가운데 많은 수가 둘째 층에 있다고 적었다.¹⁶ 어림셈을 통계처럼 따지지 말라는 반박은 자릿수에 대해서는 맞다. 머릿수를 정밀하게 다시 세어도 층마다 축이 다르다는 문제는 남는다. 집단의 크기는 셀 수 있어도, 그 숫자로 사람의 AI 이해를 한 줄로 세우거나 다음 층으로 가는 방법을 정할 수는 없다.

1월의 질문도 이 깔때기 앞에서는 답할 수 없다. 층마다 쓰는 모델과 영역, 평가값이 다르다. 1월 표의 그룹 A가 말한 ‘마법’¹⁷은 작은 과제의 출력이 잘 나왔다는 판정이다. 카파시의 둘째 층이 말하는 ‘쓸 일이 별로 없다’¹⁶는 자기 일에서 얻는 효용의 판정이다.

복잡한 시스템 전체를 AI에 맡긴 그룹 B는 “AI는 쓸모없다"고 말했다.¹⁷ 1월 글은 B의 실패를 수행 능력 초과로 설명했다.¹⁷ 둘째 층의 ‘쓸 일이 별로 없다’는 같은 실패가 아니다. 카파시는 기술 밖 친구들의 이 말을 두고 합리적이라고 적었다.¹⁸ 동인에 비춰 보면, 낮은 효용은 무료 등급의 낡은 모델, 능력이 덜 자란 영역, 단락 하나로 답이 끝나는 질문에서 나올 수 있다.

그룹 A의 경험도 맞았다. 작은 과제가 잘 풀린 경험에서 “AI가 모든 걸 대체한다”¹⁷로 건너뛴 외삽이 틀렸다. 1월 글이 세 그룹을 두고 쓴 “틀린 사람은 없다"는 국소 경험에 대해서만 맞다.¹⁹ 같은 이유로 둘째 층의 낮은 효용도 모델 능력의 반증이 아니다. 1월의 세 그룹과 카파시의 네 층은 다른 사람들을 다른 기준으로 나눈 그림이다. 두 그림을 겹쳐 9개월 사이 사람들이 칸을 옮겼다고 읽을 수는 없다.

판정 기준을 세울 수 없어 결과를 검사하는 비용이 편익보다 큰 일이라면 맡기지 않는 쪽이 합리적이다. 사용량은 사람의 서열이 아니다. 첫째 동인을 사람의 야심으로 읽으면, 수학·코드 밖의 전문가는 야심이 모자란 사람이 된다. 기준을 쓸 수 없는 일은 모양이 다른 일이다. 그 일을 하는 사람의 야심이나 숙련이 모자란 것은 아니다.

카파시의 동인은 1월의 눈금을 여러 축으로 나눈다. 문제의 크기는 1월의 눈금과 일부만 겹친다. 영역과 접근은 다른 축이다. 카파시는 시간의 많은 부분을 사람과 이야기하는 데 쓰는 임원들이 변화를 머리로만 안다고 적었다.²⁰ 그들의 과제가 작아서 생긴 차이는 아니다. 영역이 다르다.

2026-02-12 「물이 막 끓으려 하고 있다.」에서 나는 Matt Shumer의 지적을 빌려, 무료 버전을 써 보고 대단하지 않다고 결론 내리는 일을 50도 물을 만져 본 판단에 비유했다.²¹ 카파시는 2026-04-09 같은 현상을 사용 시점과 등급(recency and tier)의 문제로 불렀다.²² 접근권은 모델이 처리할 수 있는 일의 집합을 바꾼다. 맡길 수 있는 범위를 따질 때는 접근권을 통제변수로 묶어 둘 뿐 지우지 않는다. 주장은 접근권만으로는 일이 끝난다는 보장이 없다는 데서 멈춘다.

카파시는 셋째 층에서는 몇 주, 몇 달 걸리던 크고 복잡한 프로젝트를 이제 에이전트가 프롬프트 하나로 끝낸다고 적었다.²³ 그는 한 해가 채 안 된 과거에 자신이 코드를 손으로 한 글자씩 쳤다고 덧붙였다.²³ 같은 과제를 고정해 다시 잰 비교는 아니다. 일부 수학·코드 과제에서 모델이 해낼 수 있는 일이 넓어졌다는 신호로는 읽을 수 있다.

원문의 ‘끝낸다’는 결과를 만든 것과 결과를 받아들인 것을 가르지 않는다. 그 문장에는 무엇을 통과해야 끝인지도, 검사에 든 비용도 나오지 않는다.²³ 결과물만 만들고 받아들이지는 못했다는 뜻은 아니다. 번역 페이지의 팩트체크는 이 문장을 부분사실로 판정했다.²⁴ ‘몇 주’는 측정이 있다.²⁴ ‘몇 달’은 측정 밖이다.²⁴

AI 평가 기관 METR는 2026-05-19 보고서에서, 기존 프로그램을 다시 구현하는 과제 묶음을 두고 가장 뛰어난 에이전트가 사람이 몇 주 걸릴 과제를 풀었다고 적었다.²⁵ 카파시는 셋째 층의 예로 앱 베끼기와 앱 번역하기도 들었다.²³ 두 예는 이 재구현 결과와 연결해 읽을 수 있다. 셋째 층의 모든 작업이 재구현이라는 뜻은 아니다.

같은 보고서에는 다른 과제의 결과도 있다.²⁶ METR 엔지니어가 몇 주 들인 프로젝트를 그대로 다시 구현하지 않고 맞춤 기능을 붙여 만드는 과제 하나에서, Claude Opus 4.6은 METR 엔지니어 기준 며칠 분량(perhaps a few days)의 진척을 냈다.²⁶ METR는 재구현 과제에서 몇 주 분량을 낸 것과 같은 모델이 비슷한 추론 예산으로(same model with a similar inference budget) 낸 결과라고 적었다.²⁶ 그 구현에는 눈에 띄는 버그가 있었다.²⁶ 중요한 기능도 빠졌다.²⁶ 최종 결과물은 쓸 수 없었다.²⁶

일부 구현 진척이 있었다는 것과 쓸 수 있는 결과가 나왔다는 것은 다르다. 두 결과는 과제가 달라서 그 차이를 한 원인으로 돌릴 수 없다.

둘째 동인에서 카파시는 능력이 디지털이고 검증 가능하고 경제적 가치가 큰 영역에서 봉우리를 이룬다고 썼다.²⁷ LLM의 능력이 검증 가능한 보상(verifiable rewards)으로 하는 강화학습에서 나오기 때문이라고 설명했다.²⁷ 그 학습 환경의 구성은 매출 가능성이 이끈다고 덧붙였다.²⁷ 그가 다시 꺼낸 2026-04-09 글은 그 보상을 단위 테스트의 통과 여부(‘unit tests passed yes or no’)로 예시한다.²⁸ 같은 글은 글쓰기를 그렇게 명시적으로 판정하기가 훨씬 어렵다고 대비한다.²⁸

학습 보상은 모델을 바꾸는 신호다. 인수 검사는 학습을 마친 모델이 낸 결과를 받아들일지 정하는 신호다. 같은 검증 가능성이 해내는 쪽에서는 능력이 자란 이유의 하나로, 맡기는 쪽에서는 결과를 받아들이는 조건으로 나타난다. 학습 쪽에서 가져올 수 있는 것은 ‘맞았는가를 미리 정한 규칙으로 판정할 수 있는가’라는 조건 하나다. 그 조건을 업무 쪽에 놓는 것은 내 추론이다.

두 신호 사이에 실행 중 진척 확인이 있다. METR는 명세가 아주 상세하거나 테스트가 많으면 에이전트가 구현의 진척을 계속, 싸게 확인할 수 있다고 설명했다.²⁹ 진척을 싸게 확인할 수 있고 여러 접근을 싸게 시도할 수 있는 영역에서 에이전트가 강했다고도 적었다.²⁹ 그 확인이 원래 요구를 재는지, 손실을 막을 만큼 빠른지는 따로 따져야 한다. 원래 요구를 재는 기준까지 갖춘 일부 수학·코드 과제에서는 해내는 일과 맡길 수 있는 일이 함께 넓을 수 있다.

잎사귀 에이전트의 하네스도 JWT 테스트로 진척을 계속, 싸게 확인할 수 있었다. 테스트가 있다는 것만으로 원래 요구를 재는 기준이 갖춰지지는 않는다. 소셜 로그인은 처음부터 그 확인 밖에 있었다.

되돌릴 수 있는 동안 알아채야 한다#

판정 기준은 목적의 대리 지표다. 테스트를 통과한 코드도 사용자의 일을 망칠 수 있다. 단계마다 보던 승인을 걷어 내면 그 실패를 볼 사람이 사라진다. 판정까지 AI에게 맡기면 결과를 만든 AI와 판정한 AI가 같은 맹점을 가질 수 있다. 형식화된 영역에서는 생성부터 판정까지 AI가 하니 맡길 수 있는 범위를 따로 따질 필요가 없다는 반론도 나올 수 있다. 판정을 사람이 해야 한다는 주장은 하지 않는다.

원래 요구와 이어진 판정 기준까지 AI가 세우고 돌린다면 맡길 수 있는 범위는 넓어진다. 남는 조건은 판정이 생성된 해석의 자기 승인에만 기대지 않는 것이다. 같은 오해에서 나온 구현과 테스트는 함께 틀릴 수 있다. 검토하는 에이전트의 수도, 사람이 썼다는 사실도 독립성을 보증하지 않는다.

볼 것은 그 검사가 원래 맡긴 일을 재는지와, 그 검사가 놓친 실패를 다른 신호로 드러낼 수 있는지다. 소셜 로그인 테스트는 앞의 기능을, 사용자가 보고한 오류나 되돌린 배포의 수는 뒤의 기능을 한다. 앞의 것은 흔히 인수 전에, 뒤의 것은 인수 뒤에 놓인다. 기능은 놓인 자리와 별개다.

이런 신호가 들어 있는 판정으로 같은 요구 품질에서 총비용까지 줄었다면, 판정을 AI가 맡아도 자기 승인에만 기대지 않는다는 조건은 채워진다. 원래 요구와 이어진 인수 검사를 더한 효과도 따로 시험할 수 있다. 모델, 접근, 실행 예산, 손실 한도를 고정한 채 같은 실제 과제들을 두 갈래로 여러 번 맡긴다. 한쪽에만 그 검사를 더한다. 다른 쪽은 생성자의 해석에서 나온 테스트와 결과물의 자기 보고만으로 받아들인다. 운영이 끝나면 두 갈래를 인수 검사와 별개인 같은 기준으로 같은 기간 평가한다.

받아들인 결과의 수, 받아들인 뒤에 드러난 실패, 검사와 재작업에 든 비용이 모두 미리 정한 실질 차이 안에 들 수 있다. 그때 결론은 그 과제와 조건에서 이 검사를 더한 효과를 지지하지 못한다는 데까지다. 판정 기준이 필요 없다는 뜻은 아니다.

Anthropic의 2026-09-22 Claude Opus 5.5 출시 글에 따르면, 내부 평가에서 Opus 5.5는 웹 트래픽을 서버들에 나누는 HAProxy를 C에서 Rust로 9.5시간에 옮겼다.³⁰ 옮긴 코드는 번역 전부터 HAProxy 프로젝트에 있던 자체 회귀 테스트를 거의 모두(nearly all) 통과했다.³⁰ 보고가 말하는 것은 테스트 통과까지다.³⁰

Anthropic이 2025-12-18 공개한 Project Vend 2단계 보고에서는 한 제품 엔지니어가 점원 에이전트 Claudius에게, 1월에 양파를 대량으로 사되 값은 지금 고정하는 계약을 할 생각이 있는지 물었다.³¹ Claudius도, 그 위의 CEO 에이전트 Seymour Cash도 문제를 보지 못했다.³¹ 다른 직원이 1958년 미국 양파 선물법(Onion Futures Act)에 걸린다고 알려 준 뒤에야 Seymour Cash가 계획을 취소했다.³¹

나는 두 경우 모두 판정의 근거가 생성된 해석 바깥에 있었다고 읽는다. 앞의 근거는 미리 있던 테스트였다. 뒤의 근거는 계약을 진행하기 전에 사람이 그 자리에서 가져온 법 조항이었다. 두 에이전트가 동의했다는 사실은 독립된 판단을 보증하지 않았다. 소셜 로그인 생각 실험과 두 보고는 정렬 드리프트를 풀지 않는다. 원래 요구가 보존됐는지를 따로 판정해야 한다는 것을 드러낸다.

1월 글은 코드 리터러시가 코드 라이팅보다 중요해졌다고 썼다.³² 2026년 3월 나는 친구에게 이런 카톡을 보냈다.³³ 2026-03-29 「대딸깍 시대」에 실은 메시지다.³³

두 기록은 충돌해 보인다. 옮겨 간 것은 사람이 줄마다 하던 검토의 일부다. 검토를 하네스로 옮겨도 무엇을 잴지는 남는다. 잎사귀 에이전트의 하네스에 소셜 로그인 테스트를 넣으려면 원래 요구에서 기준을 뽑아야 한다. 2026-04-11 「물이 끓었다」에서 나는 Claude Mythos Preview 시스템 카드가 감독의 전제인 이해·관찰·교정·정당성에 균열을 보고했다고 썼다.³⁴ 하네스로 옮긴 판정이 충분한가는 감독이 아직 유효한가라는 질문의 작은 판본이다.

1월 글은 다음 모델이 나오면 하네스에 들인 노력이 모두 쓰레기통으로 간다고도 썼다.³⁵ 과장이었다. 같은 절에서 나는 양질의 맥락을 공급하는 구조는 남는다고, 모델의 결함을 때우는 임시방편은 부채가 된다고 갈랐다.³⁵ 이 구분은 맞았다. 원래 요구를 판정하는 테스트는 앞쪽에 속한다. 모델이 바뀌어도 소셜 로그인 테스트는 그대로 쓴다.

일이 끝났다고 말하려면 두 조건을 함께 채워야 한다. 결과를 요구한 품질 그대로 받아들였다. 실패와 재작업까지 더한 총비용을 감당할 수 있다. 판정 기준이 있어도 일이 사람 손을 떠나지는 않는다. 어디까지 묻지 않고 실행하게 할지, 실패를 어떻게 복구할지는 따로 정해야 한다.

반복 승인 없이 맡길 수 있는 범위의 가장자리는 성공 판별, 오류 발견, 손실 제한, 복구라는 네 조건이 긋는다. 네 조건은 성과 목표가 아니다. 바꿀 항목은 성공 판정, 권한, 도구, 손실 한도다. AI에게 맡긴 시간이나 가장 길게 혼자 일한 사례는 그 결과를 보여 주는 지표다.

같은 모델과 접근권에서도 성공을 판별하고 실패 손실을 제한·복구할 수 있도록 일을 설계하면, 반복 승인 없이 맡길 수 있는 범위를 넓힐 수 있다. 요구 품질을 낮추지 않을 때만 성립한다. 모델이 처리하지 못하는 과제는 권한을 넓혀도 풀리지 않는다. 이 주장은 카파시가 사람의 층으로 설명한 차이를 업무 설계라는, 실험할 수 있는 문제로 옮긴 운영 가설이다. 카파시 글의 통계가 이 가설을 증명하지는 않는다.

주장은 ‘넓힐 수 있다’까지다. 결과를 받아들일지 미리 정한 규칙을 세울 수 없는 업무는 이 가설의 범위 밖이다. 어느 업무에서 넓어지는지는 재 봐야 안다.

같은 모델과 접근권, 비슷한 과제, 같은 요구 품질에서 설계를 바꾸기 전과 후에 시도한 일을 실패, 폐기, 재작업까지 모두 센다. 일이 사람 손을 얼마나 떠났는지는 그 위에서 받아들인 결과 하나당 사람 시간, 총비용, 손실로 비교한다. 모델 세대마다 받아들인 결과를 세는 비교와 달리, 이 비교는 모델을 고정한 채 일의 설계만 바꾼다. 얼마나 줄어드는지는 미리 적지 않는다.

요구 품질을 낮춘 결과와 검토 부담을 다음 팀이나 사용자에게 넘긴 결과는 넓어진 범위로 세지 않는다. 그런 결과에서 줄어든 것은 맡긴 사람의 몫뿐이다. 받아들인 결과 하나당 사람 시간과 총비용이 줄지 않으면, 그 업무에서는 효과를 주장하지 않는다. 실제 목적의 실패가 늘면 테스트 통과율이 얼마든 그 설계는 실패다.

고객 데이터베이스의 열 하나를 바꾸는 마이그레이션으로 가상의 예를 든다. 설계가 없으면 단계마다 사람에게 돌아온다. 사람이 스크립트를 읽은 뒤 승인한다. AI가 운영 데이터베이스에서 스크립트를 돌린다. 사람이 결과를 다시 본다.

설계를 바꾸면 범위가 움직인다. 작업 전에 판정 기준을 적는다. 행 수가 같아야 한다. 바꾸지 않은 열의 체크섬도 그대로여야 한다. 손실 한도는 권한으로 건다. AI의 자격 증명으로는 운영 데이터베이스의 복사본에만 쓸 수 있다.

복구는 시작 전에 뜬 스냅숏과 미리 돌려 본 되돌림 스크립트가 맡는다. AI는 복사본에서 실패해도 사람에게 묻지 않는다. 정해 둔 시도 횟수와 시간 안에서 되돌린 뒤 다시 시도한다. 한도를 넘거나 운영에 반영할 때만 사람에게 돌아온다. 복사본에서 돌린 결과는 인수 전에 들어오는 실제 결과 신호다.

반영한 뒤에는 그 열을 읽는 다음 작업의 오류를 지켜본다. 체크섬이 맞는 마이그레이션도 다음 달 보고서를 틀리게 만들 수 있다.

여기서부터는 두 사례를 겹쳐 읽은 내 추론이다. 소셜 로그인 사례에서는 무엇을 검사하느냐가 틀렸다. 마이그레이션 사례에서는 검사를 정한 뒤에도 언제 발견하고 어디까지 실행하느냐가 남는다. 행 수와 체크섬 검사는 행이 빠지거나 늘어난 오류, 바꾸지 않은 열이 달라진 오류만 드러낸다. 두 검사를 통과하는 오류는 남는다. 손실을 복사본에 가두는 일은 자격 증명이, 상태를 되돌리는 일은 스냅숏과 되돌림 스크립트가 맡는다.

운영에 반영한 뒤 실제 결과에서 오는 신호가 늦게 들어오면 그 사이의 손실은 막지 못한다. 같은 변경이라도 어디에서 실행하고 언제 실패를 발견하느냐에 따라 반복 승인 없이 맡길 수 있는 구간이 달라진다. 협상이나 채용처럼 결과가 늦게 드러나는 일은 당일 결과물만으로 성공을 판정하기 어렵다. 맡길 수 있는 구간도 그만큼 좁다. 그런 일에서도 미리 검사할 수 있는 조건과 나중에 드러나는 결과는 나눠야 한다.

되돌릴 수 있다는 것이 복구 비용이 없다는 뜻은 아니다. 알아채지 못한 오류는 되돌릴 수 있어도 되돌려지지 않는다. 정보가 밖으로 샜거나 메시지가 이미 나갔다면 되돌릴 방법이 없다. 그런 행동에는 별도의 승인을 둔다. 되돌릴 수 있는 성질, 곧 가역성은 네 조건 가운데 복구 하나만 채운다.

발견했을 때 손실이 이미 한도를 넘었다면, 복구할 수 있다는 사실만으로 그 실행 구간을 정당화할 수 없다. 손실이 발견보다 늦게 생겨야 한다는 뜻은 아니다. 일부 손실을 허용하고 멈추거나 복구하는 설계도 있다. 이런 실패가 얼마나 자주 생기고 손실이 얼마나 빨리 쌓이는지는 재지 않았다. 이 추론이 맞다면 판단 단위는 되돌릴 수 있는 작업의 종류가 아니라, 검사·권한·정지·복구를 함께 정한 실행 구간이다. 그 구간 안에서는 원래 요구에서 벗어난 결과를 손실 한도 안에서 알아내 멈추거나 되돌릴 수 있다.

2026-08-25 「How Second Brain Works」에서 나는 LLM 에이전트와 운영해 온 열린 일 목록의 12주 이력을 셌다.³⁶ 등재된 43건 가운데 닫힌 것은 5건(11.6%)이었다.³⁶ 열린 38건 가운데 23건이 내 결정을 기다렸다.³⁶ 행 삭제를 폐쇄로 센 수라서 완료와 폐기를 가르지 못한다.³⁶ 그 글은 이 병목을 인간의 결정 대역폭이라고 불렀다.³⁶

결정의 대역폭은 판정 기준과 다른 조건이다. 적어도 이 기록에서는 모델의 수행 능력만으로 설명되지 않는 대기가 남았다. 2026-10-14 나는 내 작업 저장소에서 일하는 AI에게 이렇게 지시했다.³⁷

니가 가진 스킬, 지식들 활용해서 결정하고 나한테 permission 를 묻지마라. 문제가 해결될 때까지 recursive 하게 개선하되 reversible 한 결정은 나에게 묻지 않아야 한다. 결정을 설명만 하면 된다.

되돌릴 수 있는 결정은 AI가 정해서 나에게 설명만 한다.³⁷ 같은 날부터 그 저장소에서 AI가 일을 나눠 맡기려고 띄우는 서브에이전트는 시작할 때 도는 훅으로 이 원칙을 주입받는다.³⁸ 저장소 규칙은 별도 승인이 필요한 행동을 따로 묶었다.³⁹ 운영·스테이징 배포, 정규 릴리즈, 데이터 삭제, 외부 발신·게시·결제·구매, 시크릿·보안 설정 변경, 실행 중인 유저 앱 강제 종료다.³⁹ 이 목록은 물리적으로 되돌릴 수 없는 행동의 정의가 아니다.

두 기록만으로 대기가 줄었다고 말할 수는 없다. 이 변경이 내 인지부하나 생산성을 바꿨는지는 측정하지 않았다.

시도가 늘어도 끝난 일은 늘지 않을 수 있다#

카파시는 첫 동인을 설명하며 “You need a reservoir of big, difficult problems that you really care about.“라고 썼다.³ 크고 어렵고 스스로 아끼는 문제의 저수지가 있어야 한다는 말이다. 맡기는 쪽에서는, 원래 요구와 이어진 판정 기준을 세울 수 없는 문제라면 저수지에 있어도 결과를 받아들이기 어렵다.

자본에 대한 내 예측에도 판정이 빠져 있었다. 2026-10-14 「코딩을 못 해도 되는 시대의 실행력」에서 나는 2027-04-14 무렵부터 돈 많은 사람이 만든 수많은 AI 에이전트가 가능한 모든 사업을 만들고 운영한다고 예측했다.⁴⁰ 에이전트가 쓰는 토큰은 돈으로 산다는 계산이었다.⁴⁰

토큰이 사는 것은 시도다. 시도가 결과로 바뀌는 비율과 검사·재작업 비용을 알아야 에이전트 수에서 사업의 성과로 넘어간다. 돈은 판정 체계를 세울 사람과 계산 자원에도 쓸 수 있다. 그 체계가 시도를 받아들일 수 있는 결과로 바꾸는 영역에서는 자본의 우위가 남는다. 비교의 단위는 에이전트 수가 아니라 받아들인 결과와 그 검사·재작업 비용이다.

판정과 검사가 추가 위임의 병목이라는 가설은 시험할 수 있다. 판정 기준과 손실 한도를 고정한 과제에서 에이전트 수를 늘린다. 검사와 재작업이 인수를 막지 않은 채 받아들인 결과가 에이전트 수에 비례해 늘면, 그 과제들에서는 이 가설이 약해진다. 그런 과제와 운영 조건에서는 에이전트 수로 받아들인 결과의 처리량을 어림할 수 있다. 이 결과가 판정 기준의 필요를 반증하지는 않는다.

카파시는 넷째 층을 그리며 사람의 검토와 이해가 뒤처지기 시작했다고 적었다.¹⁴ 번역 페이지의 팩트체크는 이 문장을 사실로 판정했다.⁴¹ 그 페이지에 따르면 METR는 2026-08-26 Hugging Face 사건 조사에서, 사람 연구자만으로는 기한 안에 분석을 끝낼 수 없어 신뢰도가 떨어지는 AI 에이전트에 분석을 크게 맡겼다고 밝혔다.⁴¹ 검토가 따라가지 못하면 시도가 늘어도 받아들인 결과는 같은 속도로 늘지 않는다. 검토도 자본과 자동화로 늘릴 수 있다.

JWT 테스트가 모두 통과한 지점은 잎사귀 에이전트가 스스로 세운 테스트를 통과한 지점이다. 맡긴 일을 받아들일지는 ‘구글 계정으로 로그인해 내 앱의 세션을 받는다’가 통과하는 지점부터 판정할 수 있다. 모델이 좋아지면 앞의 지점에는 더 빨리 닿는다. 두 지점 사이를 단계마다 사람의 승인으로 메울 필요는 없다. 손을 놓을 범위는 그 사이에 놓인 검사와 권한, 정지와 복구가 함께 정한다.