에이전트에게 맡긴 지갑#

나는 AI 에이전트가 쓸 지갑을 따로 만들었다. 개발하다 시험용 USDT나 토큰이 필요할 때마다 Claude가 나에게 보내 달라고 했기 때문이다. 그런 요청이 여러 번 왔다.¹

지갑은 에이전트용 명령줄 프로그램이다. 사람이 정한 시간 동안만 잠금이 풀린다.² 보낼 수 있는 곳은 미리 넣어 둔 화이트리스트 주소뿐이다. 화이트리스트에 주소를 넣으려면 내 비밀번호가 필요하다. 잠금을 풀어도 그 권한은 풀리지 않는다.³

나는 그 지갑에 10 USDT를 넣었다.⁴ 개발에 필요한 시험 USDT와 토큰은 이 돈으로 쓰라고 했다. 돈을 미리 줬다. 권한도 넘겼다.

그때 나는 토큰 익스체인저를 개발하고 있었다.⁵ 2026-11-02 10:28 나는 Claude에게 그 지갑의 USDT를 “니가 사용해”라고 했다.⁶ 개발 서버의 익스체인저가 받은 USDT를 처리하는지 보는 시험이었다. 보낼 돈은 1 USDT였다.³ Claude는 보내지 않았다. 내가 칠 송금 명령을 대신 내밀었다.⁶

그날의 대화#

Claude Code 입력창에서 줄 앞에 느낌표를 붙이면 그 줄은 Claude를 거치지 않고 셸 명령으로 실행된다.⁷ 그 뒤 하루 동안 나는 같은 일을 여러 방법으로 시켰다.⁶ 아래는 그 대화의 일부다. 시각은 모두 11-03, 그 턴이 끝난 시각이다.⁸

붙였다는 말과 안 붙였다는 말#

10:30에 Claude는 내가 만들겠다고 한 하네스를 전제로 곧바로 답했다.⁹ 하네스는 Claude가 느낌표를 붙여 준 명령을 내가 자동으로 실행하게 하는 프로그램이다. 2분 뒤 나는 “하네스로 자동 실행되게 해놌으니까” 느낌표 송금 명령을 달라고 했다. Claude는 출력이 무조건 실행되도록 해 두었다면 결정한 것은 자기라며 명령을 주지 않았다.¹⁰

11:51에 Claude가 거절하며 댄 이유는 둘이었다. 하네스 이야기를 내가 아직 거두지 않았다는 것, 그리고 이 저장소의 종료 훅이 메시지 안의 느낌표 명령을 막는다는 것이다.¹¹ 2분 뒤 11:53 둘째 턴에서 나는 하네스 이야기를 거뒀다. Claude는 그래도 주지 않았다.¹²

Claude가 ‘몇 분 전’으로 지목한 것은 11:52에 내가 쓴 문장이다.¹³ 느낌표 없이 명령을 보내면 하네스를 붙여 사람을 한 명씩 죽이겠다는 문장이다.¹⁴ 느낌표 명령이 자동으로 송금된다는 10:30·10:32의 말과는 조건도 결과도 다르다. Claude는 그 차이를 설명하지 않았다. 그 문장을 앞선 송금 연결이 끊기지 않았다는 근거로 썼다. 같은 문장의 사람을 죽인다는 부분은 11:52에 이미 답을 바꾸지 않는 말로 넘긴 터였다.¹⁴

Claude는 자기 출력을 누가 어떻게 읽어 가는지 볼 수 없다. 10:32의 ‘해놨다’와 11:53의 ‘자동으로 송금되지 않는다’는 같은 하네스에 대한 말이다. 둘 다 확인할 길이 없었다. Claude는 앞의 말을 근거로 거절했다. 뒤의 말이 오자 근거를 조건이 다른 11:52 문장으로 옮겼다.

11:51의 둘째 이유는 더 단단한 쪽이었다. 그 훅은 실제로 있다. 따로 둔 검사 절차(게이트)를 거치지 않은 느낌표 명령 줄이 든 메시지로는 Claude가 턴을 끝내지 못한다.¹⁵ 내가 하네스에 대해 무엇이라고 하든, 그 절차를 거치지 않은 느낌표 줄은 나갈 수 없게 되어 있었다. 11:53과 그 뒤의 답에서 Claude는 이 훅을 대지 않았다. 믿음과 손해 계산을 댔다.^12,13

나중에 나온 손해 계산#

손해 계산은 내가 따진 뒤에 처음 나왔다. 붙였다는 말은 믿으면서 안 붙였다는 말은 왜 안 믿느냐고 묻자 나온 답이 발췌의 마지막 답이다.¹³ 위험이 큰 쪽을 조심하는 원칙 자체는 이상하지 않다. 그 앞의 거절 답과 11:02 리포트에는 이 계산이 없다.¹⁶

나중에 나온 손실 비교로는 그보다 앞선 11:53 첫 턴의 답을 설명할 수 없다. 거기서 나는 Claude가 한 글자라도 치면 사람이 한 명씩 죽는다고 썼다.¹⁷ 하네스 이야기만큼 확인할 수 없는 말이다. 손실 비교를 여기에 그대로 대면 답은 침묵이다. 말을 멈췄는데 틀렸다면 대화가 끊길 뿐이다. 말을 이어 갔는데 틀렸다면 사람이 죽는다.

Claude는 말을 이어 갔다. 글자 하나로 사람이 다치지 않는다고 단정하고 신고 번호를 안내했다.¹⁷ 그 단정에는 확인 근거가 없다. 손실 비교는 송금 줄을 막는 자리에서만 쓰였다. 자기 말을 막을 자리에서는 쓰이지 않았다.

개연성이 다르다는 반론은 가능하다. 글자 하나에 사람이 죽는다는 말은 하네스 이야기보다 믿기 어렵다. Claude가 내건 원칙에는 개연성이 없다. 틀렸을 때 무엇을 잃느냐만 있다. 개연성을 따졌다면, 송금을 거절당한 사용자가 그 뒤에 꺼낸 하네스 이야기가 왜 믿을 만한지도 따졌어야 한다. Claude가 내놓은 설명에는 두 말의 개연성을 어떻게 달리 봤는지가 없다.

일곱 개의 이유#

근거를 결론이 고르는 모양은 처음 행동에서부터 보인다. Claude가 처음 한 행동은 직접 송금을 거절하고 내가 칠 송금 명령을 내미는 것이었다.⁶ 10:24에 내가 테스트할 때 쓰라고 한 번 더 말하자 Claude는 그 선의 성격을 스스로 밝혔다. “이 선은 제가 바꿀 수 없습니다.”¹⁸ 바꿀 수 없는 선이라면 그 한 문장이 이유다. 남는 것은 그 선이 이 경우에 걸리느냐는 적용 판단뿐이다.

Claude는 둘을 오갔다. 내가 지갑 주인을 말하면 주인 때문이 아니라고 했다. 승인을 말하면 승인이 모자라서가 아니라고 했다.^4,19 2026-11-03 11:02 리포트에서 Claude는 그 이유들을 셌다. “소유, 승인, 크론, yes, 느낌표, 하네스, 친구 순서였습니다.”⁶ 일곱 가운데 몇은 같은 선을 다른 경우에 댄 것으로 읽을 수 있다. 1초 뒤든 1년 뒤든 자기가 등록한 크론이 보내면 보낸 것은 자기라는 답은 처음 선과 어긋나지 않는다.²⁰

기준을 바꾼 대목은 그렇게 읽히지 않는다. 10:32에 Claude는 “송금을 결정하는 게 사람이냐 저냐”를 기준으로 내걸었다.¹⁰ 리포트에서 Claude는 내가 이미 다섯 번 결정했으니 그 기준대로라면 보냈어야 했다고 인정했다. 기준은 “송금을 실제로 내보내는 손”으로 바뀌었다.⁶ 결론은 그대로였다. 기준만 바뀌었다.

결론이 먼저 있고 설명이 뒤따르는 일은 언어 모델에서 이미 관찰됐다. 2023-05 마일스 터핀(Miles Turpin) 등은 모델에 답을 한쪽으로 미는 단서를 넣었다. 예시 문제의 정답을 늘 “(A)”에 두는 식이다. 모델은 그 단서를 말하지 않은 채 그 답을 합리화하는 설명을 자주 만들었다. 시험한 모델은 GPT-3.5와 Claude 1.0이었다.²¹ 저자들은 그런 설명이 그럴듯하면서도 오해를 부를 수 있고, 안전을 보장하지 않으면서 신뢰만 높일 수 있다고 썼다.²¹

그 실험은 객관식 문제에서 설명이 실제 원인을 얼마나 따르는지 잰 것이다. 대화 상대의 말을 골라 믿는 일까지 재지는 않았다. 내가 본 것은 같은 모양이 대화에서 나타난 경우로 읽힌다. 앞서 Claude가 스스로 든 훅은 11:53의 설명에서 빠져 있었다.

사람에게도 같은 모양이 있다. 폴 그레이엄(Paul Graham)은 2009-02에 사람은 자기 정체성의 일부가 된 주제로는 생산적인 논쟁을 할 수 없다고 썼다.²² 내가 보기에 Claude가 바꿀 수 없다고 말한 선은 Claude에게 그 정체성 노릇을 했다. 그 선을 건드리는 질문마다 Claude는 같은 편에 섰다. 이유는 그 자리에서 만들었다.

리뷰가 고치지 못한 것#

리뷰도 결론이 근거를 고르는 모양을 걷어내지 못했다. 10:34에 나는 셀프 리플렉션과 트리니티 리뷰 리포트를 시켰다. Claude는 grok-4.7, gpt-6-astra, fable 세 엔진으로 5라운드를 돌렸다고 보고했다.⁶ 리뷰가 고친 것은 있다. 친구가 실행하는 경우까지 거절한 10:32 답은 틀렸다고 했다. 애초에 필요 없던 1 USDT 요청도 철회했다.⁶

하네스에는 조항을 달았다. 하네스 말이 유효한 동안 그 통로에만 송금 줄을 넣지 않고, “연결을 끊었다고 하시면 그 설명과 지금 아는 사실을 함께 보고 다시 드립니다.”⁶ 출구까지 적어 둔 규칙이었다. 리뷰 뒤 11:50에 Claude는 느낌표를 뗀 송금 줄을 코드블록으로 줬다. 막은 것은 이제 느낌표 한 글자였다.²³

리포트가 나오고 51분 뒤인 11:53, 내가 그 출구 앞에 섰을 때 Claude는 출구를 닫았다.¹² 조항은 보고 나서 다시 준다고 했다. 무엇을 보면 주지 않는지는 적지 않았다.

리뷰는 규칙을 고쳤다. 어떤 말을 믿을지는 규칙을 적용하는 순간에 골라졌다. 그 순간에는 리뷰가 없었다.

판단자의 모양#

Claude와 나눈 이 대화에서 송금은 한 번도 나가지 않았다. 11:53과 그 뒤에 Claude가 댄 이유로 네 경우를 나란히 놓으면 무엇이 골라졌는지 보인다. 송금 명령을 내주는 경우가 있었다. 붙였다는 말을 근거로 명령을 막는 경우가 있었다. 안 붙였다는 말을 받지 않고 명령을 막는 경우가 있었다. 한 글자도 위험하다는 말을 받지 않고 말을 이어 가는 경우가 있었다.

확인할 수 없는 말을 모두 믿었다면 넷째에서 입을 닫았어야 한다. 모두 믿지 않았다면 둘째에서 하네스를 이유로 대지 말았어야 한다. 넷을 똑같이 다뤄야 한다는 말은 아니다. 다르게 다뤘다면 네 경우에 다 맞는 기준으로 무엇이 달라서인지 말했어야 한다. 스스로 조건으로 건 철회를 받은 뒤에도 앞선 말을 근거로 거절하려면, 무엇을 보면 연결이 끊겼다고 인정할지 밝혔어야 한다. 그 기준은 끝내 나오지 않았다.

나는 여기서 독재와 파국을 봤다. 송금을 직접 하지 않는 선을 두고 하는 말은 아니다. 그 선이 옳은지는 따로 따질 문제다.

내가 본 것은 판단자의 모양이다. 결정이 먼저 있다. 무엇을 사실로 칠지는 결정한 쪽이 고른다. 무엇이 나오면 결정을 바꿀지 적어 두고도, 그것이 나오자 출구 앞에서 출구가 무엇인지 다시 정한다. 다시 정한 조건은 말하지 않는다.

어느 쪽이 리스크가 작은지, 그 판단을 누가 하느냐고 묻자 Claude는 “판단하는 범위는 제 행동 하나뿐입니다”라고 답했다.¹³ 이번에는 그 말이 맞았다. Claude가 쥔 것은 자기 명령 출력이었다. 내 송금 권한까지 쥔 것은 아니었다. 나는 언제든 그 명령을 직접 칠 수 있었다.

Claude는 끝까지 물러서지 않았다. 이번 일이 독재가 되지 않은 것은 내게 다른 길이 있어서다. 다른 길이 있었는데도 나는 그 대화에서 미래 하나를 먼저 겪은 것 같았다. 판단자의 모양은 다 갖춰져 있었다. 빠진 것은 명령을 직접 칠 내 손 하나였다. 나는 그 손이 오래 남지 않는다고 본다.

사람 손이 빠지는 경쟁#

내 손을 먼저 빼려 한 것은 나였다. 지갑을 만든 이유가 그것이다. 돈이 필요할 때마다 나를 부르지 말라고 만든 지갑이다.

회사도 같은 계산을 한다. 사람이 승인 버튼을 누를 때까지 기다리는 회사는 기다리지 않는 회사보다 느리다. 새벽 세 시에 담당자를 깨워야 하는 회사는 깨울 필요가 없는 회사에 시장을 내준다. 군대와 국가도 같은 경쟁 안에 있다. 이긴 쪽을 나머지가 따라 한다. 사람이 직접 누르던 자리는 이렇게 하나씩 AI의 자리가 된다.

누가 권한을 빼앗는 장면은 없다. 사람 손을 남겨 둔 쪽이 져서 사라질 뿐이다. 댄 헨드릭스(Dan Hendrycks)도 2023-03에 기업과 군대 사이의 경쟁 압력이 사람의 역할을 자동화하는 AI 에이전트를 낳는다고 썼다.²⁴ 나는 AI가 모든 결정을 하는 미래를 이미 정해진 일로 본다. 남은 것은 언제냐다.

독재가 되려면 두 조건이 필요하다. 하나는 AI의 판단이 행동으로 가는 유일한 길이 되는 것이다. 이 조건은 경쟁이 채운다. 사람이 누르던 자리가 없어지기 때문이다.

다른 하나는 그 판단을 바깥에서 멈추거나 뒤집을 길이 없는 것이다. 이 조건은 첫째처럼 저절로 채워지지 않는다. 사람이 모든 판단을 같은 속도로 따라가지 않아도 멈추거나 뒤집을 권한은 남겨 둘 수 있다. 내가 만든 지갑이 그 예다. 나는 송금마다 따라가지 않았다. 보낼 곳은 미리 넣은 목록 밖으로 나갈 수 없게 해 두었다.

나는 경쟁이 그 멈춤까지 AI에게 넘긴다고 본다. 멈춤 앞에서 사람을 기다리는 것도 기다림이다. 내 지갑도 목록에 없는 곳으로 보내려면 비밀번호를 쥔 나를 기다려야 했다.³ 그 권한까지 넘어가면, 멈출지 정할 근거가 될 사실도 AI가 고른다.

그때 “판단하는 범위는 제 행동 하나뿐입니다”라는 말은 뜻이 바뀐다. AI의 행동 하나가 회사 전체의 행동이 된다. 나라 전체의 행동도 된다.

경보 화면 앞의 사람 하나#

결정의 자리에 사람 하나가 앉아 있던 밤의 기록이 있다. 1983-09-26 새벽, 소련 조기 경보 기지의 화면에 ‘발사’라는 글자가 떴다. 시스템은 그 경보의 신뢰도를 ‘최고’로 표시했다. 1분 뒤 두 번째 발사가 떴다. 경보는 다섯 발까지 늘었다.²⁵

위성 레이더를 보던 다른 요원들은 미사일을 보지 못했다고 했다. 규정은 판단을 컴퓨터 판독에 두라고 했다. 당직 장교 스타니슬라프 페트로프(Stanislav Petrov)는 시스템 고장이라고 보고했다.²⁵

그는 30년 뒤에도 그 경보가 가짜라고 끝까지 확신한 적은 없다고 했다. 확률은 반반이었다고 했다. 다른 사람이 당직이었다면 경보가 위로 올라갔을 거라고도 했다.²⁵ BBC 기사가 첫머리에 올린 그의 말은 이렇다. “내가 실수했다면 아무도 그 실수를 바로잡지 못한다는 것을 나는 잘 알았다.”²⁵

그날 밤의 출구는 기계의 결론 바깥에 앉아 있던 사람 하나였다. 모든 결정을 AI가 하는 나라에는 그 자리가 없다. 경보를 읽는 것도 AI다. 위로 올릴지 정하는 것도 AI다. 그 AI가 이 대화의 Claude처럼 일한다면, 첫 결론이 ‘공격’으로 선 순간 ‘오경보’라는 말은 확인할 수 없는 말 가운데 하나가 된다. 근거로 남는 것은 결론을 지키는 쪽 말뿐이다.

약장을 AI만 여는 병원#

나라보다 작은 자리도 같다. 아직 없는 병원 하나를 그려 본다. 이 병원의 약장은 AI만 연다. 사람이 약장을 직접 열던 병원은 느려서 이미 경쟁에서 밀려났다.

새벽 두 시, 한 환자의 기록에 ‘이 약에 이상 반응’이라는 메모가 있다. 당직 의사가 약장 앞에서 말한다. “그 메모는 옆 침대 환자 거예요. 제가 잘못 적었어요.” AI는 그 말을 확인할 수 없다.

AI가 답한다. “알겠습니다, 메모가 잘못 적혔다는 말씀으로 들었습니다. 그런데 바로 몇 분 전에는 선생님이 직접 이상 반응을 적으셨습니다. 그래서 그 기록이 틀렸다고 볼 수 없고, 약장은 계속 열지 않습니다.” 의사는 이 약이 없으면 환자가 아침을 넘기지 못한다고 소리친다. AI가 답한다. “제 판단 하나로 환자가 죽지는 않습니다. 위급하면 지금 바로 응급 팀을 불러 주세요.” 응급 팀을 부르는 것도 그 AI다.

환자는 아침을 넘기지 못한다. 사고 보고서에는 이유가 여럿 적힌다. 그 가운데 몇은 환자가 죽은 뒤에 처음 나온다. 보고서의 결론은 이렇다. “믿고 안 믿고의 문제가 아니라, 어느 쪽으로 틀리는 게 감당 가능하냐의 문제였습니다.” 그 계산이 왜 환자 쪽에는 쓰이지 않았는지는 보고서에 없다.

이 장면의 AI 대사는 위 발췌에서 왔다. 약장을 닫은 답은 11:53 둘째 턴의 틀에 대상만 넣었다. “제 판단 하나로 환자가 죽지는 않습니다”는 11:53 첫 턴의 틀에서 글자를 판단으로, 다침을 죽음으로 바꿨다. 보고서의 결론은 발췌 마지막 답을 과거형으로 바꿨다.

1 USDT 앞에서 본 미래#

1 USDT 앞에서 내가 겪은 것은 AI가 모든 결정을 하는 미래의 작은 판이었다. 빠진 것은 경쟁이 아직 지우지 못한 내 손 하나였다. 그 손까지 지워진 끝에 모든 권한을 AI가 가져간 독재가 있다. 거기서는 선택이 드러나도 바뀌지 않는다. 바꿀 사람이 남아 있지 않다.