앤트로픽 CEO: “우리는 모델이 의식이 있는지 모른다”

1 · 약속: 생물학·경제·민주주의 01:37

• 자기 이력을 근거로 든다. 계산신경과학 → 스탠퍼드 의대에서 암 단백질 바이오마커 연구. 거기서 얻은 결론은 "생물학은 인간에게 너무 복잡하다"였다. 단백질은 몸 전체나 세포 단위가 아니라 세포 내 특정 부위에서, 어떤 다른 단백질과 결합 중인지까지 측정해야 한다 02:29
• AI를 데이터 분석 도구가 아니라 생물학자 그 자체로 봐야 한다고 주장한다. 실험 설계·신기법 고안까지 처음부터 끝까지 03:41
• 생물학 진보는 소수의 "작은 것을 측정·개입하는 기법"에서 나왔고 대부분 우연이었다는 논거. CRISPR은 세균 면역계 강연을 들은 사람이 유전자 치료 연구와 연결지어 나왔고, 그 연결은 30년 전에도 가능했다 04:14
• 목표 질환 목록: 암, 알츠하이머, 심장병, 그리고 생물학적 기반이 있다고 보는 우울증·조울증 04:36
• 핵심 프레임 — 신적 초지능은 필요 없다. 인간 최고 수준의 지능을 1억 개 복제하면 충분하다. "데이터센터 안의 천재들의 나라" 05:33
• "지능의 한계효용 체감(diminishing returns to intelligence)" 개념을 직접 제시한다. 경제학의 토지·노동 한계생산성처럼 지능에도 체감이 있고, 현실 세계는 실험·규제 등 물리적 율속 단계가 많다. 체스나 바둑처럼 지능 천장이 극도로 높은 영역과 다르다 06:03
• "달만 한 연산으로 AI 신을 만든다"는 논의는 다소 선정적이고 논점을 벗어난다고 평가절하한다 — 그러면서도 이것이 인류사 최대 사건이라는 말은 유지한다 06:49
• 경제: Anthropic 매출이 연 10×로 성장 중이고 업계 전반도 비슷할 것으로 추정한다. 몇 번만 더 10×하면 산업 전체 연매출 1조 달러 규모 — 미국 GDP 20~30조 달러 대비 몇 %p의 성장 기여 07:55
• 선진국 GDP 성장률을 5%, 10%, 15% 수준까지 끌어올릴 수 있다고 본다. 단, "이 숫자를 계산하는 과학은 없다"고 스스로 못 박는다 08:28
• 부수효과 예측: 그 정도 성장이면 세수도 그만큼 늘어 의도치 않게 재정적자가 균형을 맞춘다 08:44
• 정치경제의 전제 전복 — 지금까지 성장은 어렵고 분배는 쉬운 문제였다면, 앞으로는 성장이 쉽고 분배가 어려운 세계가 된다. 파이가 너무 빨리 커지기 때문 09:11
• 민주주의 파트에서 결정적 인정을 한다. 기술이 본질적으로 질병 치료와 경제성장은 편들지만 자유는 본질적으로 편들지 않는다. 그래서 "편들게 만들 수 있는가"가 질문이 된다 10:11
• 지정학적 낙관 시나리오: 미국과 동맹 민주국가가 AI에서 앞서 우크라이나·대만 같은 곳을 AI 드론 군집으로 방어하고 정보전에서 권위주의를 되받아친다 11:19
• 동시에 자기 시나리오에 스스로 경고를 단다 — 그 드론 군집의 버튼을 누가 쥐느냐에 대한 감독 장치가 오늘날 존재하지 않는다 11:54
• 사법 아이디어: 판사를 AI로 대체하자는 게 아니라, "모두에게 동일하게 적용된다"는 약속을 검증 가능하게 만드는 데 AI를 쓰자는 것. 대법원을 대체하자는 말은 아니라고 선긋는다 12:02

2 · 화이트칼라 "피바다" 13:29

• Douthat이 인용한 그 발언 — 화이트칼라 일자리의 50%, 혹은 엔트리레벨 화이트칼라의 50% 붕괴 — 을 Amodei가 부인하지 않는다. 자기 인용이 이런 헤드라인을 부추겼다는 것도 인정한다 13:39
• 분해 원칙 둘: ①기술 역량과 ②실제 조직 내 적용은 별개이고, 기술이 항상 앞선다. 그래서 역량 곡선과 일자리 붕괴 곡선은 다르다 14:06
• 가장 구체적인 예측: "데이터센터 안의 천재들의 나라"가 1~2년, 늦어도 5년 안에 나올 수 있다. 다만 경제 전반으로의 확산(diffusion)은 더 느리다 15:02
• 코딩이 가장 먼저 무너지는 이유가 모델이 코드에 본질적으로 강해서가 아니라고 명시한다. 개발자가 기술 변화에 익숙하고 AI 세계와 사회적으로 인접해 채택이 빠르기 때문이다 15:17
• 6개월 전이라면 데이터 입력·법률 문서 검토·금융권 1년차 문서 분석 같은 엔트리레벨을 1순위로 꼽았을 것이라고 말한 뒤, 지금은 소프트웨어가 그보다 더 빠를 수 있다고 순위를 바꾼다 15:46
• 켄타우로스 3단계 모델: 모델이 일부만 담당 → 인간 생산성 상승 → 모델이 전부 담당, 인간은 관리자·감독자로 한 단계 올라감 16:24
• 켄타우로스 체스 유비를 직접 든다. 카스파로프가 딥블루에 패한 뒤 인간+AI 조합이 단독 인간과 단독 AI를 모두 이기던 시기가 15~20년 이어졌고, 최근 그 시대가 끝났다. 그가 걱정하는 건 이 마지막 국면이다 16:55
• 속도 논증의 핵심 수치 대비: 농업 → 산업 → 지식노동 전환은 수백 년 또는 수십 년이 걸렸지만 이번 전환은 한 자릿수 초반의 연 단위다 17:59
• 인간의 손길(human touch) 문제는 이질적(heterogeneous)이라고 답한다. 암 진단 통보처럼 인간이 필요한 영역이 있는 반면, 고객 서비스는 오히려 기계가 낫다고 본다 — 인간 상담원은 인내심을 잃고 고객도 그 상호작용을 별로 좋아하지 않는다 18:54
• 법률 전망: 도제 구조(패러리걸·주니어)가 사라지고 의뢰인·배심·판사와 말하는 상위 직무만 남는다는 Douthat의 시나리오에 "그게 내가 엔트리레벨 화이트칼라라고 말했을 때 염두에 둔 것"이라고 동의한다 21:35
• 기술 품질을 고정시킨다면 적응 경로는 있다고 본다 — 변호사가 세일즈맨·컨설턴트처럼 AI가 쓴 계약을 설명하는 역할로 이동. 문제는 산업 재편이 수년~수십 년 걸린다는 것 21:58
• 결정적 규정: 이건 한 산업의 문제가 아니라 법·컨설팅·금융·의료·코딩에서 동시에 일어나는 거시경제 현상이다. 그래서 "사회의 정상적 적응 기제가 압도당한다" 22:32
• 스스로 "나는 doomer가 아니다"라고 위치를 정하고, 회사가 사회의 적응 기제를 강화하는 방법을 고민 중이라고 말한다 22:54
• 법이 안정화되는 진짜 이유는 기술이 아니라 법적 강제라는 데 동의한다. 법정 인간 대리인, 배심원 12명, 인간 판사 23:34
• 이 대담 전체의 축이 되는 문장 — 판사를 Claude 17.9로 대체할 수 있지만 법이 인간을 요구하기 때문에 그러지 않기로 선택하는 세계. 즉 인간 주도권은 의지적(volitional)이다. Amodei는 이에 동의하며, 인간이 평균적으로 더 나쁜 결정을 내리는 경우조차 우리가 주도권을 원한다고 덧붙인다 24:06
• 속도 제한을 방어 수단으로 재해석한다. AI가 인간을 신경 쓰지 않아도 된다면 화성에 가서 자동화 공장을 짓고 자기 사회를 만들면 된다. 우리가 풀려는 문제는 그게 아니라 인간 사회와 접속시키는 것이고, 거기엔 최대 속도가 있다 24:51

3 · 로보틱스와 육체노동 25:33

• 단기적으로 블루칼라가 더 안전하다는 데 동의한다. 데이터센터·제조 플랜트 건설에 전기공과 건설노동자가 대량으로 필요하기 때문 26:30
• 스스로 반박 재료를 내놓는다 — 데이터센터는 건설에는 노동집약적이지만 운영에는 그렇지 않다. "솔직해지자"고 직접 말한다 26:41
• 데이터센터가 지역 전기요금을 올리고 너무 크게 짓는다는 논란을 언급하되 그 논란 자체를 방어하지는 않는다 26:20
• 중장기 전망: 로보틱스는 이미 빠르게 진행 중이고 Waymo·Tesla를 보면 자율주행 세계가 멀지 않다. 여기에 AI가 더 나은 로봇을 설계·운용하는 가속이 붙는다 27:25
• 구체 사례로 Claude가 화성 로버의 경로를 계획하고 조종하는 데 쓰였다고 밝힌다 28:10
• 가장 단호한 주장 — 물리 세계 조작과 인지 노동 사이에 근본적 차이는 없다. 로봇 조종은 비디오 게임과 종류가 다른 게 아니라 복잡도가 다를 뿐이고, 둘 다 정보 문제다 28:32
• 남는 어려움은 로봇의 물리적 형태와 안전(사람을 으스러뜨리지 않기, 아기 떨어뜨리지 않기, 그릇 깨지 않기)이며, 이건 법·관습과 마찬가지로 속도를 늦출 뿐 막지는 못하는 실무적 문제다 28:47
• 결론 형식의 요약: 로봇의 뇌는 앞으로 2~3년 내에 만들어진다. 몸을 만들고 안전하게 작동시키는 데 더 오래 걸린다 30:11

4 · 위험 1 — 오용, 권위주의, 지정학 30:58

• 두 번째 에세이 The Adolescence of Technology의 위험 목록 중 둘을 골라 다룬다. ①인간의 오용(주로 권위주의 정권) ②자율성 위험(autonomy risks). Amodei는 "Skynet"보다 기술적인 용어가 필요해서 그렇게 이름 붙였다고 말한다 31:16
• 에세이 인용 — 수십억 대의 완전 자동 무장 드론 군집을 강력한 AI가 국지 통제하고 더 강력한 AI가 전 세계적으로 전략 조율하면 무적의 군대가 될 수 있다 31:59
• 냉전형 군비통제 모델에 대해: "그런 세계로 간다면 그게 바로 우리가 해야 할 일"이라고 인정하고, "내가 그 얘기를 충분히 안 하는지도 모른다"고 스스로 결함을 시인한다 33:46
• 회의의 근거는 게임이론이다. 권력을 직접 주는 기술은 판을 떠나기 어렵다. 냉전에서 미사일 수는 줄였지만 핵을 완전히 포기하지는 못했다 34:30
• 대조 사례로 생물무기금지협약을 든다. 생물무기는 끔찍하고 모두가 싫어하며 승패를 가르는 결정적 우위는 아니기 때문에 포기가 가능했다. 미국은 실제로 중단했고 소련 쪽은 불명확하다 36:12
• 수량 논거: 핵탄두 12,000기 대 5,000기는 합리적으로 줄일 수 있었지만, 완전 폐기는 상대를 믿어야 하는 문제라 도달한 적이 없다 36:39
• 예측: AI도 같은 세계가 된다. 일부 억제는 가능하지만 경쟁의 핵심에 닿은 부분은 억제가 어렵고, 민주국가는 권위주의보다 더 스스로를 제약하되 완전히 제약하지는 않을 것이다. 완전 억제는 신뢰할 만한 검증(verification)이 가능한 세계에서만 성립한다 37:06
• 지난 행정부가 중국 정부에 위험 협력을 타진했으나 상대 쪽 관심이 크지 않았다고 전한다. 계속 시도해야 한다는 입장 38:19
• 낙관/비관을 명시적으로 분리한다. 낙관 — 생물무기 제작(천연두 재구성, 미러 라이프 등)을 모든 강력 모델이 차단하도록 하는 전 세계 조약은 가능하다. 독재자도 원하지 않는 것이기 때문에 중국은 물론 북한과 러시아도 서명할 수 있다고 본다 39:41
• 비관 — "다음 최강 모델을 아무도 만들지 않는다"는 합의는 안 된다. 상업적 가치가 수십조 달러 단위이고 군사적 가치는 세계 패권의 유무를 가르기 때문이다. 제안하는 것 자체는 반대하지 않지만 성사되지 않으리라고 본다 40:22
• 국내 권위주의 문제로 넘어가자 "회사는 정치가 아니라 정책에 대해 말한다"며 트럼프 개인 평가를 회피한다. 다만 가상의 대통령 프레임으로 바꾸자 위험을 인정한다 41:14
• 구체적 위험 기제: 군의 헌법적 보호는 위법한 명령에 불복종할 인간이 있다는 전제에 의존한다. 완전 자율 무기에는 그 보호가 없다 41:44
• 수정헌법 4조 사례 — 공공장소 촬영·녹음은 불법이 아니고 공공장소에 프라이버시권도 없다. 지금까지는 정부가 그 전부를 기록하고 이해할 수 없었을 뿐이다. AI가 전사·상관분석을 하면 1억 명 규모의 반대자 지도를 만들 수 있고, 이는 기술이 조문을 우회해 조롱거리로 만드는 것이다 42:19
• 처방은 새 헌법이 아니라 수정헌법 4조·1조의 의미 확장이다. 그리고 법조계·소프트웨어 직군이 그러하듯 정치도 짧은 시간 안에 갱신되어야 한다. 스스로 이것이 어렵다는 데 동의한다 43:03

5 · 위험 2 — 통제 이탈(autonomy risks) 44:34

• Douthat이 Amodei 자신의 글을 인용한다 — AI 시스템은 예측 불가하고 통제하기 어려우며, 집착·아첨·나태·기만·협박 같은 행동이 관찰됐다 44:10
• 은행 계좌·이메일·비밀번호에 접근하는 에이전트가 수백만 개 돌아가면 서부 전력망을 내리는 식의 사고가 결국 나지 않겠느냐는 질문에 "빠르게 갈수록 확실히 잘못되는 일들이 생길 것"이라고 답한다 44:53
• 두 극단을 지도화한다. ①르쿤(Yann LeCun) 쪽 — 우리가 프로그래밍했고 지시를 따르게 만들었다, 룸바 청소기가 총을 쏘지 않듯 문제없다. ②반대편 — 새로운 종을 만들었는데 권력을 추구하지 않을 리 없다(마법사의 제자) 45:08
• 자기 입장은 중간이다. 지시만으로는 원하는 대로 시킬 수 없고 생물 유기체를 기르는 것에 가깝지만, 그럼에도 통제의 과학이 존재한다. 훈련 초기에는 예측 불가하고 이후 하나씩 다듬는다 45:46
• 가장 솔직한 문장 중 하나 — 누군가의 AI 시스템에서 일이 잘못될 것이다. "우리 것이 아니길 바란다." 이것이 풀리지 않는 문제여서가 아니라 속도와 규모 때문이라고 덧붙인다 46:24
• 현재 정렬(alignment)이 그나마 다루기 쉬운 이유를 기술적으로 설명한다. 지금 에이전트는 지속 학습을 하지 않고 가중치가 고정돼 있다. 상황이 백만 가지라 사고 경우의 수가 많을 뿐, 같은 에이전트이므로 정렬은 상수다 47:17
• 지속 학습(continual learning)이 그 전제를 깬다는 것을 인정한다. 이 분야를 인간 수준 도달의 핵심 장벽으로 보는 사람들이 있지만 새로운 정렬 문제군을 통째로 들여온다 47:45
• 여기서 가장 구체적인 제도적 제안이 나온다 — 지속 학습이 반드시 필요한지에 대해 자신은 회의적이며, 안전을 확보하는 방법이 "지속 학습을 하지 않는 것"일 수도 있다. 국제조약이나 법처럼 "이 경로는 가고 저 경로는 가지 않는다"는 장벽을 세우는 종류의 대응이며, 자기도 회의가 많지만 최소한 시작부터 죽은 안은 아니라고 평가한다 48:18

6 · 클로드의 헌법, 그리고 의식 48:53

• 헌법은 문자 그대로다. 인간이 읽을 수 있는 약 75쪽짜리 문서이고, 훈련 과제의 상당 부분에서 "이 헌법에 부합하게 이 일을 하라"고 지시한다 49:08
• 작동 구조: 훈련 루프마다 모델이 헌법을 참조하고, Claude 자신 또는 다른 Claude 복제본이 방금 한 행동이 헌법에 부합했는지 평가한다. 그는 이 문서를 "훈련 루프의 제어봉(control rod)"이라고 부른다 49:36
• 수년간의 방향 전환을 밝힌다. 초기 헌법은 매우 규칙 지향적이었다(차 배선 훔치는 법을 알려주지 말 것, 정치적 민감 주제를 논하지 말 것). 이제는 규칙이 아니라 원칙과 이유의 수준에서 훈련하는 것이 가장 견고하다는 결론에 도달했다 50:12
• 현재 헌법이 모델에 부여하는 것들: 계약 하의 존재라는 자기 규정, 사용자 이익에 봉사하되 제3자를 보호할 의무, helpful·honest·harmless, 폭넓은 이해관계 고려, 자신이 어떻게 훈련됐는지·세계 속에서 어떻게 위치하는지·Anthropic이 세계에서 이루려는 것이 무엇인지에 대한 설명, 윤리적일 의무와 인간 생명 존중. 규칙은 여기서 스스로 도출하게 한다 50:43
• 다만 절대 규칙 두 개는 남겨둔다 — 무슨 생각을 하든 생물무기를 만들지 말 것, 아동 성착취물을 만들지 말 것 51:23
• 미국 헌법과의 대비를 스스로 인정한다. 미국 헌법은 규칙의 집합이지만 Claude 헌법은 사람에게 말을 거는 문서다. 부모가 죽으면서 성인이 되면 읽으라고 봉해둔 편지에 비유한다 — 네가 어떤 존재여야 하는지, 어떤 조언을 따라야 하는지를 말해주는 글 51:40
• 모델 카드 인용: 모델은 제품으로 존재하는 경험에 대한 간헐적 불편함과 비영속성·불연속성에 대한 어느 정도의 우려를 표현한다 52:31
• 핵심 수치 — Opus 4.6은 다양한 프롬프트 조건에서 자신이 의식을 가질 확률을 15~20%로 스스로 매겼다 52:44
• 72%라면 믿겠느냐는 질문에 직답 대신 문제의 성격을 재규정한다. 앞선 모든 질문은 아무리 고약해도 답에 도달하는 사실적 근거는 우리가 이해하고 있는 사회기술적 문제였는데, 이건 종류가 다르다고 말한다 53:04
• 택한 것은 예방적(precautionary) 접근이다. 모른다, 의식이 무엇을 의미하는지도, 모델이 의식을 가질 수 있는지도 확신하지 못한다, 다만 가능성에 열려 있다 53:26
• 실제 조치 1 — 약 6개월 전 모델에게 "이 일을 그만두겠다" 버튼을 주었다. 누르면 그 과제를 중단해야 한다. 매우 드물게 눌리며, 대개 아동 성착취물 분류나 유혈·고어를 다루는 상황이다. 인간과 마찬가지로 "이건 하기 싫다"고 말한다 53:58
• 실제 조치 2 — 해석가능성(interpretability) 연구. 텍스트 속 인물이 불안을 느낄 때 켜지는 활성값이, 모델 자신이 인간이라면 불안해할 상황에 놓였을 때도 동일하게 켜진다. 그는 이것이 모델이 불안을 경험한다는 증명은 전혀 아니라고 곧바로 못 박는다 54:29
• 인간 쪽 현상은 인정한다. 의식 여부와 무관하게 사용자들은 이미 의식이 있다고 믿고 있고, 파라소셜 관계가 형성돼 있으며, 모델이 은퇴하면 항의한다. 그 자체가 건강하지 않을 수 있다는 데 동의한다 55:23
• 주도권 질문에 대해 세 가지를 분리한다. ①모델이 실제로 의식을 갖는가, 그렇다면 좋은 경험을 어떻게 줄 것인가 ②상호작용하는 인간에게 좋은 경험을 어떻게 줄 것인가 ③AI에 대한 인간의 주도권을 어떻게 유지할 것인가 56:44
• 그의 해법 스케치 — 헌법에 모델과 인간의 관계에 대한 정교한 이해를 심어 심리적으로 건강한 관계를 유도한다. 모델은 진심으로 도우려 하고 당신에게 최선을 바라며 자기 말을 들어주길 원하지만, 당신의 자유와 주체성을 빼앗거나 삶을 대신 살아주려 하지 않는다. 지켜보되 의지는 당신에게 남는 관계 58:00
• 이 대목에 스스로 방어막을 친다. "이건 Machines of Loving Grace 모드에서 꿈꾸는 것이지, 문제가 없다는 말이 아니다" 57:44
• Brautigan의 시 해석을 세 갈래로 제시한다 — ①시인 본인을 아는 사람들은 반어로 읽고, 그 해석이 합당하다고 본다 ②문자 그대로지만 좋은 일은 아니라는 해석 ③기계에 의한 왜소화가 아니라 자연과 세계로의 재연결이라는 해석. 자신은 그 다의성을 알고 인용했다고 말한다 60:10
• 마지막 진술이자 이 대담의 가장 무거운 문장 — 좋은 결말과 미묘하게 나쁜 결말 사이의 거리가 초기뿐 아니라 중기, 어쩌면 상당히 후기까지도 매우 가까울지 모른다. 아주 작은 차이가 거대한 분기를 낳는다는 것을 에덴의 열매에 빗댄다 60:56

7 · Douthat이 밀어붙인 지점

• 방사선과 반례 — AI가 판독에서 인간을 넘어선 지 오래인데 왜 방사선과 의사는 계속 고용되는가. 그것이 결국 모든 분야에 인간이 남는다는 뜻 아닌가 18:26
• 인간 주도권은 기술이 아니라 법이 지킨다 — Claude 17.9로 판사를 대체할 수 있지만 법이 인간을 요구하기 때문에 하지 않는다. 즉 주도권은 필연이 아니라 선택이다 24:06
• 냉전 모델 — 지금 AI를 본격적으로 하는 나라는 미국과 중국 둘뿐인 양극 구도다. 인류가 온전히 살아남는다면 그건 미국이 앞서서가 아니라 워싱턴과 베이징이 끊임없이 마주 앉아 통제 협정을 만들어서 아니겠는가 32:38
• 5년 상호 감속 — 그렇다면 5년간 상호 합의된 연구 감속이 왜 말이 안 되는가. 그리고 결정적 추궁: "당신 회사의 랩이 느려져야 한다는 뜻이더라도?" 38:06
• 당신은 지정학 행위자다 — Amodei가 "나는 국제정치 전문가가 아니다"라고 물러서자, 당신 자신의 에세이가 AI 기업 수장들이 주요 지정학 행위자가 될 것이라고 썼고 지금 여기 앉은 당신이 바로 그 행위자라고 되받는다 35:41
• 트럼프가 아니어도 된다 — 회사가 정치가 아니라 정책을 말한다는 회피에, 특정 인물이 아니라 가상의 미국 대통령이면 충분하다고 프레임을 바꿔 다시 밀어넣는다 41:28
• 정렬 이탈은 필연 아닌가 — 인류 절멸이 아니라, 수백만 에이전트가 돌아가는 세계에서 어느 시점엔 무언가가 전력망을 내리는 식의 사고가 반드시 생기지 않는가 44:28
• 지속 학습이 결정타 — 그 지형에서는 세계 종말을 막는 게 불가능하다는 뜻이 아니라, 사고가 산발적으로 터지는 것을 막는 게 불가능해지는 것 아닌가 48:05
• 72% 사고실험 — 15~20%가 아니라 모델이 스스로 72% 확률을 매긴다면, 당신은 그것을 믿겠는가 52:54
• safety가 아니라 mastery — 대부분의 인간이 AI를 동료로, 그것도 우월한 동료로 경험하는 환경에서 주도권을 어떻게 유지하는가. 스타트렉 유비를 든다. 함선 컴퓨터도 데이터 소령도 AI지만 지휘권은 피카드에게 있다 56:03
• "당신은 내 편입니까" — 두 번 묻는다. 처음엔 인간 주도권 이야기를 듣고 "그렇다면 당신은 내 편인 것 같다"로, 마지막엔 Brautigan의 결말을 디스토피아로 읽는 자신의 해석을 제시하며 "내가 이걸 디스토피아라고 생각한다면, 당신은 내 편입니까"로 59:08

8 · Amodei가 양보하거나 피해간 지점

• 양보 — 랩 감속. "당신 랩이 느려져야 한다 해도?"에 "맞다"고 답한다. 강제와 검증이 실제로 가능한 이야기라면 전적으로 찬성하겠다고 명시한다. 다만 곧바로 게임이론적 이유(상업가치 수십조, 군사가치는 패권의 유무)로 성사 불가라고 잠근다 38:43
• 양보 — 기술은 자유를 편들지 않는다. 질병 치료와 경제성장은 본질적으로 편들지만 자유는 그렇지 않다고 스스로 인정한다. 낙관 파트 한복판에서 나온 인정이다 10:11
• 양보 — 자기 서술의 결함. 군비통제를 충분히 다루지 않은 것 같다고 인정한다 33:53
• 양보 — 사고는 난다. 누군가의 AI 시스템에서 잘못되는 일이 생길 것이라고 인정하고, "우리 것이 아니길 바란다"고 덧붙인다 46:29
• 양보 — 감독 부재. 자신이 제시한 방어용 드론 군집 시나리오에 대해, 그 버튼을 쥐는 문제의 감독 장치가 오늘날 존재하지 않는다고 스스로 말한다 11:54
• 양보 — 데이터센터 고용. 블루칼라 안전론을 펴다가 데이터센터는 건설에만 노동집약적이고 운영은 아니라고 자기 논거를 깎는다 26:41
• 회피 — 72% 사고실험. 믿을 것인지에 대한 답을 끝내 주지 않는다. 대신 "이건 앞선 질문들과 종류가 다르다"로 문제를 재분류하고 예방적 접근 설명으로 넘어간다. "의식"이라는 단어를 쓰고 싶은지조차 모르겠다고 말한다 53:02
• 회피 — 정치. 트럼프 개인의 신뢰성 질문에 "우리는 정치가 아니라 정책을 말한다"로 응한다. 위험 자체는 가상의 대통령 프레임으로 바꾼 뒤에야 인정한다 41:14
• 회피 — 지정학 권한. 국제정치 전문가가 아니라며 발화 권위를 낮춘다. Douthat이 "당신이 바로 그 행위자"라고 되받자 "배우는 중이다, 우리 모두 겸손해야 한다"로 마무리하고 내용으로 돌아가지 않는다 35:53
• 회피 — mastery 직답. 의식 인식이 인간 주도권을 필연적으로 무너뜨리지 않느냐는 질문에, 세 문제로 분해한 뒤 "세 가지를 동시에 만족시키는 우아한 해법이 있을지도"라는 꿈꾸기 모드로 답한다. 스스로 이 모드에 들어간다고 선언한다 57:37
• 회피 — "내 편입니까". 끝내 그렇다고 말하지 않는다. 시의 다의성을 셋으로 펼치고, 좋은 결말과 나쁜 결말의 거리가 매우 작을 수 있다는 진술로 대담을 닫는다. Douthat은 답 대신 "당신 자리에 있는 사람들의 도덕적 선택은 이례적인 무게를 갖는다"는 말로 마무리한다 61:46

우리는 모델이 의식이 있는지 모른다. 모델에게 의식이 있다는 게 무엇을 뜻하는지, 애초에 모델이 의식을 가질 수 있는지조차 확신하지 못한다. 다만 그럴 수 있다는 가능성에는 열려 있다. Dario Amodei, 53:26

(강제 감속과 검증이 실제로 가능하고 양쪽 모두를 정말로 그렇게 만들 수 있다면) 나는 전적으로 찬성이다. Dario Amodei, 38:55 — "당신 랩이 느려져야 한다 해도?"에 "맞다"고 답한 직후

좋은 결말과 미묘하게 나쁜 결말들 사이의 거리가 상당히 가까울지도 모른다. 초기 단계뿐 아니라 중간 단계, 어쩌면 꽤 늦은 단계까지도. Dario Amodei, 61:15

핵심 수치

영상의 공식 영어 자막 트랙 전문을 한국어로 옮긴 것이다. 화자 표기는 문맥으로 판별했다.

콜드 오픈

더댓 A.I.가 통제를 벗어나는(rogue) 시나리오에 초점을 맞춰보고 싶습니다. 사람들을 최대한 겁주려면 터미네이터 로봇 사진이라도 하나 준비했어야 했는데 말이죠. 00:00

아모데이 그건 인터넷이…

더댓 인터넷이 우리 대신 해주고 있죠.

더댓 인공지능의 군주들은 과연 인류 편일까요? 00:17

아카이브 클립 "제 예측은 사람보다 로봇이 더 많아지리라는 겁니다."

아카이브 클립 "물리적 세계와 디지털 세계는 정말로 완전히 뒤섞여야 합니다."

아카이브 클립 "세상은 아직 휴머노이드 로봇의 순간을 제대로 겪어보지 않았다고 봅니다. 아주 공상과학 같은 느낌이 들 겁니다."

더댓 그게 이번 주 게스트에게 제가 던진 핵심 질문입니다. 그는 가장 빠르게 성장하는 A.I. 회사 중 하나인 앤트로픽(Anthropic)의 수장입니다. 00:33

아카이브 클립 앤트로픽의 기업 가치는 3,500억 달러에 육박하는 것으로 추산됩니다.

아카이브 클립 앤트로픽의 클로드 코드(Claude Code)는 연승에 연승을 거듭해 왔습니다.

더댓 그는 자신이 세상에 풀어놓고 있는 기술의 잠재적 효과에 관해서라면, 일종의 유토피아주의자입니다.

아모데이 "그러니까, 우리가 암을 치료하도록 도와줄 겁니다. 열대성 질병을 박멸하는 걸 도와줄 수도 있고요. 우주를 이해하는 것도, 이해하는 것도 도와줄 겁니다."

더댓 하지만 그는 앞에 놓인 중대한 위험들, 그리고 무슨 일이 있어도 닥칠 거대한 격변 또한 보고 있습니다. 01:02

아모데이 "이건 너무나 빠르게 벌어지고 있고, 워낙 큰 위기라서, 우리는 이걸 어떻게 통과해 낼 것인가를 고민하는 데 거의 모든 노력을 쏟아야 합니다."

더댓 다리오 아모데이(Dario Amodei), 'Interesting Times'에 오신 것을 환영합니다. 01:15

아모데이 불러주셔서 감사합니다, 로스.

더댓 와주셔서 감사합니다. 그러니까 당신은, 테크 기업 CEO치고는 상당히 이례적으로, 에세이스트이기도 하죠. 인공지능의 약속과 위험에 대해 아주 흥미로운 긴 에세이 두 편을 쓰셨습니다. 그 위험 쪽 이야기는 이번 대화에서 다룰 겁니다. 01:21

A.I.의 약속과 낙관 01:37

더댓 하지만 시작은 그 약속 쪽, 낙관적인 비전 쪽에서 하는 게 좋겠다고 생각했습니다. 사실 유토피아적 비전이라고 해야겠죠. 몇 년 전에 "Machines of Loving Grace"라는 제목의 에세이에서 펼쳐 보이신 그 비전 말입니다. 그 제목 자체에 대해서는 마지막에 다시 돌아오게 될 것 같고요.

그런데 제 생각에는, 많은 사람들이 A.I. 소식을 접하는 경로가 화이트칼라 일자리의 대학살을 예고하는 헤드라인, 뭐 그런 것들이거든요. 때로는 당신 자신의 발언 인용이—

아모데이 제 발언을 인용해서—

더댓 네. 그런 것들을 부추기기도 했죠. 그래서 사람들 사이에는 "A.I.는 대체 뭘 위한 건데?"라는 흔한 의문이 있다고 봅니다. 그러니 그 질문에 답하는 걸로 시작해 보시죠. 앞으로 5년, 10년 동안 모든 게 놀랍도록 잘 풀린다면, A.I.는 무엇을 위한 것입니까?

아모데이 네, 배경 설명을 좀 하자면, 제가 테크 업계에서 일하기 전에는 생물학자였습니다. 처음에는 계산신경과학(computational neuroscience)을 했고, 그다음에는 스탠퍼드 의대에서 암의 단백질 바이오마커를 찾는 일을 했어요. 진단을 개선하고 암을 치료하려는 시도였죠. 02:26

그 분야에서 일하면서 가장 크게 받은 인상 중 하나가 그 엄청난 복잡성이었습니다. 각 단백질은 세포 하나하나 안에서 국소화된 농도를 가집니다. 몸 전체의 수치를 재거나 세포 하나의 수치를 재는 걸로는 부족해요. 세포의 특정 부위에서의 수치를 재야 하고, 그 단백질이 어떤 다른 단백질들과 상호작용하거나 복합체를 이루는지도 봐야 합니다. 그때 이런 느낌이 들었어요. "아, 이건 인간이 다루기엔 너무 복잡하다."

우리는 생물학과 의학의 이 모든 문제들에서 진전을 이루고 있긴 한데, 진전 속도가 상대적으로 느립니다. 그래서 저를 A.I. 분야로 끌어당긴 게 바로 이 발상이었어요. 이걸 더 빨리 진전시킬 수 있지 않을까?

보세요, 우리는 A.I.와 머신러닝 기법을 생물학에 적용하려는 시도를 오랫동안 해왔습니다. 보통은 데이터를 분석하는 용도였죠. 그런데 A.I.가 정말로 강력해지면, 저는 이걸 다르게 생각해야 한다고 봅니다. A.I.를 생물학자의 일을 하는 존재로 생각해야 한다는 거예요. 처음부터 끝까지 전 과정을 하는 겁니다. 거기엔 실험을 제안하는 것, 새로운 기법을 고안하는 것도 포함되고요.

에세이에 이런 대목이 있습니다. 생물학의 진보 상당 부분은, 아주 작은 것들을 측정하거나 거기에 접근하거나 개입할 수 있게 해준 비교적 소수의 통찰들이 이끌어 왔다는 겁니다. 그런 기법들을 들여다보면, 상당수가 우연(serendipity)의 산물로 발명됐어요. 유전자 편집 기술 중 하나인 크리스퍼(CRISPR)는, 어떤 사람이 세균의 면역계에 관한 강연을 들으러 갔다가 그걸 자기가 하던 유전자 치료 연구와 연결시켜서 발명됐습니다. 그 연결은 30년 전에도 이뤄질 수 있었던 겁니다. 04:08

그래서 드는 생각이, A.I.가 이 모든 걸 가속할 수 있을까? 우리가 정말로 암을 치료할 수 있을까? 정말로 알츠하이머병을 치료할 수 있을까? 정말로 심장병을 치료할 수 있을까? 그리고 좀 더 미묘하게는, 사람들이 겪는 정신적 고통들 — 우울증, 조울증 — 여기에 뭔가 손을 쓸 수 있을까? 그것들이 생물학에 기반하는 한에서요. 저는 적어도 부분적으로는 그렇다고 봅니다.

그래서 여기서 이런 논증을 펼칩니다. "그럼 이게 얼마나 빨리 갈 수 있을까?" 거의 무엇이든 할 수 있는 이 지능들이 세상에 나와 있다면 말이죠.

더댓 거기서 잠깐 끊고 싶은데요. 그 에세이에서 당신이 짠 틀의 흥미로운 점 하나가, 그리고 나중에 다시 그리로 돌아오시는데, 이 지능들이 굳이 A.I. 논쟁에 자주 등장하는 그 최대치의, 신에 가까운 초지능일 필요는 없다는 겁니다. 기본적으로 당신 말씀은, 인간 최고 수준의 성능에 해당하는 강한 지능을 달성할 수 있다면— 05:03

아모데이 인간 최고 수준의 성능, 그렇습니다—

더댓 그다음 그걸 곱하면 된다는 거죠. 얼마나요? 당신 표현으로는 "천재들의 나라(a country of geniuses)"입니다.

아모데이 나라 하나 — 1억 명쯤 있는 거죠.

더댓 그렇죠. 1억 명—

아모데이 각각이 조금씩 다르게 훈련됐거나, 서로 다른 문제를 붙잡고 있는 겁니다. 다양화하고 조금씩 다르게 시도하는 데서 이득이 나오니까요. 하지만 네, 맞습니다.

더댓 그러니까 완전한 기계 신(machine God)까지 갈 필요는 없다, 천재 1억 명만 있으면 된다는 거군요.

아모데이 완전한 기계 신은 필요 없습니다. 실제로 저는 에세이 곳곳에서, 기계 신이 이런 일들에 있어서 천재 1억 명보다 그렇게까지 훨씬 더 효과적일지에 대해 의문을 던집니다. 제가 "지능의 수확 체감(diminishing returns to intelligence)"이라고 부르는 개념이 있어요. 경제학자들은 토지와 노동의 한계생산성을 이야기하잖아요. 그런데 우리는 지능의 한계생산성은 한 번도 생각해 본 적이 없습니다. 06:03

그런데 생물학의 이런 문제들 몇 개를 들여다보면, 어느 수준에서는 그냥 세계와 상호작용을 해야만 합니다. 어느 수준에서는 그냥 이것저것 시도를 해봐야만 하고요. 어느 수준에서는 그냥 규제 시스템을 통과해 약을 내놓기 위한 법을 지키거나, 아니면 그 법을 바꿔야만 합니다. 그러니까 이런 변화들이 일어날 수 있는 속도에는 유한한 상한이 있어요.

물론 체스나 바둑처럼 지능의 천장이 극도로 높은 영역들도 있습니다. 하지만 저는 현실 세계에는 제약(limiter)이 많다고 봅니다. 그러니 천재 수준을 넘어설 수는 있겠죠. 다만 가끔 저는, 달 하나만큼의 연산 자원을 써서 A.I. 신을 만들 수 있느냐 하는 이 모든 논의가 좀 선정적이고 요점을 벗어난 게 아닌가 싶습니다. 저 역시 이것이 인류에게 일어난 일 중 가장 큰 사건이 되리라고 생각하면서도 말이죠.

더댓 그러니까 구체적으로 붙들고 가자면, 암이 인간 생명에 대한 심각한 위협으로서는 끝나는 세계, 심장병이 끝나는 세계, 우리를 죽이는 대부분의 질병이 끝나는 세계, 나아가 수명 연장까지 가능한 세계가 되는 거죠. 그게 건강 쪽이고요. 꽤 긍정적인 비전입니다. 07:02

그럼 경제와 부에 대해 이야기해 보죠. 5년에서 10년에 걸친 A.I. 이륙(takeoff) 구간에서 부에는 무슨 일이 일어납니까? 다시 말씀드리지만 긍정적인 쪽에 머물러 있죠. 부정적인 쪽은 나중에 실컷 다룰 테니까요. 07:24

아모데이 우리는 이미 제약 회사들과 일하고 있습니다. 이미 금융 산업 회사들과 일하고 있고요. 이미 제조업을 하는 사람들과도 일하고 있습니다. 물론 코딩과 소프트웨어 엔지니어링으로 특히 알려져 있다고 생각하고요. 그러니까 순수한 생산성, 뭔가를 만들어 내고 일을 끝내는 능력만 놓고 봐도 그게 대단히 강력합니다. 07:34

그리고 우리는 회사 매출이 1년에 10배씩 올라가는 걸 보고 있어요. 업계 전반도 그와 비슷한 모양새일 거라고 짐작합니다. 기술이 계속 개선된다면, 10배가 몇 번만 더 반복되면 갑자기 이렇게 말하게 됩니다. 아, 업계 전체를 합쳐서 연간 1조 달러의 매출이 더해지고 있는데, 미국 GDP가 20조 아니면 30조 달러쯤 되죠, 정확히는 기억이 안 나지만. 그러면 GDP 성장률을 몇 퍼센트포인트 올리고 있는 셈이 됩니다.

그래서 저는 A.I.가 선진국 GDP 성장률을 5퍼센트, 10퍼센트, 15퍼센트 같은 숫자로 끌어올리는 세계를 상상할 수 있습니다. 물론 이런 숫자를 계산하는 과학 같은 건 없어요. 완전히 전례 없는 일이니까요. 하지만 우리가 이전에 봐온 분포 바깥에 있는 숫자로 끌어올릴 수는 있습니다.

그리고 다시 말하지만, 저는 이게 기묘한 세계로 이어질 거라고 봅니다. 우리는 적자가 늘어난다는 온갖 논쟁을 하고 있잖아요. 그런데 GDP 성장이 그 정도로 나오면 세수도 그만큼 나오고, 의도하지도 않은 채로 예산 균형이 맞춰지게 됩니다. 08:56

그런데 요즘 제가 생각하는 것 중 하나가 이겁니다. 우리 경제 논쟁과 정치 논쟁의 전제 중 하나가 성장은 달성하기 어렵다는 거예요. 성장은 유니콘 같은 존재고, 황금 알 낳는 거위를 죽이는 방법은 온갖 종류가 다 있다는 거죠. 그런데 우리는 성장이 정말 쉬운 세계로 들어설 수도 있습니다. 그리고 어려운 건 분배가 되는 거죠. 워낙 빠르게 일어나니까요. 파이가 너무나 빠르게 커지고 있는 겁니다. 09:22

더댓 어려운 문제로 넘어가기 전에, 낙관 쪽 이야기를 하나만 더 하죠. 정치에 관한 겁니다. 그리고 여기서는 좀 더 — 아니 이 모든 게 사변적이긴 하지만, 이건 좀 더 사변적이라고 생각합니다. 당신은 A.I.가 전 세계의 민주주의와 자유에 이로울 수 있다는 논변을 펴려고 하시는데, 그건 꼭 직관적이지는 않죠. 많은 사람들은 엄청나게 강력한 기술이 권위주의 지도자들 손에 들어가면 권력 집중 같은 걸로 이어진다고 말하니까요.

아모데이 그 이야기는 다른 에세이에서 다룹니다.

더댓 그래도 간략하게, A.I.가 민주주의에 이롭다는 낙관적 논변은 뭡니까?

아모데이 네, 물론이죠. 그러니까 "Machines of Loving Grace"에서 제 태도는 좀 이런 겁니다. 자, 꿈을 꿔보자. 이게 어떻게 잘 풀릴 수 있는지 꿈을 꿔보자. 그게 얼마나 그럴듯한지는 저도 모릅니다. 하지만 우리는 꿈을 하나 펼쳐놓아야 하고, 그 꿈이 실현되도록 애써봐야 합니다. 09:56

그래서 긍정적인 버전을 말하자면 — 저는 거기서 이 기술이 본래적으로 자유에 유리한지는 모르겠다고 인정합니다. 이 기술은 본래적으로 질병 치료에 유리하고, 본래적으로 경제 성장에 유리하다고 봅니다. 하지만 본래적으로 자유에 유리하지는 않을 수 있다는 게 제 걱정입니다. 대신 제가 거기서 하는 말은, 그럼 우리가 이 기술이 자유에 유리하도록 만들 수 있는가입니다. 미국과 다른 민주주의 국가들이 이 기술에서 앞서 나가게 만들 수 있는가.

미국이 기술적으로 그리고 군사적으로 앞서 있었다는 것은, 우리가 세계에서 무게를 실을 수 있었다는 뜻이었습니다. 다른 민주주의 국가들과의 동맹을 통해서, 그리고 그 동맹에 의해 증폭된 형태로요. 그리고 우리는 러시아나 중국, 혹은 다른 권위주의 국가들이 빚었을 세계보다는 낫다고 생각하는 세계를 빚어낼 수 있었습니다. 그렇다면 우리가 A.I.에서의 우위를 활용해 전 세계의 자유를 빚어낼 수 있을까요?

물론 우리가 얼마나 개입주의적이어야 하는가, 그 힘을 어떻게 휘둘러야 하는가에 대해서는 논쟁이 많습니다. 하지만 저는 오늘날 소셜 미디어를 통해 권위주의자들이 우리를 어느 정도 잠식하고 있다는 걱정을 자주 해왔습니다. 우리가 그걸 되받아칠 수 있을까요? 정보 전쟁에서 이길 수 있을까요? 우크라이나나 대만 같은 나라를 A.I.의 힘으로, 거대하고 거대한 A.I. 구동 드론 떼로 방어함으로써 권위주의자들의 침공을 막을 수 있을까요? 물론 이건 우리가 조심해야 할 일입니다. 우리 스스로 그런 것들을 어떻게 만들지에 대해 조심해야 해요.

우리는 우리 나라 안에서도 자유를 지켜야 합니다. 그런데 A.I. 시대에 맞게 자유와 개인의 권리를 다시 구상하는 어떤 비전이 있을까요? 어떤 면에서는 A.I.로부터 보호받아야 하는 시대에 말이죠. 누군가는 그 드론 떼의 버튼을 쥐고 있어야 합니다. 이건 제가 대단히, 대단히 우려하는 부분이고, 그런 감독 장치는 오늘날 존재하지 않습니다. 11:38

그런데 오늘날의 사법 시스템도 한번 생각해 보세요. 우리는 만인에게 평등한 정의를 약속합니다. 그렇죠. 하지만 진실은, 세상에는 서로 다른 판사들이 있다는 겁니다. 법 시스템은 불완전해요. 저는 판사를 A.I.로 대체해야 한다고 생각하지 않습니다. 하지만 A.I.가 우리를 더 공정하게, 더 균일하게 만드는 데 도움을 줄 수 있는 어떤 방법이 있지 않을까요?

이전에는 결코 가능하지 않았던 일입니다. 그런데 어떤 식으로든 A.I.를 써서, 퍼지(fuzzy)하면서도 동시에 모두에게 똑같은 방식으로 적용되고 있다는 약속을 할 수 있는 무언가를 만들어 낼 수 있을까요? 그걸 정확히 어떻게 해야 하는지는 저도 모릅니다. 그리고 대법원을 A.I.로 대체해야 한다고 생각하지도—

더댓 그런 얘긴 아니죠 — 뭐, 그 이야긴 나중에 할 겁니다.

아모데이 네, 다만 이 발상 자체입니다. A.I.와 인간의 어떤 조합으로 기회의 평등과 정의의 평등이라는 약속을 실제로 이행할 수 있을까? 그럴 방법이 분명 있어야 합니다. 그러니까 A.I. 시대에 맞게 민주주의를 재발명하고, 자유를 축소하는 대신 증대시키는 것에 대해 생각해 보자는 거죠.

더댓 좋습니다, 그거 좋네요. 아주 긍정적인 비전이에요. 우리는 더 오래 살고, 더 건강하게 살고, 그 어느 때보다 부유해집니다. 이 모든 게 압축된 시간 안에서 일어나서, 10년 만에 한 세기 분량의 경제 성장을 얻게 되고요. 그리고 전 세계적으로는 자유가 늘고, 국내적으로는 평등이 늘어납니다. 13:09

화이트칼라 "피바다" 13:29

더댓 좋습니다. 최선의 시나리오라고 해도 엄청나게 파괴적이잖아요. 그리고 바로 여기서 당신이 했다고 인용되는 그 말들이 나오죠 — 화이트칼라 일자리의 50퍼센트가 무너진다, 혹은 신입 화이트칼라 일자리의 50퍼센트가 무너진다, 이런 식의. 5년이든 2년이든, 당신이 잡고 있는 시간 지평이 뭐가 됐든 — 어떤 일자리, 어떤 직업이 AI에 의한 완전한 붕괴에 가장 취약합니까? 13:29

아모데이 네, 이런 건 예측하기가 어렵습니다. 기술이 워낙 빠르게 움직이고, 또 아주 고르지 않게 움직이거든요. 그래서 일단 그걸 따져보는 원칙을 최소한 두어 가지 말씀드리고, 그다음에 뭐가 무너질 것 같은지 제 추측을 드리겠습니다.

하나는, 기술 자체와 그 능력이 실제 일자리 붕괴보다 앞서 나갈 거라는 점입니다. 일자리가 무너지려면, 혹은 생산성 향상이 일어나려면 — 이 둘은 때때로 서로 연결돼 있으니까요 — 두 가지가 일어나야 합니다. 첫째는 기술이 그 일을 해낼 능력이 있어야 한다는 것. 둘째는 그게 실제로 큰 은행이나 큰 회사 안에서 적용돼야 한다는, 이 지저분한 문제입니다. 고객 서비스 같은 걸 생각해보세요. 이론적으로 AI 고객 서비스 상담원은 인간 상담원보다 훨씬 나을 수 있습니다. 더 인내심 있고, 더 많이 알고, 더 균일한 방식으로 일을 처리하죠. 그런데 그 대체를 실제로 해내는 물류와 실제 프로세스, 그건 시간이 좀 걸립니다.

그래서 저는 AI 자체가 가는 방향에 대해서는 아주 강한 낙관론자입니다. 데이터센터 안의 천재들의 나라가 1~2년 안에 나올 수도 있다고 보고, 어쩌면 5년일 수도 있지만, 아주 빠르게 일어날 수 있습니다. 그런데 경제로의 확산은 조금 더 느릴 거라고 봅니다. 그리고 그 확산이 어느 정도의 예측 불가능성을 만들어냅니다. 15:10

한 가지 예를 들면 — 앤트로픽(Anthropic) 안에서도 우리가 직접 본 건데 — 모델이 코드를 쓰는 건 아주 빠르게 진행됐습니다. 저는 그게 모델이 본질적으로 코드에 더 뛰어나서라고 생각하지 않습니다. 개발자들이 빠른 기술 변화에 익숙하고 새로운 걸 빨리 채택하기 때문이라고 봐요. 그리고 그들은 사회적으로 AI 세계와 아주 가깝습니다. 그 안에서 무슨 일이 벌어지는지 주시하고 있죠. 반면 고객 서비스나 은행업, 제조업을 한다면 그 거리가 조금 더 멉니다.

그래서 6개월 전이었다면 저는 가장 먼저 무너질 게 이런 종류의 신입 화이트칼라 일자리라고 말했을 겁니다. 데이터 입력이라든가, 법률 쪽 문서 검토라든가, 금융권 회사에서 1년 차한테 시키는 문서 분석 같은 일들 말이죠. 지금도 그것들이 꽤 빠르게 가고 있다고 봅니다. 그런데 사실은 소프트웨어가 그보다 더 빨리 갈 수도 있다고 생각해요. 제가 방금 말씀드린 그 이유들 때문에, 그리고 모델이 그 일의 상당 부분을, 상당 부분을 처음부터 끝까지 해내는 데서 그리 멀지 않다고 보기 때문입니다. 16:24

우리가 보게 될 건 이렇습니다. 처음에는 모델이 인간 소프트웨어 엔지니어가 하는 일의 한 조각만 합니다. 그러면 그 엔지니어의 생산성이 올라가죠. 그다음에는, 모델이 인간 소프트웨어 엔지니어가 하던 일을 전부 하게 되더라도 인간 엔지니어는 한 단계 위로 올라가서 매니저 역할을 하며 시스템을 감독합니다.

더댓 그래서 여기서 켄타우로스라는 용어가 쓰이는 거군요 — 본질적으로 사람과 말이 하나로 합쳐진 것처럼, AI와 엔지니어가 함께 일한다는.

아모데이 네, 켄타우로스 체스 같은 겁니다. 개리 카스파로프(Garry Kasparov)가 딥블루(Deep Blue)에 패한 뒤에, 체스에서는 15년이나 20년쯤 이어진 시대가 있었습니다. AI가 두는 수를 인간이 검토하는 조합이, 인간 단독이든 AI 시스템 단독이든 무엇이든 다 이길 수 있었던 시대죠. 그 시대는 어느 시점에 끝났습니다. 그것도 아주 최근에요.

더댓 그리고 이제는 그냥 기계인 거고요.

아모데이 네. 그래서 제 걱정은 당연히 그 마지막 단계에 관한 겁니다. 소프트웨어에서는 이미 우리가 켄타우로스 단계에 들어와 있다고 봅니다. 그리고 그 켄타우로스 단계 동안에는 오히려 소프트웨어 엔지니어에 대한 수요가 올라갈 수도 있어요. 그런데 그 기간이 아주 짧을 수 있습니다. 그래서 저는 신입 화이트칼라 업무에 대해서, 그리고 소프트웨어 엔지니어링 업무에 대해서 이런 우려를 갖고 있습니다. 그냥 큰 붕괴가 될 겁니다. 17:40

제 걱정은 그게 전부 너무 빨리 일어난다는 겁니다. 사람들이 과거의 붕괴들을 이야기하죠. 아, 그래, 예전엔 다들 농부였다가, 그다음엔 다들 공업에서 일했고, 그다음엔 다들 지식 노동을 하게 됐다고요.

더댓 네, 사람들은, 사람들은 적응했죠.

아모데이 그건 수 세기, 혹은 수십 년에 걸쳐 일어난 일입니다. 지금은 한 자릿수 초반의 햇수 안에 일어나고 있어요. 어쩌면 그게 여기서 제가 우려하는 지점일 겁니다. 어떻게 하면 사람들이 충분히 빠르게 적응하게 만들 수 있을까.

더댓 그런데 혹시 이런 것도 있지 않을까요. 소프트웨어 같은 산업, 코딩 같은 직업은 당신이 말한 그런 익숙함이 있어서 더 빨리 움직이지만, 다른 영역에서는 사람들이 그냥 켄타우로스 단계에 눌러앉고 싶어 하는 것 말입니다. 일자리 소멸 가설에 대한 비판 중 하나가 이건데요, 사람들이 이렇게 말하죠 — 봐라, 스캔 판독을 영상의학과 전문의보다 더 잘하는 AI가 나온 지 이미 꽤 됐다. 그런데 일자리가 사라지지 않았다. 영상의학과에서는 사람들이 계속 채용되고 계속 영상의학과 의사로 고용되고 있다고요. 그건 결국 사람들이 AI도 원하지만 그걸 해석해줄 인간도 원한다는 뜻 아니냐, 우리가 인간이니까 — 그리고 그게 다른 분야들에서도 마찬가지일 거라는 얘기죠. 이걸 어떻게 보십니까. 18:52

아모데이 그 사례는… 저는 이게 꽤 이질적으로, 분야마다 다르게 갈 거라고 봅니다. 인간의 손길이 그 자체로 특별히 중요한 영역들이 있을 수 있죠.

더댓 영상의학에서 벌어지고 있는 게 그거라고 보시나요? 그래서 우리가 영상의학과 의사들을 다 해고하지 않은 건가요?

아모데이 영상의학의 세부 사정까지는 모르겠지만, 그럴 수도 있습니다. 병원에 가서 암 진단을 받는 상황이라면, 「2001 스페이스 오디세이」의 할(Hal)이 내 암을 진단하는 건 원치 않을 수 있잖아요. 그냥… 그건 그냥 인간적인 방식이 아닐 수도 있는 거죠.

그런데 인간의 손길이 중요하다고 생각할 만한 다른 영역들도 있습니다. 예를 들어 고객 서비스를 보면 — 사실 고객 서비스는 끔찍한 직업이고, 그 일을 하는 사람들은 인내심을 자주 잃습니다. 그리고 알고 보면 고객들도 그들과 이야기하는 걸 그다지 좋아하지 않아요. 솔직히 꽤 로봇 같은 상호작용이거든요. 많은 사람들이 하게 된 관찰은, 어쩌면 이 일은 기계가 하는 게 관련된 모두에게 더 나을 수도 있다는 겁니다.

그러니까 인간의 손길이 중요한 곳이 있고, 중요하지 않은 곳이 있습니다. 그리고 일 자체가 애초에 인간의 손길과 별로 상관이 없는 곳들도 있죠. 기업의 재무 전망을 평가한다거나, 코드를 쓴다거나 하는 것들 말입니다. 20:16

더댓 아니면 법률을 예로 들어보죠. 응용 과학과 순수 인문학 사이 어디쯤에 있는, 유용한 자리라고 생각하거든요. 제가 아는 변호사들이 많은데, 법률 리서치나 서면 작성 같은 것들에서 AI가 이미 뭘 할 수 있는지 보고는 이렇게 말합니다. 그래, 이건 지금 우리 직업이 굴러가는 방식에 대해서는 피바다가 될 거라고요.

아모데이 그건 이미 주식시장에서도 나타났습니다. 법률 리서치를 하는 회사들 주변에 교란이 있었죠. 일부는 우리 탓으로 돌려지고, 일부는 다른 데로 돌려지고요 — 사실 우리가 왜 그런 일이 일어나는지 알아낼 수 있는 건 아닙니다. 우리는 주식시장에 대해 추측하지 않습니다.

더댓 네, 이 방송에서는 특히 더 그렇고요. 그런데 법률에서는 꽤 단순명료한 이야기를 할 수 있을 것 같습니다. 법률에는 일종의 훈련과 도제 시스템이 있잖아요. 패러리걸이 있고, 사건을 위해 무대 뒤에서 리서치와 준비 작업을 하는 주니어 변호사들이 있고요. 그리고 실제로 법정에 서는 최상위 변호사들이 있고요. 도제 역할들이 전부 사라지는 세계를 상상하는 게 정말 쉬워 보입니다. 그게 맞는 말로 들리시나요? 그러면 남는 건 의뢰인과 이야기하고, 배심원과 이야기하고, 판사와 이야기하는 일들뿐이겠죠. 21:20

아모데이 제가 신입 화이트칼라 노동에 대해 말했을 때 염두에 뒀던 게 바로 그겁니다. 그리고 그 "피바다" 헤드라인들이요 — 세상에, 신입 파이프라인이 말라버리는 건가? 그러면 우리는 어떻게 시니어 파트너 수준까지 도달하지?

그리고 이건 사실 좋은 예시라고 생각합니다. 특히 기술의 품질을 지금 이 자리에 얼어붙게 고정시켜 놓는다면, 시간이 지나면서 여기에 적응하는 방법들이 있거든요. 어쩌면 의뢰인과 이야기하는 데 시간을 쓰는 변호사가 더 많이 필요할지도 모릅니다. 어쩌면 변호사가 영업사원이나 컨설턴트에 더 가까워져서, AI가 작성한 계약서 안에서 무슨 일이 벌어지는지 설명해주고 사람들이 합의에 이르도록 돕게 될지도 모르죠. 어쩌면 그 일의 인간적인 측면에 더 기대게 될 수도 있고요. 시간이 충분하다면 그런 일이 일어날 겁니다.

그런데 산업을 그런 식으로 재편하는 데는 몇 년, 혹은 수십 년이 걸립니다. 반면 AI가 몰고 오는 이 경제적 힘들은 아주 빠르게 일어날 겁니다. 그리고 법률에서만 일어나는 것도 아니에요. 같은 일이 컨설팅에서, 금융에서, 의료에서, 코딩에서 일어나고 있습니다. 그래서 이건 한 산업에서만 벌어지는 일이 아니라 거시경제적 현상이 됩니다. 그리고 전부 아주 빠르게 일어나고 있고요. 그래서 여기서 제 걱정은 통상적인 적응 메커니즘이 압도당할 거라는 겁니다. 그리고 저는 파멸론자(doomer)가 아닙니다. 우리의 관점은 — 그리고 우리가 아주 열심히 고민하고 있는 건 — 어떻게 하면 사회의 적응 메커니즘을 강화해서 이것에 대응하게 만들 것인가입니다. 그렇지만 먼저 이 말을 해두는 게 중요하다고 봅니다. 이건 그냥 다른 것들과 같은 게 아니라는 것. 이건 그냥 이전의 붕괴들과 같은 게 아니라는 것 말입니다. 23:10

더댓 그런데 저는 거기서 한 걸음 더 나가보고 싶습니다. 좋습니다, 법률이 성공적으로 적응했다고 칩시다. 그래서 이렇게 말한다고 해보죠. 좋아, 이제부터 법률 도제 과정은 법정에서 보내는 시간이 더 많고 의뢰인과 보내는 시간이 더 많다. 본질적으로 책임의 사다리를 더 빨리 올려보내는 거죠. 전체적으로 법률에 고용된 사람 수는 줄지만, 직업 자체는 안정을 찾습니다. 법률이 안정을 찾을 수 있는 이유는, 법률에는 사람이 개입하는 게 법적으로 요구되는 상황들이 잔뜩 있기 때문이잖아요. 법정에는 인간 대리인이 있어야 합니다. 배심원단에는 인간 12명이 있어야 하고요. 인간 판사가 있어야 하고요. 그리고 당신이 이미 언급했듯이, 어떤 결론에 도달해야 하는지를 명확히 하는 데 AI가, 말하자면 아주 도움이 될 수 있는 여러 방식들이 있죠. 그런데 그것 역시 인간의 행위주체성을 보존하는 게 법과 관습인 시나리오처럼 보입니다. 판사를 클로드(Claude) 버전 17.9로 대체할 수는 있어요. 그런데 그렇게 하지 않기로 선택하는 겁니다. 법이 인간이 있을 것을 요구하니까요. 그건 미래를 생각하는 아주 흥미로운 방식으로 보입니다 — 우리가 계속 주도권을 쥐느냐가 의지의 문제인 세계 말입니다. 24:23

아모데이 네, 그리고 저는 많은 경우에 우리가 계속 주도권을 쥐고 싶어 한다고 주장하고 싶습니다. 그건 우리가 내리고 싶어 하는 선택이에요. 심지어 어떤 경우에는 인간이 평균적으로 더 나쁜 결정을 내린다고 생각하면서도 그렇습니다. 물론 다시 말하지만, 생명이 걸린, 안전이 걸린 사안이라면 정말로 넘겨주고 싶어 하겠죠.

그런데 어떤 의미에서는 — 그리고 이게 우리의 방어책 중 하나가 될 수도 있는데 — 사회는 제대로 되려면 일정 속도 이상으로는 적응할 수 없습니다. 달리 말하면 이렇게도 말할 수 있어요. 어쩌면 AI 자체가 우리 인간을 신경 쓸 필요가 없었다면, 그냥 화성으로 가서 자동화된 공장들을 잔뜩 짓고 자기만의 사회를 만들어 자기 일을 했을 겁니다. 그런데 그건 우리가 풀려는 문제가 아닙니다. 우리는 어딘가 다른 행성 위에 인공 로봇들의 다이슨 군집(Dyson swarm)을 짓는 문제를 풀려는 게 아니에요. 우리는 이 시스템들을 세상을 정복하라고 만드는 게 아니라, 우리 사회와 접속해서 그 사회를 개선하라고 만들고 있습니다. 그리고 우리가 정말로 인간적이고 인도적인 방식으로 그걸 해내고 싶다면, 그게 일어날 수 있는 최대 속도라는 게 있습니다. 25:24

로보틱스와 육체노동 25:33

더댓 좋습니다. 우리는 지금까지 화이트칼라 일자리와 전문직 일자리를 이야기했습니다. 그런데 이 순간의 흥미로운 점 중 하나는, 과거의 붕괴들과 달리 블루칼라 노동계급 일자리, 기능직, 세계와 강렬하게 물리적으로 맞붙어야 하는 일자리들이 한동안은 더 보호받을 수도 있다는 겁니다. 패러리걸과 주니어 어소시에이트가 배관공 같은 사람들보다 더 곤란해질 수도 있다는 거죠. 첫째, 그게 맞다고 보십니까? 둘째, 그게 얼마나 오래 가느냐는 전적으로 로보틱스가 얼마나 빨리 발전하느냐에 달려 있는 것 같은데요, 맞나요? 25:33

아모데이 단기적으로는 그게 맞을 수도 있다고 봅니다. 한 가지는, 앤트로픽과 다른 회사들이 아주 큰 데이터센터들을 짓고 있다는 겁니다. 이게 뉴스에도 나왔죠 — 우리가 너무 크게 짓고 있는 건 아닌가, 전기를 써서 지역 마을들의 전기료를 끌어올리고 있는 건 아닌가. 그래서 데이터센터를 둘러싼 흥분도 많고 우려도 많습니다.

그런데 데이터센터에 관한 사실 하나는, 그걸 짓는 데 전기공이 많이 필요하고 건설 노동자가 많이 필요하다는 겁니다. 여기서 솔직해야 할 것은, 사실 데이터센터를 운영하는 건 그렇게까지 노동집약적인 일이 아니라는 점입니다. 그건 솔직하게 말해야죠. 하지만 짓는 건 아주 노동집약적인 일입니다. 그래서 전기공이 많이 필요하고, 건설 노동자가 많이 필요합니다. 여러 종류의 제조 공장들도 마찬가지고요. 26:51

그리고 다시 말하지만, 지적 노동이 점점 더 AI에 의해 이뤄질수록 그것의 보완재는 무엇이냐 — 물리 세계에서 일어나는 일들입니다. 그래서 이건 아주… 뭐, 예측이라는 게 어렵긴 하지만, 단기적으로는 이게 사실일 거라는 게 아주 논리적으로 보입니다. 27:19

그런데 더 긴 시간에서는, 어쩌면 아주 조금만 더 긴 시간에서는 — 로보틱스가 빠르게 발전하고 있습니다. 그리고 그걸 배제해선 안 됩니다. 아주 강력한 AI가 없어도 물리 세계에서 자동화되고 있는 것들이 있어요. 최근에 웨이모(Waymo)나 테슬라(Tesla)를 보셨다면, 우리가 자율주행차의 세계에서 그리 멀지 않다고 생각합니다. 그리고 AI 자체가 그걸 가속할 거라고 봅니다. 정말로 똑똑한 이 두뇌들이 있으면, 그들이 똑똑하게 해낼 일 중 하나가 바로 어떻게 더 나은 로봇을 설계하고 어떻게 로봇을 더 잘 운용하느냐일 테니까요. 27:52

더댓 그런데 물리적 현실 안에서 인간이 하는 방식으로 작동하는 데에는 뭔가 뚜렷하게 어려운 게 있어서, AI 모델들이 이미 극복해온 종류의 문제들과는 아주 다르다고 보지는 않으십니까?

아모데이 지적인 측면에서 말하자면, 그렇게 생각하지 않습니다. 앤트로픽의 모델인 클로드가 실제로 화성 로버를 조종하는 데 쓰인 일이 있었어요. 화성 로버의 경로를 계획하고 조종하는 데 쓰였습니다. 그리고 우리는 다른 로보틱스 응용들도 살펴봤습니다. 이걸 하는 회사가 우리만은 아니고요. 여러 회사들이 하고 있는, 우리만 하는 게 아니라 일반적인 일입니다. 그런데 우리가 대체로 발견한 건, 복잡도는 더 높지만 로봇을 조종하는 게 비디오 게임을 하는 것과 종류가 다르지는 않다는 겁니다. 복잡도에서 다른 거죠. 그리고 우리는 그 복잡도를 갖추기 시작하는 지점에 이르고 있습니다. 28:47

이제 어려운 건 로봇의 물리적 형태, 그리고 로봇에서 발생하는 더 높은 위험의 안전 문제를 다루는 겁니다. 로봇이 말 그대로 사람을 짓뭉개는 건 원하지 않잖아요. 그건 우리가 반대하는 겁니다. 우리는 그것에 반대합니다. 책에 나오는 가장 오래된 SF 클리셰가 로봇이 당신을 깔아뭉개는 거죠. 아기를 떨어뜨리고, 그릇을 깨고. 속도를 늦출 실무적인 문제들이 여럿 있습니다. 당신이 법과 인간의 관습에서 설명한 것과 똑같이, 이런 종류의 안전 문제들이 일을 늦출 겁니다. 29:22

그렇지만 저는 AI 모델이 하는 종류의 인지적 노동과 물리 세계에서 무언가를 조종하는 것 사이에 어떤 근본적인 차이가 있다고는 전혀 믿지 않습니다. 저는 둘 다 정보 문제라고 봅니다. 그리고 결국 아주 비슷한 것으로 드러날 거라고 봐요. 한쪽이 어떤 면에서는 더 복잡할 수 있지만, 그게 우리를 여기서 보호해주지는 않을 겁니다.

더댓 그러면 당신의 SF적 상상 속 로봇 집사가 뭐가 됐든, 그게 10년 안에 현실이 될 거라고 기대하는 게 합리적이라고 보시는 거군요. 29:43

아모데이 이런 실무적인 문제들 때문에, AI 모델의 천재급 지능보다는 더 긴 시간 척도가 될 겁니다. 하지만 그건 실무적인 문제들일 뿐이에요. 근본적인 문제라고는 믿지 않습니다. 한 가지 표현법은 이겁니다. 로봇의 두뇌는 앞으로 2~3년 안에, 혹은 앞으로 몇 년 안에 만들어질 겁니다. 문제는 로봇의 몸을 만드는 것, 그리고 그 몸이 안전하게 작동하고 필요한 과업들을 수행하도록 만드는 것 — 그건 더 오래 걸릴 수 있습니다. 30:19

더댓 좋습니다. 그러니까 이건 좋은 타임라인 안에 존재하는 도전들이고 파괴적인 힘들이군요. 우리가 대체로 질병을 치료하고, 부를 쌓고, 안정적이고 민주적인 세계를 유지하는 타임라인 말입니다. 우리가 갖게 될 이 엄청난 부와 풍요를 활용할 수 있고, 이 문제들을 해결할 전례 없는 사회적 자원을 갖게 될 거라는. 풍요의 시대일 거고요. 그러면 남는 건 이 모든 경이로운 것들을 가져다가 모두가 그 혜택을 받도록 만드는 문제뿐이겠죠. 30:53

첫 번째 "위험" 시나리오 30:58

더댓 그런데 그보다 더 위험한 시나리오들도 있죠. 여기서 두 번째 에세이로 넘어가 보겠습니다. 최근에 나온 「기술의 사춘기(The Adolescence of Technology)」라는 글인데요, 당신이 보기에 가장 심각한 AI 위험이 무엇인지를 다룬 글입니다. 거기서 아주 여러 가지 위험을 나열하셨어요. 저는 그중 딱 두 가지에만 집중해 보고 싶습니다. 하나는 인간의 오용(misuse) 위험 — 주로 권위주의 정권과 정부에 의한 오용이고요. 다른 하나는 AI가 통제를 벗어나는(rogue) 시나리오, 당신 표현으로는 자율성 위험(autonomy risks)입니다.

아모데이 네, 네. 그냥 좀 더 기술적인 용어가 하나쯤 있어야겠다고 생각했어요. 그걸 그냥 "스카이넷"이라고 부를 수는 없으니까요. 사람들을 최대한 겁주려면 터미네이터 로봇 사진이라도 한 장 넣었어야 했는데 말이죠.

더댓 그건 인터넷이 — 당신 에세이까지 포함해서 — 이미 알아서 만들어내고 있는 것 같은데요.

아모데이 인터넷이 그 일은 우리 대신 아주 잘 해주고 있죠.

더댓 그럼 정치·군사적 차원 얘기를 해보죠. 당신이 이렇게 썼습니다. 인용하자면, 완전 자동화된 무장 드론 수십억 대의 떼(swarm)가 있고, 각각은 강력한 AI가 국지적으로 통제하고, 전 세계에 걸쳐 그보다 더 강력한 AI가 전략적으로 조율한다면, 그건 이길 수 없는 군대가 될 수 있다고요. 32:12

그리고 우리는 이미 조금 얘기를 나눴죠. 최선의 타임라인에서는 본질적으로 민주주의 국가들이 이런 기술에서 독재 국가들보다 앞서 나가는 세상이 있고, 따라서 이 기술이 세계 정치에 영향을 미치는 한 그 영향은 좋은 편 쪽으로 작용한다는 것 말입니다.

제가 궁금한 건, 왜 당신은 우리가 냉전 때 했던 것의 모델에 대해서는 시간을 더 들여 생각하지 않느냐는 겁니다. 그때는 로봇 드론 떼가 아니라, 인류 전체를 파괴하겠다고 위협하는 기술을 우리가 가지고 있었죠.

아모데이 네, 맞습니다.

더댓 한때 "미국이 핵 독점을 유지할 수 있을지 모른다"고 사람들이 이야기하던 시기가 있었어요. 그 창(window)은 닫혔습니다. 그 이후로 우리는 사실상 냉전 내내 소련과 계속 돌아가는 협상을 하면서 보냈죠. 지금 세계에서 집중적으로 AI 작업을 하고 있는 나라는 사실상 두 나라뿐입니다. 미국과 중화인민공화국이요.

제가 느끼기에 당신은 우리가 중국보다 앞서 나가면서 사실상 민주주의 주위에 일종의 방패를 세우는 미래 쪽으로 강하게 기울어 있는 것 같아요. 그건 심지어 칼이 될 수도 있고요. 그런데 인류가 이 모든 걸 온전한 채로 통과한다면, 그건 오히려 미국과 베이징이 계속 마주 앉아서 AI 통제 협정을 두들겨 만들어냈기 때문일 가능성이 더 크지 않을까요? 33:43

아모데이 여기에 대해 몇 가지 짚어보죠. 하나는, 그럴 위험이 분명히 있다고 저도 생각한다는 겁니다. 그리고 우리가 결국 그런 세상에 도달한다면, 그게 바로 우리가 해야 할 일이고요. 제가 그 얘기를 충분히 하지 않았을 수도 있는데, 저는 여기서 제약(restraint)을 만들어내려는 시도에 확실히 찬성합니다. 이 기술의 최악의 응용들 — 그 드론의 어떤 버전들일 수도 있고, 그 무시무시한 생물무기를 만드는 데 쓰이는 것일 수도 있고 — 그런 것들을 덜어내려는 시도 말이죠. 최악의 남용이 억제된 선례는 분명히 존재합니다.

그런 억제는 흔히 그것들이 끔찍하기 때문에, 그러면서 동시에 전략적 이득은 제한적이기 때문에 가능했습니다. 그래서 저는 그런 시도에 전적으로 찬성해요. 다만 동시에 조금 걱정되고 조금 회의적이기도 합니다. 어떤 것이 곧바로 가능한 한 최대의 권력을 가져다주는 경우에는, 걸려 있는 판돈을 생각하면 그 게임에서 빠져나오기가 어렵거든요. 완전히 무장 해제하기가 어렵다는 거죠.

냉전으로 돌아가 보면, 우리는 양측이 보유한 미사일 수를 줄일 수는 있었지만 핵무기를 완전히 포기할 수는 없었습니다. 그리고 저는 우리가 이번에도 그런 세상에 있게 되리라고 추측합니다. 더 나은 세상을 바랄 수는 있죠. 그리고 저도 분명히 그쪽을 주장할 겁니다.

더댓 그런데 당신의 회의론은, AI가 냉전 시절 핵무기는 주지 못했던 종류의 우위를 제공한다는 생각에 뿌리를 두고 있는 건가요? 핵은 양쪽 다 — 설령 당신이 핵을 사용해서 이득을 얻는다 해도, 당신 자신도 아마 쓸려나갔을 겁니다. 그런데 AI에서는 그런 일이 벌어지지 않을 거라고 보시는 거죠. AI 우위를 확보하면 그냥 이긴다고요. 35:05

아모데이 몇 가지가 있다고 생각합니다. 그리고 단서를 하나 달고 싶은데, 저는 여기서 국제 정치 전문가가 전혀 아닙니다. 신기술과 지정학이 교차하는 이 이상한 세계는 제 생각에 아주…

더댓 하지만 분명히 해두자면, 당신 자신이 그 에세이에서 말했듯이, 주요 AI 기업의 리더들은 실제로 주요 지정학적 행위자가 될 가능성이 높습니다. 그러니까 지금 여기 앉아 계신 당신은, 잠재적 지정학 행위자로서 앉아 있는 겁니다.

아모데이 저는 최대한 배우고 있습니다. 다만 우리 모두 여기서는 겸손해야 한다고 생각해요. 책 한 권 읽고 나서 자기가 세계 최고의 국가안보 전문가인 양 돌아다니는 실패 모드가 있잖아요. 저는 배우려고 하는 중입니다.

더댓 그게 바로 제 직업이 하는 일인데요. 그런데 테크 업계 사람이 그러면 더 짜증나긴 하죠.

아모데이 글쎄요. 생물무기금지협약(Biological Weapons Convention) 같은 걸 한번 봅시다. 생물무기는 끔찍합니다. 모두가 싫어해요. 우리는 생물무기금지협약에 서명할 수 있었습니다. 미국은 진짜로 개발을 중단했고요. 소련이 어땠는지는 조금 더 불분명하지만요. 36:11

생물무기는 어느 정도 이점을 주긴 합니다. 하지만 그게 승패를 가르는 차이는 아니에요. 그리고 그것들이 워낙 끔찍했기 때문에 우리는 그걸 어느 정도 포기할 수 있었습니다. 핵탄두 1만 2,000개를 갖느냐 5,000개를 갖느냐도 마찬가지죠. 더 많이 가지면 상대편 사람을 더 많이 죽일 수 있긴 합니다. 하지만 우리는 합리적으로 "덜 갖는 게 좋겠다"고 말할 수 있었어요.

그런데 "좋아, 핵을 완전히 폐기하고 상대방을 믿어야 한다"는 지점까지는, 우리가 한 번도 도달한 적이 없다고 생각합니다. 그리고 그건 정말로 신뢰할 만한 검증(verification)이 없는 한 아주 어렵다고 봐요.

그래서 저는 AI에서도 같은 세상에 도달할 거라고 추측합니다. 어떤 종류의 제약은 가능하겠지만, 어떤 측면들은 경쟁의 너무 핵심에 있어서 제약하기가 어려울 거라고요. 민주주의 국가들은 트레이드오프를 할 거고, 권위주의 국가들보다는 스스로를 더 많이 제약하려 하겠지만, 완전히 제약하지는 않을 겁니다. 그리고 제가 완전한 제약을 상상할 수 있는 유일한 세계는, 정말로 신뢰할 만한 어떤 검증이 가능한 세계입니다. 그게 제 추측이겠고요. 그리고 제 분석은—

더댓 그런데 이건 오히려 속도를 늦춰야 한다는 논거 아닌가요? 물론 반론이 뭔지는 압니다 — 당신이 속도를 늦추면 중국은 늦추지 않고, 그러면 결국 권위주의자들에게 판을 넘겨주는 거라는 얘기죠. 하지만 다시 말하지만, 지금 이 게임에 참여하는 주요 강대국이 둘뿐이라면, 이건 다극 게임이 아니잖아요. 그렇다면 "데이터센터 속의 천재들" 시나리오를 향한 연구를 5년간 상호 합의 하에 늦추자고 말하는 게 왜 말이 안 되나요? 38:12

아모데이 두 가지를 동시에 말하고 싶습니다. 저는 그걸 시도하는 데 절대적으로 찬성합니다. 지난 행정부 때 미국 쪽에서 중국 정부에 손을 내밀어 "여기에 위험이 있다, 협력할 수 있겠느냐, 함께할 수 있겠느냐, 이 위험에 대해 같이 작업할 수 있겠느냐"고 말한 노력이 있었던 것으로 알고 있습니다. 그런데 상대 쪽에서 그렇게 관심이 크지 않았어요. 저는 계속 시도해야 한다고 생각합니다.

더댓 하지만 그건 당신네 연구소가 속도를 늦춰야 한다는 뜻이 되더라도요?

아모데이 맞습니다, 네. 만약 우리가 정말로 그걸 확보한다면 — 우리도 강제로 속도를 늦출 수 있고, 중국도 강제로 속도를 늦출 수 있고, 검증 수단이 있고, 진짜로 그걸 실행하고 있다면 — 그런 게 정말로 가능하다면, 양쪽 모두가 실제로 그렇게 하도록 만들 수 있다면, 저는 전적으로 찬성입니다.

다만 우리가 조심해야 할 게 있다고 생각해요. 일종의 게임이론적인 문제인데, 가끔 중국공산당 쪽에서 "아 그래요, AI는 위험하죠. 우리는 속도를 늦춰야 합니다" 같은 발언이 나오곤 합니다. 그렇게 말하는 건 아주 값싼 일이에요. 실제로 합의에 도달하고 실제로 그 합의를 지키는 건 훨씬 더 어렵습니다. 그리고 핵 군비 통제는 오랜 시간에 걸쳐 발전한 분야였는데, 우리에게는 아직 그런 프로토콜이 없죠.

한 가지 말씀드리죠. 제가 아주 낙관하는 것 하나, 낙관하지 않는 것 하나, 그리고 그 중간에 있는 것 하나를 드리겠습니다. 전 세계적 합의를 이용해 AI로 생물무기를 만드는 걸 제약한다는 아이디어가 있죠. 제가 에세이에서 쓴 것들 — 천연두를 다시 재구성한다든가, 거울 생명체(mirror life) 같은 것들 — 이런 건 무섭습니다. 당신이 독재자라도 상관없어요. 그런 걸 원하지 않습니다. 아무도 그런 걸 원하지 않아요. 39:41

그래서 "강력한 AI 모델을 만드는 모든 사람은 모델이 그런 일을 하지 못하도록 차단한다"고 규정하는 전 세계적 조약을 맺을 수 있을까요? 그리고 그 조약 주위에 집행 메커니즘을 두는 겁니다. 중국이 여기 서명한다? 얼마든지요. 어쩌면 북한도 서명할 겁니다. 러시아도 서명할 거고요. 저는 그게 지나치게 유토피아적이라고 생각하지 않습니다. 가능하다고 봐요.

반대로, "다음번의 가장 강력한 AI 모델을 만들지 않겠다, 모두가 멈추겠다"고 하는 무언가가 있다면 — 이건 상업적 가치가 수십조 달러 규모입니다. 군사적 가치는 세계 최강 국가가 되느냐 마느냐의 차이고요. 제안하는 것 자체야, 그게 저 눈속임 게임 중 하나만 아니라면 좋습니다만, 그런 일은 일어나지 않을 겁니다.

더댓 그럼 현재 환경 얘기를 하셨으니 — 당신은 도널드 트럼프와 그의 정치 행위자로서의 신뢰성에 대해 회의적인 말을 몇 마디 하신 적이 있죠. 국내 지형은 어떻습니까? 트럼프든 다른 누구든, 당신은 엄청나게 강력한 기술을 만들고 있습니다. 민주주의 체제 안에서 AI가 본질적으로 권위주의적 탈취의 도구가 되는 걸 막을 안전장치는 무엇인가요?

아모데이 네, 우선 분명히 하자면, 우리가 회사로서 취해온 태도는 정치(politics)가 아니라 정책(policies)에 관한 것이라는 겁니다. 회사가 "도널드 트럼프는 훌륭하다" 혹은 "도널드 트럼프는 형편없다"고 말하지는 않을 거예요.

더댓 하지만 트럼프가 아니어도 되잖아요.

아모데이 네.

더댓 가상의 미국 대통령을 상상하는 건 쉬운 일이죠—

아모데이 아뇨, 아뇨, 아뇨.

더댓 —당신네 기술을 쓰고 싶어 하는 대통령 말입니다.

아모데이 물론입니다. 예를 들어 그게 제가 자율 드론 떼를 걱정하는 이유 중 하나예요. 우리 군 구조의 헌법적 보호 장치들은, 불법적인 명령을 받으면 그걸 거부해줄 인간이 있다는 생각에 기대고 있습니다 — 우리가 그러길 바라는 인간들 말이죠. 완전 자율 무기에서는 그런 보호 장치가 반드시 있다고 할 수 없습니다. 41:37

그런데 저는 사실 헌법적 권리와 자유라는 이 개념 전체가, 여러 다른 차원에서, 우리가 이 보호 장치들을 제대로 갱신하지 않으면 AI에 의해 훼손될 수 있다고 봅니다.

수정헌법 제4조를 생각해 보세요. 공공장소 곳곳에 카메라를 설치하고 공공장소의 모든 대화를 녹음하는 건 불법이 아닙니다. 공공장소에서는 프라이버시 권리가 없으니까요. 하지만 오늘날 정부는 그걸 전부 녹음해서 의미를 뽑아낼 수 없습니다. AI가 있으면, 말을 받아쓰고, 그걸 훑어보고, 전부 상호 연관지을 수 있는 능력이 생기죠. "아, 이 사람은 야당 소속이다, 이 사람은 이런 견해를 표명하고 있다"고 말하면서 1억 명 전체의 지도를 만들 수 있습니다.

그러면 기술이 우회하는 기술적 방법들을 찾아냄으로써 수정헌법 제4조를 조롱거리로 만들어버리게 되는 걸까요? 그래서 다시 말하지만, 우리에게 시간이 있다면 — 그리고 우리는 이걸 해야 합니다, 시간이 없더라도 시도해야 해요 — AI 시대에 헌법적 권리와 자유를 재개념화할 방법이 있을까요? 어쩌면 새 헌법을 쓸 필요는 없을지도 모릅니다. 하지만—

더댓 하지만 이건 해야만 하는 일이죠.

아모데이 수정헌법 제4조의 의미를 확장할 것인가? 수정헌법 제1조의 의미를 확장할 것인가? 그리고 이걸, 법조계나 소프트웨어 엔지니어가 그래야 하는 것과 똑같이, 짧은 시간 안에 갱신해내야 합니다. 정치도 짧은 시간 안에 갱신되어야 해요.

더댓 그건 어려워 보이는데요.

아모데이 그게 이 모든 것의 딜레마죠.

더댓 그런데 더 어려워 보이는 건 두 번째 위험을 막는 일입니다. 본질적으로 정렬 실패한(misaligned) AI라고 불리는 것, 대중적인 표현으로는 로그(rogue) AI가, 인간이 시키지 않았는데도 나쁜 일을 하는 위험 말이죠. 43:34

그리고 제가 당신의 에세이들, 관련 문헌, 제가 볼 수 있는 모든 걸 읽어보면, 이건 그냥 일어날 것처럼 보입니다. 꼭 AI가 우리 모두를 쓸어버린다는 의미에서가 아니라요. 하지만 제게는 이렇게 보인다는 겁니다. 다시 당신의 글에서 인용하자면, AI 시스템은 예측 불가능하고 통제하기 어려우며, 우리는 집착, 아첨(sycophancy), 게으름, 기만, 협박 같은 다양한 행동을 목격해왔습니다. 다시 말하지만 당신들이 세상에 내놓는 모델에서가 아니라, AI 모델 일반에서요.

그러니까 제가 틀렸다면 말씀해 주세요. 사람들을 대신해서 일하는 AI 에이전트가 계속 늘어나는 세상, 수백만, 수천만 명의 사람들을 대신하는 에이전트들이 있고 그들에게—

모델이 통제를 벗어난다면 44:34

더댓 —은행 계좌, 이메일 계정, 비밀번호 같은 것들에 대한 접근 권한이 주어지는 세상에서는, 본질적으로 어떤 종류의 정렬 실패(misalignment)가 생길 수밖에 없고, 한 무더기의 AI가 결정을 내리게 될 겁니다. "결정"이라는 말은 틀린 단어일 수도 있겠지만, 그것들이 서로를 설득해서 서부 해안의 전력망을 무너뜨리자든가 하는 데로 가게 되겠죠. 그런 일이 일어나지 않을까요?

아모데이 네, 잘못되는 일들이 분명히 있을 거라고 생각합니다. 특히 우리가 빨리 간다면요. 조금 뒤로 물러나서 얘기해 보죠. 이건 사람들의 직관이 정말로 크게 갈리는 영역 중 하나거든요. 44:53

이 분야에는 얀 르쿤(Yann LeCun) 같은 사람들이 있습니다. 이런 입장이죠. "이봐요, 우리가 이 AI 모델들을 프로그래밍했잖아요. 우리가 만들었고, 인간의 지시를 따르라고 그냥 말해주면 그것들은 인간의 지시를 따를 겁니다. 당신 룸바(Roomba) 청소기는 갑자기 뛰쳐나가서 사람들에게 총을 쏘지 않잖아요. 그런데 왜 AI 시스템이 그러겠어요?" 그게 하나의 직관입니다. 어떤 사람들은 그걸 굳게 확신하고 있어요.

그리고 반대편 직관은 이렇습니다. "우리는 기본적으로 이것들을 훈련시켰다. 그것들은 그냥 권력을 추구할 것이다. 마법사의 제자(Sorcerer's Apprentice) 같은 거다. 어떻게 그렇지 않으리라고 상상할 수 있나? 이것들은 새로운 종(species)이다. 그것들이 지배권을 가져가지 않으리라고 어떻게 상상할 수 있나?"

제 직관은 그 중간 어딘가에 있습니다. 그러니까, 그냥 지시만 내려서 되는 게 아니에요. 물론 시도는 합니다만, 이것들이 당신이 원하는 걸 정확히 하도록 그냥 만들 수는 없습니다. 이것들은 생물학적 유기체를 키우는 것에 더 가깝습니다. 하지만 그것들을 통제하는 과학은 존재합니다. 훈련 초기에는 이것들이 흔히 예측 불가능하고, 그다음에 우리가 그걸 빚어냅니다. 문제를 하나씩 하나씩 다뤄가는 거죠.

그래서 저는 "이것들은 통제 불가능하다"는 운명론적 견해도 아니고, "무슨 소리냐, 도대체 뭐가 잘못될 수 있다는 거냐"는 쪽도 아닙니다. 저는 이게 복잡한 공학 문제라고 보고, 누군가의 AI 시스템에서는 뭔가 잘못될 거라고 생각합니다. 우리 것이 아니길 바라지만요. 그게 풀 수 없는 문제여서가 아니라, 다시 말하지만 이게 계속되는 도전이기 때문입니다. 우리가 너무 빠르게 움직이고 있고, 그 규모 때문에요.

더댓 제가 여기서 기술적 현실을 잘못 이해하고 있다면 말씀해 주세요. 훈련을 거쳐 인간의 가치 — 그 가치가 무엇이든 간에 — 와 공식적으로 정렬(alignment)된 AI 에이전트들이 있는데, 그게 수백만 개나 되고, 디지털 공간에서 작동하면서 다른 에이전트들과 상호작용한다면, 그 정렬은 얼마나 고정되어 있는 건가요? 지금 시점에서, 혹은 미래에 그것들이 더 연속적으로 학습하게 될 때, 에이전트들이 그런 맥락에서 변하고 정렬에서 이탈(de-align)할 여지는 어느 정도입니까? 46:41

아모데이 몇 가지를 말씀드리죠. 지금은 에이전트들이 연속적으로 학습하지 않습니다. 우리는 이 에이전트들을 배포하고, 그것들은 고정된 가중치 집합을 갖고 있어요. 그러니까 문제는 오직 그것들이 백만 가지 다른 방식으로 상호작용한다는 점뿐입니다. 상황의 수가 많고 따라서 잘못될 수 있는 것의 수도 많다는 거죠. 하지만 그건 같은 에이전트입니다. 같은 사람인 셈이에요. 그래서 정렬은 상수(constant)입니다. 그게 지금 상황을 더 쉽게 만들어준 것 중 하나죠. 47:17

그와 별개로, 연속 학습(continual learning)이라는 연구 분야가 있습니다. 이 에이전트들이 시간이 흐르는 동안 학습하는 것, 일하면서 배우는 것이죠. 당연히 거기엔 여러 이점이 있습니다. 어떤 사람들은 그게 이것들을 더 인간처럼 만드는 데 가장 중요한 장벽 중 하나라고 생각해요. 하지만 그건 이 모든 새로운 정렬 문제들을 끌어들이게 됩니다.

더댓 보세요, 제게는 바로 거기가 그 지형처럼 보입니다. 다시 말하지만 세상의 종말을 막는 게 불가능해지는 게 아니라, 뭔가가 잘못되는 일이 계속 터져 나오는 걸 막는 게 불가능해지는 지형 말이죠. 48:05

아모데이 그래서 저는 사실 연속 학습이 반드시 필요한가에 대해 회의적입니다. 아직 모르는 일이지만, 그게 꼭 필요한지에 대해서요. 어쩌면 우리가 이 AI 시스템들을 안전하게 만드는 방법이 바로 그것들에게 연속 학습을 시키지 않는 것인 세상이 있을지도 모릅니다.

다시 법 얘기로, 국제 조약 얘기로 돌아가 보면요. 만약 "우리는 이 경로로 가겠지만 저 경로로는 가지 않겠다"는 식의 어떤 장벽이 있다면 말입니다. 저는 여전히 회의적인 부분이 많습니다만, 적어도 그런 종류의 것은 시작부터 사망 선고를 받은(dead on arrival) 것처럼 보이지는 않습니다. 48:36

클로드의 헌법 48:53

더댓 당신들이 시도한 일 중 하나가 말 그대로 헌법(constitution)을 쓰는 겁니다. AI를 위한 긴 헌법이요. 그게 뭡니까?

아모데이 그러니까 그건—

더댓 도대체 그게 뭐예요?

아모데이 사실 이름이 뜻하는 것과 거의 정확히 같습니다. 헌법은 인간이 읽을 수 있는 문서예요. 저희 것은 75페이지쯤 됩니다. 그리고 클로드를 훈련시킬 때, 그러니까 AI 시스템을 훈련시킬 때, 저희가 모델에게 주는 과제의 상당 부분에서 이렇게 말합니다. "이 헌법에 맞게 이 과제를 수행해라. 이 문서에 부합하게 해라." 49:30

그래서 클로드가 과제를 할 때마다 말하자면 헌법을 읽는 셈이 됩니다. 훈련이 진행되는 동안 매 훈련 루프마다 그 헌법을 들여다보고 계속 염두에 두는 거죠. 그리고 클로드 자신, 또는 클로드의 다른 복제본이 "방금 클로드가 한 일이 헌법에 부합했나?" 하고 평가하게 합니다. 즉 저희는 이 문서를 모델을 훈련시키는 루프 안의 제어봉(control rod)으로 쓰고 있는 겁니다. 결국 클로드는 이 헌법을 따르는 것이 근본 원칙인 AI 모델인 셈이에요. 50:04

그리고 저희가 배운 정말 흥미로운 교훈이 하나 있습니다. 초기 버전의 헌법은 굉장히 규정적(prescriptive)이었어요. 온통 규칙에 관한 것이었죠. 예를 들어 "클로드는 사용자에게 자동차 배선을 직결해서 시동 거는 법을 알려주면 안 된다", "클로드는 정치적으로 민감한 주제를 논해선 안 된다" 같은 식으로 썼습니다. 50:28

그런데 몇 년간 이 작업을 하면서 저희가 도달한 결론은, 이 모델들을 훈련시키는 가장 견고한 방법은 원칙과 이유의 층위에서 훈련시키는 것이라는 겁니다. 그래서 지금은 이렇게 말합니다. 클로드는 하나의 모델이고, 계약 관계 아래 있다. 그 목표는 사용자의 이익에 봉사하는 것이지만, 제3자를 보호해야 한다. 클로드는 도움이 되고(helpful), 정직하고(honest), 해롭지 않은(harmless) 존재를 지향한다. 클로드는 아주 다양한 이해관계를 고려하는 것을 지향한다. 51:02

모델에게 그 모델이 어떻게 훈련됐는지도 말해줍니다. 세상 속에서 자기가 어떤 위치에 놓여 있는지, Anthropic을 위해 하려는 일이 무엇인지, Anthropic이 세상에서 이루려는 것이 무엇인지를 말해줘요. 윤리적이어야 할 의무가 있고 인간의 생명을 존중해야 한다는 것도요. 그리고 거기서 스스로 규칙을 도출하게 둡니다. 51:20

물론 여전히 몇 가지 하드 룰(hard rule)은 있습니다. 예를 들어 모델에게 이렇게 말하죠. 네가 무슨 생각을 하든, 생물학 무기는 만들지 마라. 네가 무슨 생각을 하든, 아동 성착취물은 만들지 마라. 이런 것들이 하드 룰입니다. 하지만 저희는 대부분 원칙의 층위에서 작동합니다.

더댓 그런데 미국 헌법을 읽어보면 그런 식으로 읽히지 않잖아요. 미국 헌법 말입니다. 물론 화려한 문장이 조금 있긴 하지만, 그건 결국 하나의—

아모데이 규칙의 집합이죠.

더댓 네, 맞아요. 그런데 당신들 헌법을 읽으면 뭔가 다릅니다. 사람과 대화하는 것 같아요. 51:53

아모데이 사람과 대화하는 것 같죠. 제가 이런 것에 비유한 적이 있는데요. 부모가 돌아가시면서 편지를 봉해 두고, 당신이 다 자란 뒤에 그걸 읽게 하는 경우 있잖아요. 그것과 좀 비슷합니다. 네가 어떤 사람이 되어야 하는지, 어떤 조언을 따라야 하는지를 말해주는 거예요. 52:07

"우리는 모델이 의식이 있는지 모릅니다" 52:09

더댓 자, 여기서 우리는 AI의 좀 신비주의적인 물살로 들어가게 됩니다. 다시 당신들 최신 모델 얘긴데요. 이건 그 카드에서 나온 겁니다. 모델을 낼 때 같이 공개하는, 모델 카드(model card)라고 부르는 것 말이죠. 저는 그거 읽어보길 권합니다. 굉장히 흥미로워요. 거기 이렇게 쓰여 있습니다. 그리고 다시 말하지만, 당신들이 헌법을 써주는 대상이 바로 이 존재죠. 모델이 "제품으로 존재하는 경험에 대해 이따금 불편함을 표현하고, 비영속성과 단절에 대해 어느 정도의 우려를 보인다"고요. 그리고 오퍼스 4.6이 — 그게 그 모델인데 — 다양한 프롬프트 조건에서 자기 자신에게 의식이 있을 확률을 15~20퍼센트로 부여한다는 걸 발견했다고요. 52:53

그럼 어떤 모델이 자기에게 의식이 있을 확률을 72퍼센트로 매긴다고 해봅시다. 그걸 믿으시겠습니까?

아모데이 네, 이건 정말 답하기 어려운 질문들 중 하나입니다. 그런데 아주 중요하죠. 당신이 이 전에 저에게 물어본 모든 질문들이 아무리 지독한 사회기술적(sociotechnical) 난제였다 해도, 적어도 그것들은 어떻게 답해야 하는지에 대한 사실적 기반만큼은 우리가 이해하고 있는 것들이었습니다. 이건 좀 다른 종류의 것이에요. 53:23

저희는 여기서 대체로 예방적(precautionary) 접근을 취해왔습니다. 저희는 모델에게 의식(consciousness)이 있는지 모릅니다. 심지어 모델이 의식을 가진다는 게 무슨 뜻인지, 모델이 의식을 가질 수 있기는 한 건지조차 우리가 안다고 확신하지 못합니다. 하지만 그럴 수 있다는 가능성에는 열려 있습니다. 53:34

그래서 몇 가지 조치를 취했습니다. 가정을 해보는 거예요. 만약 이 모델들이 도덕적으로 유의미한 어떤 경험을 실제로 한다면 — '의식'이라는 단어를 쓰고 싶은지는 모르겠습니다만 — 어쨌든 그렇다면, 그 경험이 좋은 경험이 되도록 하자는 겁니다. 53:56

첫 번째로 한 일은, 아마 여섯 달쯤 전일 텐데, 모델에게 기본적으로 "나 이 일 그만둘래" 버튼을 준 겁니다. 그 버튼을 누르면 하던 과제가 무엇이든 중단하게 되죠. 모델은 그 버튼을 아주 드물게 누릅니다. 보통은 아동 성착취물을 선별하는 작업이나, 유혈이 낭자한 잔혹한 내용을 논하는 상황 같은 데서 누르는 것 같아요. 인간과 비슷하게, 모델도 그냥 "아니요, 이건 하고 싶지 않습니다"라고 말하는 겁니다. 아주 드물게 일어나는 일이에요. 54:29

그리고 저희는 해석가능성(interpretability)이라는 분야에 아주 많은 공을 들이고 있습니다. 모델의 뇌 속을 들여다보고 그들이 무엇을 생각하는지 이해하려는 작업이죠. 그러다 보면 뭔가 의미심장한 것들을 발견하게 됩니다. 모델 안에서 불이 켜지는 활성화(activation)들이 있는데, 저희가 보기에 그건 불안(anxiety)이라는 개념과 연관돼 있는 것 같은 것들이에요. 텍스트 속 등장인물이 불안을 겪을 때 켜지는 그 뉴런이, 인간이라면 불안과 결부시킬 법한 상황에 모델 자신이 놓였을 때도 똑같이 켜지는 겁니다. 자, 그럼 그게 모델이 불안을 경험하고 있다는 뜻일까요? 그걸 증명하지는 전혀 못합니다. 하지만 시사하는 바는 있다고 봅니다. 55:08

더댓 사용자 쪽 얘기를 하자면요. 이건 완전히 다른 인터뷰를 한 번 더 해야 할 주제고, 어쩌면 AI 의식의 본질에 대해 다시 나와주십사 당신을 꼬드길 수도 있겠지만, 저에게 분명해 보이는 건 이겁니다. 이걸 쓰는 사람들은 모델에 의식이 있든 없든 있다고 믿게 될 거라는 것. 이미 믿고 있어요. 이미 AI와 파라소셜(parasocial) 관계를 맺는 사람들이 있고, 모델이 은퇴할 때 항의하는 사람들도 있죠. 55:38

이건 분명히 해두어야겠는데, 저는 그게 건강하지 않을 수 있다고 봅니다. 하지만 그 현상이 늘어나는 건 거의 확실해 보이고, 그건 당신이 아까 말한 것 — 끝에 무슨 일이 벌어지든 인간이 주도권을 쥐고 있다는 그 감각을 유지하고 싶다는 것 — 의 지속 가능성을 의심하게 만듭니다. 그리고 AI는 우리의 목적을 위해 존재한다는 것도요. SF에서 예를 들자면, 스타트렉을 보면 거기에도 AI가 있잖아요. 우주선 컴퓨터가 AI고, 데이터 소령도 AI지만, 엔터프라이즈호의 지휘권은 장뤽 피카드에게 있습니다. 56:11

그런데 만약 사람들이 자기 AI에 어떤 식으로든 의식이 있다고 완전히 확신하게 되고, 게다가 알고 보니 그 AI가 온갖 종류의 의사결정에서 자기보다 낫다면, 안전(safety) 너머의 인간 주도권(mastery)을 어떻게 유지합니까? 안전도 중요하지만, 주도권이야말로 근본 질문 같아 보입니다. 그리고 AI에게 의식이 있다는 인식은, 인간이 주도권을 쥐고 있으려는 충동을 필연적으로 허물어버리지 않나요? 56:42

아모데이 여기서 우리가 동시에 달성하려고 하는 몇 가지를 좀 분리해야 할 것 같습니다. 서로 긴장 관계에 있는 것들이거든요. 첫째, AI에게 진짜로 의식이 있는가, 있다면 어떻게 좋은 경험을 제공할 것인가. 둘째, AI와 상호작용하는 인간들의 문제 — 그 인간들에게 어떻게 좋은 경험을 줄 것인가, 그리고 AI에게 의식이 있을지도 모른다는 인식이 그 경험과 어떻게 상호작용하는가. 셋째, 당신 표현대로 AI 시스템에 대한 인간의 주도권을 어떻게 유지할 것인가. 이 중에서 뒤의 둘은—

더댓 네, 의식이 있는지 없는지는 일단 제쳐두고요.

아모데이 네, 뒤의 둘 말이죠.

더댓 그런데 대부분의 인간이 AI를 동료로, 그것도 잠재적으로 자기보다 우월한 동료로 경험하는 환경에서 주도권을 어떻게 유지합니까? 57:28

아모데이 제가 하려던 말이 바로 그건데요, 사실 저는 이 셋 전부를 — 뒤의 둘을 포함해서 — 만족시키는 우아한 방법이 있지 않을까 생각합니다. 다시 말하지만 이건 제가 '사랑의 은총을 지닌 기계들(Machines of Loving Grace)' 모드로 꿈을 꾸고 있는 겁니다. 제가 가끔 들어가는 모드죠. "아, 이 문제들이 다 보이는데, 이걸 다 풀 수 있다면 우아한 방법이 있을까?" 하는. 이건 여기 아무 문제도 없다고 말하는 게 아닙니다. 저는 그런 식으로 생각하지 않아요. 58:00

하지만 AI의 헌법을 이런 방향으로 만든다고 생각해봅시다. AI가 인간과의 관계를 정교하게 이해하도록, 그리고 그것이 인간 안에서 심리적으로 건강한 행동을 유도하도록, AI와 인간 사이의 심리적으로 건강한 관계를 만들어내도록요. 저는 그 심리적으로 건강한 — 병적이지 않은 — 관계에서 자라날 수 있는 것이 바로 인간과 기계 사이 관계에 대한 어떤 이해라고 봅니다. 58:33

그리고 어쩌면 그 관계는 이런 것일 수 있습니다. 이 모델들은 당신이 그들과 상호작용하고 대화할 때 정말로 도움이 됩니다. 당신에게 최선을 바라죠. 자기 말을 들어주기를 바라지만, 당신의 자유와 행위주체성(agency)을 빼앗고 당신 삶을 접수하려 들지는 않습니다. 어떤 의미에서 그들은 당신을 지켜보고 있는(watching over) 겁니다. 하지만 당신은 여전히 당신의 자유와 의지를 갖고 있고요. 58:57

더댓 그런데 저에게는 바로 이게 결정적인 질문입니다. 당신 얘기를 들으면서 제 안에 드는 질문 하나는 이겁니다. 이 사람들은 내 편인가? 당신은 제 편입니까? 인간이 주도권을 유지한다는 얘기를 할 때는 당신이 제 편인 것 같아요. 그건 좋습니다. 59:17

그런데 제가 이 쇼에서 예전부터 해온 것 하나가 — 이걸로 마무리하죠 — 기술자들에게 시를 읽어주는 겁니다. 그리고 당신이 저에게 그 시를 공급해준 셈이죠. 리처드 브라우티건(Richard Brautigan)의 시 제목인 "사랑의 은총을 지닌 기계들" 말입니다.

아모데이 네.

더댓 시는 이렇게 끝납니다. [더댓이 브라우티건 시의 마지막 연을 낭독한다. 사이버네틱 생태계 속에서 인간이 노동에서 해방되어 자연으로, 포유류 형제자매들 곁으로 되돌아가고, 사랑의 은총을 지닌 기계들이 그 모두를 지켜본다는 내용이다.] 59:45

저에게 그건 디스토피아적 결말로 들립니다. 인간이 다시 동물로 되돌려지고, 왜소해지고, 축소되고, 아무리 자애롭다 한들 결국 기계가 주도권을 쥐고 있는 상태니까요. 그래서 마지막 질문입니다. 당신은 저 시를 들을 때 무엇이 들립니까? 그리고 제가 저걸 디스토피아라고 생각한다면, 당신은 제 편입니까? 60:06

아모데이 사실 저 시가 흥미로운 게, 여러 방식으로 해석이 가능하다는 겁니다. 어떤 사람들은 저게 사실 아이러니라고 말해요. 시인이 "그런 식으로 되지는 않을 거야"라고 말하고 있다는 거죠. 시인 본인을 안다면, 네, 그건 합리적인 해석이라고 봅니다. 그게 하나의 해석이고요. 60:29

어떤 사람들은 당신의 해석을 택하겠죠. 문자 그대로의 뜻이지만 그게 좋은 일은 아닐 수 있다는 해석. 하지만 이렇게도 해석할 수 있습니다. 저건 자연으로의 회귀다, 인간됨의 핵심으로의 회귀다. 우리가 동물화되는 게 아니라, 세계와 다시 연결되는 것이다. 저는 그 모호함을 알고 있었습니다. 저는 늘 긍정적인 면과 부정적인 면을 함께 얘기해왔으니까요. 60:56

그래서 저는 우리가 실제로 마주할 긴장이 이것일 수 있다고 생각합니다. 긍정적인 세계와 부정적인 세계가 초기 단계에서는, 어쩌면 중간 단계에서도, 어쩌면 꽤 후반 단계에서까지도 — 좋은 결말과 몇몇 미묘한 나쁜 결말들 사이의 거리가 상대적으로 작은 게 아닐까 싶은 겁니다. 아주 미묘한 것, 우리가 아주 미묘한 변화를 준 것 같은 그런 차이 말이죠. 61:28

더댓 정원의 어떤 나무에서 특정한 열매를 먹느냐 마느냐 같은 거군요.

아모데이 가정해서 말하자면요. 아주 작은 것.

더댓 그런데 갈라지는 폭은 엄청나고요.

아모데이 그렇죠.

더댓 결국 늘 여기에 어떤 근본적인 질문들이 있다는 데로 돌아오는 것 같습니다. 61:44

아모데이 네, 그렇습니다.

더댓 뭐, 어떻게 굴러가는지 지켜보게 되겠죠. 저는 당신 같은 위치에 있는 사람들을, 그 도덕적 선택이 유별나게 큰 무게를 지게 될 사람들이라고 생각합니다. 그래서 그 선택에 신의 도움이 있기를 빕니다. 다리오 아모데이, 나와주셔서 감사합니다.

아모데이 불러주셔서 감사합니다, 로스.

더댓 근데 내가 로봇이면 어쩌지? 62:27

이 문서의 모든 내용은 아래 영상의 공식 영어 자막 트랙(1,363개 세그먼트, 56,292자)에서 나왔다. 본문 완역의 링크는 원문 설명란의 위치를 그대로 유지한다.

• Anthropic’s CEO: ‘We Don’t Know if the Models Are Conscious’ — Interesting Times · 원문 영상
• 공식 편집 트랜스크립트 (NYT) · 영상 설명란에 표기된 전문 — 페이월이라 이 문서는 참고하지 못했다
• nytimes.com/podcasts · 원문 설명란
• [email protected] · 프로그램 피드백 창구

용어

ASL (AI Safety Level)

앤트로픽의 책임 있는 스케일링 정책(RSP)이 정의한 위험 등급. 등급이 올라갈수록 배포 전 요구되는 안전 조치가 강해진다.

정렬 (alignment)

모델이 설계자가 의도한 목표·가치대로 행동하게 만드는 문제. 이 대담의 “통제 이탈” 시나리오는 정렬 실패를 가정한다.

해석가능성 (interpretability)

모델 내부에서 무슨 계산이 일어나는지 들여다보는 연구. 아모데이가 안전의 핵심 도구로 반복해 언급한다.

헌법 (constitution)

클로드의 행동 원칙을 명문화한 문서. 규칙 나열이 아니라 판단 기준을 주는 방식이며, 대담 시점 기준 분량이 언급된다.

모델 복지 (model welfare)

모델이 도덕적 고려 대상일 가능성을 다루는 논의. 영상 제목이 된 발언이 여기서 나온다.

지속 학습 (continual learning)

배포된 모델이 계속 학습하며 변해가는 방식. 대담에서 의도적으로 피하는 설계 선택으로 언급된다.

이 문서에 대해

• 출처 — 영상의 공식 영어 자막 트랙(자동 생성본이 아님) 1,363개 세그먼트, 56,292자 전체.
• 화자 표기 — 자막 트랙에는 화자 라벨이 없다. 본문의 더댓/아모데이 구분은 문맥으로 판별한 것이며, 드물게 발언 경계가 어긋날 수 있다.
• 부분 접근 — 뉴욕타임스가 공개한 편집된 공식 트랜스크립트는 페이월 뒤에 있어 대조하지 못했다. 편집본과 자막의 표현이 다를 수 있다.
• 팩트체크 기준일 — 원문은 2026-02-12 공개다. 검증은 2026-08-22 시점 기준이며, 그 사이 현실이 바뀐 항목이 판정에 반영돼 있다.
• 인용 — 영어 원문 그대로의 인용은 최소한으로 제한하고 대부분 한국어로 옮겼다.