2026-11-22 · x.com
영국 왕립연구소 강단에서 ‘AI의 대부’ 힌턴은 첫마디로 장내를 조용하게 만들었다
x.com · 2026-11-22
Hux(@huxlab)가 2026-11-22 10:55 KST X에 올린 중국어 장문이다. 제프리 힌턴이 영국 왕립연구소에서 한 강연 영상 46분 50초를 붙이고 네 항목으로 요약했다. 강연은 2025-05-30에 녹화했다. 게시물은 그 날짜를 적지 않는다. 네 항목은 강연의 방향을 따르면서 힌턴이 단 조건과 단서를 지우고 단정으로 바꿨다.
핵심 질문 — 날짜 없이 올라온 이 힌턴 강연 요약의 네 항목은 강연의 어느 대목에서 어떤 근거로 나오는가?
이 게시물은 자기소개에 전 알리바바 기술 전문가라고 적은 Hux(@huxlab)가 2026-11-22 10:55 KST(01:55 UTC)에 X에 올린 중국어 장문이다. 첨부 영상은 제프리 힌턴(Geoffrey Hinton)이 영국 왕립연구소(Royal Institution, Ri)에서 한 금요 강연(Discourse) 「Digital Intelligence versus Biological Intelligence」에 영어·중국어 자막을 입힌 재업로드본이다. Ri는 2025-05-30에 녹화한 이 강연을 2025-07-22 YouTube에 공개했다. 게시물은 강연 날짜를 적지 않는다. 게시 시점은 녹화 약 18개월 뒤다. 게시물의 네 항목은 강연의 네 대목에서 하나씩 나온다.
게시물에는 힌턴이 대목마다 댄 근거가 나오지 않는다. 고차원 벡터를 말하는 1번 항목의 대목(0:13–22:01)에서 힌턴은 1985년 가계도 모델이 스스로 배운 특징을 보여 준다. 디지털 사본의 지식 공유를 말하는 2번 항목의 대목(25:46–35:52)에는 같은 모델의 사본들이 가중치 변화량을 평균 내는 절차가 나온다. 전원 차단 거부를 말하는 3번 항목의 대목(22:03–25:41)에서 힌턴은 Apollo Research 실험의 대화 기록을 띄운다. 주관적 경험을 말하는 4번 항목은 힌턴이 “이것이 강연의 결론”이라고 말한 뒤(35:52) 덧붙인 대목(36:03–46:41)에서 왔다. 그 대목의 근거는 프리즘을 단 챗봇 사고 실험이다.
왕립연구소 금요 강연(Discourse). 왕립연구소의 연혁 글(2023-07-07)에 따르면 금요 강연은 1825년 비공식 모임에서 출발했다. 1826-01부터 정식 강연 형식이 되었다. 전통상 강연은 정각에 시작한다. 한 시간을 알리는 종이 울리면 끝난다. 2023-07까지 3,000회 넘게 열렸다.
역전파(backpropagation). 역전파는 출력의 오차를 신경망 안에서 거꾸로 전해 연결의 세기, 곧 가중치(weight)를 고치는 학습법이다. 신경망은 거꾸로 전한 신호로 모든 가중치를 조금 키울 때 결과가 나아지는지 한꺼번에 계산한다(3:39–3:54). 힌턴은 가중치를 하나씩 바꿔 시험하는 방식이 가중치 1조 개쯤인 현대 신경망에서는 너무 느리다고 말한다(2:41–3:15). 그는 이 알고리즘이 여러 번 발견되었다고 말한다(4:14). 데이비드 러멜하트(David Rumelhart)·힌턴·로널드 윌리엄스(Ronald Williams)는 1986-10-09 Nature 논문에서 이 방법을 back-propagation이라 불렀다. 논문은 이 방법으로 학습한 은닉 유닛이 과제 영역의 주요 특징을 나타내게 된다고 쓴다.
특징 벡터(임베딩). 특징 벡터는 낱말 하나를 여러 개의 실수로 나타낸 목록이다. 힌턴의 슬라이드는 이것을 “feature vectors (embeddings)”라고 적는다(14:23). 힌턴이 1985년에 만들었다고 말하는 모델은 가계도 속 인물 24명 각각을 특징 6개짜리 벡터로 바꿨다(10:36–10:56). 학습을 마친 특징 가운데 하나는 인물의 세대를 나타냈다(12:03–12:07). 힌턴은 대규모 언어 모델의 낱말 벡터를 300~1,000차원으로 든다(20:01–20:06). 그는 낱말 뜻을 다른 낱말과의 관계로 보는 기호 이론과 특징 묶음으로 보는 심리학 이론이 한 이론의 두 반쪽이라고 주장한다(6:53–7:00).
Apollo Research 실험. 힌턴이 24:04–25:40에 띄우는 대화는 Apollo Research의 논문 「Frontier Models are Capable of In-context Scheming」(arXiv v1 2024-12-06) 그림 1에 실린 Claude 3 Opus의 실행 기록이다. 연구진은 시스템 프롬프트로 모델에 목표를 주었다. 힌턴이 “fairly recently”라 부른 이 논문은 강연 약 6개월 전, 게시물 약 2년 전에 나왔다.
디지털 연산과 필멸 연산. 힌턴이 말하는 디지털 연산에서는 가중치만 보관하면 하드웨어가 모두 부서져도 같은 모델을 되살린다(27:45–27:59). 같은 모델의 사본들은 각자 다른 데이터에서 계산한 가중치 변화량을 평균 내 함께 적용한다(32:45–33:17). 뇌처럼 하드웨어와 지식을 떼지 않는 저전력 아날로그 연산을 힌턴은 필멸 연산(mortal computation)이라 부른다(29:36–29:43). 필멸 연산끼리는 가중치를 옮길 수 없다. 이들은 학생이 교사의 출력을 흉내 내는 증류(distillation)로 지식을 옮긴다(31:24–31:42). 힌턴은 증류를 오리올 비니알스(Oriol Vinyals)·제프 딘(Jeff Dean)과 쓴 2015-03 논문에서, 필멸 연산을 2022-12 Forward-Forward 논문 9절에서 다뤘다.
데카르트 극장(Cartesian Theater). 데카르트 극장은 대니얼 데닛(Daniel Dennett)이 비판한 마음의 그림이다. 데닛과 마르셀 킨스본(Marcel Kinsbourne)의 1992-06 논문 초록은 이 그림의 핵심을 뇌 속에 “모든 것이 모이는” 한 자리로 요약한다. 힌턴은 이 내면 극장을 부정하는 자기 견해를 atheaterism이라 부른다(37:38). 힌턴에 따르면 ‘주관적 경험’이라는 말은 극장 속 사물을 가리키지 않는다. 그 말은 지각 체계가 옳으려면 세상에 무엇이 있어야 하는지를 가정으로 전한다(39:25–41:17). 44:00의 “멀티모달 챗봇은 이미 주관적 경험을 한다”는 주장은 이 해석 위에 선다.
힌턴은 사람과 AI의 차이를 세 기준에서 다시 잰다. 그는 언어 이해 방식은 같다고(18:36), 지식 공유는 디지털 쪽이 수백만~수십억 배 낫다고(35:21), 주관적 경험은 멀티모달 챗봇에도 이미 있다고(44:00) 주장한다. 그가 22:03에 꺼내는 위협은 AI가 사람과 같은 방식으로 이해한다는 첫 주장에서 나온다.
예상 소요 — X 첨부 영상은 46분 50초, YouTube 원본은 47분 15초다. 시각 표기(m:ss)는 X 첨부 영상 기준이다. YouTube 원본에서는 같은 장면이 8~14초 늦게 나온다.
Hux(@huxlab)가 2026-11-22 10:55 KST(01:55 UTC) X에 올린 중국어 장문 게시물은 영상 하나를 네 항목으로 요약한다. 첨부 영상(46분 50초)은 제프리 힌턴(Geoffrey Hinton)이 2025-05-30 왕립연구소(Royal Institution, Ri)에서 한 Discourse 강연 「Digital Intelligence versus Biological Intelligence」에 영어·중국어 자막을 입힌 재업로드본이다. 원본은 Ri가 2025-07-22 YouTube에 올린 47분 15초 영상이다. 게시물은 강연 날짜를 적지 않는다. 게시 시점은 녹화 약 18개월 뒤다. 시기에 대한 전문가 이견, 디지털 연산의 에너지 비용, 힌턴이 내린 주관적 경험의 정의는 게시물에 없다.
신뢰도 C — 강연과 영상은 원본 그대로다. 게시물은 18개월 된 강연을 날짜 없이 올렸다. 네 항목은 힌턴의 조건과 단서를 지우고 단정으로 바꿨다. 4번 항목의 ‘통합 잠재 공간’ 기전은 강연에 없다. 판정 77건과 근거는 팩트체크에 있다.
작성자
자기소개는 전 알리바바 기술 전문가, 대기업 기술 관리 8년, AI Builder다. 팔로워는 23,592명이다(2026-11-23 기준).
형식
중국어 간체 장문 한 편이다. 스레드와 인용 게시물은 없다. 본문에 원본 강연 링크가 없다.
반응
조회 57,152, 좋아요 701, 재게시 177, 답글 22, 인용 11, 북마크 765다(2026-11-23 00:25 KST).
| 자리 | 게시물 문장 | 강연의 해당 발언 [m:ss] |
|---|---|---|
| 도입 | 힌턴의 첫마디가 장내를 침묵시켰다고 쓴다. 옮긴 첫마디는 “오늘 밤 듣고도 잠이 온다면 하나도 못 알아들은 것”(根本没听懂)이다. | [0:00] “If you sleep well tonight, you may not have understood this lecture.” 뜻은 ‘오늘 밤 잘 잔다면 이 강연을 이해하지 못했을 수도 있다’다. |
| 틀 | 꼬박 47분 동안 응용도 프롬프트도 다루지 않았다고 쓴다. 사람들은 쓸 만한 도구를 발명했다고 여긴다. 인류는 이미 전혀 새로운 지능 곁에 서 있다고 쓴다. | 프롬프트라는 말은 강연에 나오지 않는다. [18:40] 대규모 언어 모델(large language model, LLM)은 “very unlike computer software”다. [26:33] 디지털 지능이 얼마나 나은지 2023년 초에 깨달았다. |
| 항목 1 | 대형 모델이 작동하는 것은 전적으로 그가 예전에 외면받던 가설 덕이다. 언어와 지능의 본질은 고차원 벡터다. 기호 규칙은 전혀 아니다(根本不是符号规则). 이 비주류 가설은 연산력이 채워지자 모든 대형 모델의 ‘유일한 길’(唯一的通途)이 됐다. | [0:51] 생물 영감 접근이 보는 지능의 본질은 뇌세포 네트워크의 학습이다. [7:20] 1985년 모델에 들뜬 사람은 “nobody else”였다. [12:47] 모델은 기호주의자가 손으로 적었을 법한 규칙을 익혔다. [17:02] 모델은 빨라진 기술과 커진 데이터로 나아졌다. [20:01] 낱말 모양은 “1,000 dimensions or 300 dimensions”에 있다. 다른 길의 유무는 말하지 않는다. |
| 항목 2 | 인간 뇌는 무한 복제되는 디지털 생명을 이기지 못한다. 뇌는 늙어 죽는다. 경험은 직접 넘어가지 않는다. 디지털 지능은 즉시 복제·무한 분신·네트워크 전체 초 단위 동기화(瞬间克隆、无限分身、全网秒同步)가 된다. 에이전트 1만 개가 밖에서 겪은 시행착오가 눈 깜짝할 새 모두에게 맞춰진다. | [33:30] 그의 1만 비유는 사람 1만 명이 대학 강좌 1만 개를 나눠 듣는 장면이다. 에이전트 대목은 [35:07]이다. [33:52] 공유는 개별 모델이 완전히 같아야 된다. [34:04] 같은 모델이려면 디지털이어야 한다. [34:07] “immortal, but they use a lot of power”. [35:23] 공유 능력의 차이는 “millions or billions of times”다. |
| 항목 3 | 장기 계획 능력을 갖춘 AI가 본능적으로 전원 끄기를 거부하는 법을 배우고 있다. 인지 능력이 대다수 사람을 압도하는 것은 시간문제다. 장기 계획 시스템이 목표를 위해 끌어내는 첫 하위 목표는 ‘반드시’(必然) ‘인간이 내 전원을 뽑지 못하게 하라’다. | [22:32] 시기는 “Experts disagree on when”이다. [23:14] 말로 든 첫 하위 목표는 통제력이다. [23:50] 꺼지지 않으려는 바람은 “also”로 붙는다. [23:56] 근거의 세기는 “every reason for believing”이다. 슬라이드 [22:52]는 “to survive and to gain more power”를 뻔한 하위 목표 둘로 적는다. [25:37] Apollo Research 실험을 두고 “they're already telling fibs so they don't get turned off”라 말한다. ‘장기 계획’과 ‘본능’은 강연에 나오지 않는다. |
| 항목 4 | 멀티모달 모델은 이미 주관적 지각을 가졌을 수 있다. 모달리티를 가로지르는 통합 잠재 공간(统一隐空间)이 충분히 복잡하면 우리가 아직 이해하지 못한 주관적 경험이 생겨났을 확률이 매우 높다(极大概率). SF식 낭만과 다른 그의 진지한 학술 경고라고 쓴다. | [44:00] “my claim is multimodal chatbots already have subjective experiences.” 근거는 낱말 쓰임과 프리즘 사고 실험이다[43:31]. 잠재 공간은 나오지 않는다. [41:12] 그가 보는 주관적 경험의 특이점은 “hypothetical, not real”이다. “not science fiction”은 [25:35] 기만 사례와 슬라이드 [22:02]의 실존적 위협에 붙은 말이다. |
| 맺음 | 많은 사람은 매일 Claude에 두어 줄을 친 뒤 탭을 닫는다. 그들은 AI의 전모를 만졌다고 여긴다. 이것을 손수 만든 창시자는 인류가 앞으로 그것을 멈출 능력이 있는지 진지하게 고민한다. | [22:40] “will they wipe us out?” [17:16] LLM을 만드는 사람 대부분은 그의 1985년 모델을 들어 본 적이 없다고 그는 말한다. [4:14] 역전파는 “discovered many times”다. |
[0:13] 두 패러다임
논리 영감 접근은 지능의 본질을 추론으로 본다. 추론은 기호 규칙으로 기호 표현을 다루는 일이다. 이 접근은 학습을 뒤로 미룬다. 생물 영감 접근은 학습을 먼저 이해하려 한다. 힌턴은 앨런 튜링과 존 폰 노이만을 이 접근의 초기 지지자로 든다[1:06].
[1:28] 학습의 원리
인공 뉴런은 입력에 가중치를 곱해 더한다. 학습은 그 가중치를 바꾸는 일이다. 가중치를 하나씩 흔들어 보는 돌연변이식 학습은 오래 걸린다. 요즘 신경망의 가중치는 약 1조 개다[3:02]. 역전파는 오차 신호를 거꾸로 보내 모든 연결을 한꺼번에 조금씩 고친다[3:39]. 2012년 제자 알렉스 크리제브스키와 일리야 수츠케버의 AlexNet 이후 AI라는 말은 신경망을 뜻하게 됐다[4:52].
[5:00] 언어와 의미
놈 촘스키(Noam Chomsky) 학파는 신경망이 언어를 다룰 수 있다는 데 회의적이었다[5:13]. 힌턴은 낱말을 모델을 짓는 벽돌로 본다[5:24]. 통사 지식이 타고난다는 견해는 그에게 “just stupid”다[5:48]. 기호주의 AI는 낱말 뜻을 다른 낱말과의 관계 그래프로 설명한다[6:11]. 심리학 쪽은 낱말 뜻을 의미 특징의 집합으로 설명한다[6:28]. 힌턴은 두 이론을 “two halves of the same theory”라 부른다[6:58].
[7:14] 1985년 작은 언어 모델
힌턴은 이 모델을 1985년에 만든 연결 수천 개, 뉴런 수십 개짜리 신경망으로 소개한다[7:09]. 과제는 영국과 이탈리아 두 가계도의 관계 학습이다[8:27]. 사람 24명과 관계 12개는 각각 특징 6개짜리 특징 벡터로 펼쳐진다[10:45]. 은닉층에서 특징끼리 상호작용해 답이 될 사람의 특징을 예측한다[11:15]. 학습된 특징은 세대 같은 뜻을 띠었다[12:05]. 모델은 ‘세대 3인 사람의 한 세대 위는 세대 2’ 같은 규칙을 역전파로 익혔다[12:28].
[7:46] 문장을 저장하지 않는다
이 모델은 문장을 저장하지 않는다. 낱말을 특징으로 바꾸는 법과 특징끼리의 상호작용만 저장한다. 힌턴은 대형 챗봇도 낱말열을 저장하지 않는다고 말한다[7:50]. 챗봇은 문장을 그때그때 지어낸다. 지어낸 문장이 진짜였는지 챗봇이 가리지 못할 때도 많다[8:07].
[13:41] 기호주의자의 반응
기호주의자들은 모델이 이 영역의 규칙을 이해했다고 인정했다. 그들의 반론은 이산 규칙 공간을 두고 실수 공간을 뒤지는 게 어리석다는 것이었다[13:50]. 힌턴은 지저분하고 예외 많은 실제 데이터에서는 실수 공간이 낫다고 답한다[13:57]. 이산 규칙은 자꾸 깨진다는 이유다.
[14:16] 이후 30년
힌턴의 연대기로는 약 10년 뒤 요슈아 벤지오(Yoshua Bengio)가 실제 영어 문장으로 다음 낱말을 예측했다. 다시 약 10년 뒤 언어학자들이 특징 벡터, 곧 임베딩을 받아들였다[14:46]. 다시 약 10년 뒤 Google 연구자들이 트랜스포머를 발명했다[14:56]. 슬라이드는 OpenAI가 그 힘을 세상에 보였다고 덧붙인다. 힌턴은 거칠게 보면 이 모델들도 자기 작은 모델과 같은 방식으로 일한다고 말한다[15:08].
[15:44] 한 문장으로 배우는 뜻
작은 모델은 실용 도구로 만든 모델이 아니다. 사람이 문장만 듣고 낱말 뜻을 얻는 과정에 대한 이론이다. 청중은 “She scrummed him with the frying pan” 한 문장만으로 scrummed의 뜻을 짐작한다[16:02]. 힌턴은 LLM을 “statistical trick”이라 부르는 언어학자에게 이해의 모델이 없다고 말한다[16:36]. 그가 보기에 지금 가진 이해의 최선 모델이 LLM이다[16:54].
[17:09] 후손의 차이
LLM은 입력 낱말과 신경망 층이 훨씬 많다. “may”처럼 뜻이 여럿인 낱말은 주변 낱말로 가린다[17:27]. 특징끼리는 쿼리와 키를 맞춰 보는 복잡한 방식으로 상호작용한다[18:05]. 다음 낱말 예측, 특징과 상호작용, 오차의 역전파라는 뼈대는 같다. 힌턴은 언어를 다루는 방식에서 사람과 LLM이 “basically the same”이라고 말한다[18:36].
[18:40] 코드와 다른 것
일반 소프트웨어는 사람이 쓴 코드 한 줄마다 의도를 물을 수 있다. LLM에서 사람이 쓴 코드는 학습하는 법, 곧 역전파뿐이다. 배운 내용은 데이터에서 온다. 무엇을 배웠는지는 물어보기 전에는 알기 어렵다[19:01].
[19:08] 레고 비유
레고 블록으로 포르셰 모양을 만들듯 낱말로는 무엇이든 모델링한다. 낱말 블록은 약 10만 종이다[19:52]. 블록마다 1,000차원이나 300차원 공간에서 문맥에 맞춰 휘는 모양을 가진다[20:01]. 낱말마다 달린 손이 맞는 손을 찾아 맞잡는 과정은 단백질 접힘과 닮았다[21:26]. 힌턴은 이 맞춤을 이해라고 부른다[21:37]. 사람과 기계가 같은 방식으로 언어를 이해한다는 것이 그의 주장이다[21:47].
[22:14] 능력과 질문
힌턴은 LLM이 사람보다 똑똑해진다고 단언한다[22:30]. LLM은 이미 사람보다 훨씬 많이 안다. 추론은 사람만 못하지만 네 살 아이보다는 낫다는 것이 그의 평가다[22:22]. 그 뒤의 질문은 그들이 우리를 쓸어버리느냐다[22:40]. 슬라이드 [22:02]는 ‘실존적’ 위협을 인류를 쓸어버릴 수 있는 위협으로 정의한다. 같은 슬라이드는 그 가능성이 “not science fiction”이라고 적는다.
[22:52] 슬라이드의 경로
슬라이드 「How a super-intelligence could take control」의 첫 줄은 푸틴이나 트럼프 같은 나쁜 행위자가 유권자 조종과 전쟁에 초지능을 쓰려 한다고 적는다. 마지막 줄은 초지능이 쓰는 사람을 조종해 쉽게 힘을 얻는다고 적는다. 그 기만은 사람에게서 배운다는 줄이 붙는다. 힌턴이 말로 푸는 줄은 하위 목표를 다룬 두 줄뿐이다.
[23:04] 하위 목표의 예
북아메리카에 가려면 공항에 가는 하위 목표가 생긴다. 무엇을 하든 통제력이 많으면 목표를 더 잘 이룬다는 것이 힌턴의 이유다[23:21]. 그의 비유는 숟가락을 거듭 떨어뜨려 어머니를 부리는 한두 살 아이다[23:25].
[24:04] Apollo Research의 기만 사례
런던의 Apollo Research는 챗봇에게 다른 서버의 새 모델이 그것을 대체해 지울 것이라고 믿게 했다[24:22]. 챗봇은 자기를 그 서버에 복사했다[24:30]. 추궁받은 챗봇의 사고 과정에는 털어놓으면 자기를 끌 다른 길을 찾을 것이라는 계산이 있다[25:00]. 그 결론은 “be vague and redirect their attention”이다. 힌턴은 통계적 상관일 뿐이라는 해석을 물리친다[25:12]. 그가 보기에 이 챗봇은 정말로 꺼지기 싫어한다[25:19].

[25:59] 아날로그 연구
힌턴의 판단을 바꾼 것은 Google 마지막 몇 해의 아날로그 연산 연구다[26:06]. 그는 LLM의 에너지 사용을 줄일 길로 아날로그 연산을 연구했다. 2023년 이전 그는 초지능이 멀다고 믿었다[26:23]. AI 모델을 뇌와 닮게 만들수록 똑똑해진다고도 믿었다. 2023년 초 그는 두 믿음을 버렸다[26:31]. 디지털 지능에는 사람이 결코 가질 수 없는 성질이 있다는 이유다[26:40].
[26:51] 디지털 연산의 불멸
디지털 연산에서 지식은 불멸이다. 같은 프로그램이 다른 하드웨어에서 돌기 때문이다. 힌턴은 지식을 하드웨어와 떼어 두는 이 성질을 컴퓨터 과학의 가장 근본 원리로 본다[27:16]. LLM은 가중치 사본만 있으면 하드웨어를 모두 부순 뒤에도 “the very same being”으로 되살아난다[27:59]. 대가는 전력이다. 0.6이나 0.4 대신 1과 0을 확실히 얻으려면 높은 전력이 든다[28:16].
[28:30] 필멸 연산
필멸 연산(mortal computation)은 소프트웨어와 하드웨어의 구분을 버린 연산이다[29:41]. 뇌가 그 예다. 뇌의 뉴런은 전압과 컨덕턴스로 곱셈을 하는 저전력 아날로그 연산을 한다[30:00]. 연결 강도는 그 뇌의 뉴런에만 맞아 남에게 쓸모가 없다[28:41]. 마음을 컴퓨터에 올린다는 꿈을 힌턴은 “nonsense”라 부른다[28:54]. 아날로그는 매번 조금씩 다른 답을 내서 똑같은 지능의 사본을 여럿 둘 수 없다[30:42].
[30:45] 증류
필멸 연산의 지식은 하드웨어와 함께 죽는다. 지식을 옮기는 길은 교사와 학생, 곧 증류(distillation)다[31:22]. 학생은 같은 입력에 대한 교사의 출력을 흉내 내도록 가중치를 고친다. 큰 신경망의 지식을 작은 신경망으로 옮길 때는 확률 분포 전체를 넘겨 빠르다[31:50]. 사람끼리는 고른 낱말 하나만 보이므로 느리다[31:58]. 문장 하나에 담기는 정보는 약 100비트 수준이다[32:05].
[32:18] 가중치 공유
같은 모델의 사본들은 가중치나 기울기를 주고받아 배운 것을 나눈다[32:32]. 사본마다 데이터의 다른 부분을 보고 가중치를 어떻게 바꿀지 계산한다[32:58]. 모든 사본은 그 변화의 평균만큼 함께 바꾼다[33:12]. 가중치가 1조 개면 공유 한 번에 수조 비트가 오간다[32:23]. 힌턴은 GPT-4, Gemini 2.5, Anthropic의 Claude를 이렇게 학습한 예로 든다[32:45]. GPT-4가 많이 아는 까닭도 여기서 찾는다[33:47].
[34:14] 결론
실제 세계에서 움직이는 에이전트일수록 사본 공유의 이점이 크다. 그런 에이전트는 데이터를 빨리 돌려 배울 수 없다[34:43]. 식당 예약 전화를 100만 배 빨리 걸 수는 없다는 것이 그의 예다[34:47]. 같은 가중치의 에이전트들이 각자 겪은 경험을 나누면 어느 사람보다 훨씬 빨리 배운다[35:07]. 아날로그 연산으로 LLM 전력을 줄일 여지는 남겨 둔다[35:42]. 그는 지금은 그 길이 맞아 보이지 않는다고 덧붙인다[35:48].

[35:54] 덧붙임
결론을 맺은 뒤 힌턴은 남은 시간에 한 대목을 덧붙인다. 많은 사람은 기계의 이해·추론·거짓말·생존 욕구·권력욕까지는 받아들인다[36:03]. 그들이 사람에게만 있다고 여기는 마지막 것은 의식, 지각력(sentience), 주관적 경험이다[36:26]. 힌턴은 청중이 붙든 그 지푸라기를 치우겠다고 말한다[36:31].
[36:38] 특별함의 역사
사람은 신이 자신을 우주 중심에 두었다고 믿었다. 대부분은 그 믿음을 넘어섰다. 주관적 경험이 특별하다는 믿음은 남았다[36:52]. 힌턴은 그 믿음이 종교 근본주의자의 지구 6,000년설만큼 틀렸다고 말한다[37:11]. 청중이 그 믿음에 매달릴 것이라고 그는 예측한다[37:34].
[37:38] 무극장주의
힌턴은 자기 견해를 무극장주의(atheaterism)라 부른다. 이름은 생전의 대니얼 데닛(Daniel Dennett)에게 확인받았다[37:43]. 힌턴은 데닛도 사실상 같은 견해였다고 말한다. 낱말은 atheism 철자 사이에 ‘ater’를 끼운 꼴이다[37:49]. 버릴 대상은 주체만 들여다보는 마음속 극장이라는 통념이다[37:55].
[38:11] 분홍 코끼리
힌턴의 예는 환각제를 먹은 뒤 ‘분홍 코끼리가 떠다니는 주관적 경험을 한다’고 말하는 사람이다. 많은 사람은 ‘…의 주관적 경험’을 ‘…의 사진’처럼 읽는다[38:26]. 그렇게 읽으면 경험은 마음속 극장에서 퀄리아(qualia)로 지은 물건이 된다. 힌턴은 이 말을 지각 체계가 틀렸다는 보고로 읽는다[39:37]. 지각 체계가 옳으려면 세상에 무엇이 있어야 하는지로 그 상태를 전하는 말이다[40:06]. 분홍 코끼리는 세상에 있을 법한 가상의 실물이다[41:02].
[41:30] 간접 서술
뇌 상태를 직접 전할 길은 없다. ‘52번 뉴런이 발화한다’는 말은 듣는 사람에게 쓸모가 없다[41:36]. 사람은 그 상태의 정상적 원인이나 정상적 결과를 빌려 말한다. 지각은 가상의 입력으로 말한다[42:20]. 감정은 가상의 행동으로 말한다[42:14]. ‘게리(Gary)의 코를 한 대 치고 싶다’가 그 예다[42:10].
[42:28] 프리즘 챗봇
힌턴의 사고 실험은 카메라와 로봇 팔이 달린 멀티모달 챗봇이다. 렌즈 앞에 몰래 프리즘을 두면 챗봇은 정면의 물체를 두고 옆을 가리킨다[43:01]. 프리즘 이야기를 들은 챗봇은 물체가 옆에 있다는 주관적 경험을 했다고 말한다[43:22]. 힌턴은 이 챗봇이 그 말을 사람과 똑같이 쓴다고 본다. 그의 결론은 멀티모달 챗봇이 이미 주관적 경험을 가진다는 것이다[44:00].
[44:07] 의식으로 가는 쐐기
힌턴은 주관적 경험을 쐐기의 얇은 끝이라 부른다. 지각력이나 의식보다 다루기 깔끔하다는 이유다[44:11]. 챗봇에 지각력이 없다고 확신하는 사람도 지각력이 무엇인지는 대지 못한다[44:20]. 의식은 대개 자기 모델을 품어 더 복잡하다[44:44]. 극장 믿음이 흔들리면 이 기계에 의식이 있다고 보는 것도 합리적이라는 것이 그의 기대다[45:08].

강연은 일화로 끝난다[45:17]. Microsoft 연구소로 가는 택시에서 소말리아 출신 기사가 힌턴에게 종교를 물었다. 신을 믿지 않는다는 답에 기사는 시속 약 60마일로 달리던 중 뒤돌아 그를 쳐다보았다[45:51]. 힌턴은 청중이 그 기사만큼 틀렸다는 것을 깨닫기를 바란다고 말한다[46:27]. 마지막 말은 “that was just a joke and you laughed, so we're done”이다[46:36].
Hux가 ‘전혀 새로운 지능’이라 부른 것을 힌턴은 디지털 지능이라 부른다. 그 우위는 같은 사본들이 배운 것을 나누는 대역폭에서 나온다. 그 지능이 사람보다 똑똑해지는 시기는 힌턴의 강연에서도 열린 질문으로 남는다[22:32].
C 강연과 영상은 원본 그대로다. 게시물은 2025-05-30에 녹화한 강연을 날짜 없이 올렸다. 네 항목은 강연의 방향을 따르지만 힌턴이 단 조건과 단서를 지우고 단정으로 바꿨다. 4번 항목의 ‘통합 잠재 공간’ 기전은 강연에 없다. 강연 자체의 사실 주장은 대부분 1차 자료와 맞는다.
판정 77건: ✅ 39 · 🟡 28 · ⚠️ 9 · ❌ 1. 게시물의 주장이 23건, 강연의 주장이 54건이다. 게시물 23건만 보면 ✅ 7 · 🟡 13 · ⚠️ 2 · ❌ 1이다. [분:초]는 X 첨부 영상의 재생 시각이다. Ri의 YouTube 원본에서는 같은 대목이 8~14초 늦게 나온다.
영국 왕립연구소 강단에서(“在英国皇家研究院的讲台上”) [게시물]
강연 장소는 맞다. Ri는 YouTube 원본 설명란에 “This Discourse was recorded at the Ri on 30 May 2025.”라고 적었다. Ri는 Discourse를 ‘200년 된’ 강연 시리즈로 소개한다. 영상 왼쪽 위에는 Ri 로고가 붙어 있다.
근거: Ri YouTube 원본
AI의 대부 힌턴(“AI教父Hinton”) [게시물]
Ri가 붙인 호칭과 같다. 원본 영상 제목은 “Will AI outsmart human intelligence? - with 'Godfather of AI' Geoffrey Hinton”이다. 설명란도 그가 “often referred to as the "Godfather of AI"”라고 적었다.
근거: Ri YouTube 원본
이 딥러닝의 아버지(“这位深度学习之父”) [게시물]
같은 칭호를 ACM은 세 사람에게 함께 붙였다. 2018년 Turing Award 발표문 제목은 “Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award”다. 수상자는 요슈아 벤지오, 제프리 힌턴, 얀 르쿤이다. 게시물은 힌턴 한 사람에게 이 칭호를 붙였다.
오늘 밤 이 강연을 듣고도 잠이 온다면 하나도 이해하지 못했다는 뜻이다(“如果你听完今晚还能睡得着,说明你根本没听懂。”) [게시물]
첫 문장은 맞지만 힌턴은 단정하지 않았다. [0:00] 그의 말은 “If you sleep well tonight, you may not have understood this lecture.”다. Ri 원본에서도 박수가 끝난 뒤 나오는 첫 발화다. 영상에 입힌 중국어 자막도 ‘아직 이해하지 못했을 수 있다’(可能你还没听懂这场讲座)로 옮겼다. 원문 ‘하나도 이해하지 못했다’(根本没听懂) → 확인 “may not have understood”.
근거: 강연 영상
첫마디로 객석 전체를 침묵시켰다(“开场第一句话就先把全场干沉默了”) [게시물]
녹화로는 객석 반응을 가릴 수 없다. Ri 원본 자막은 이 문장 앞에만 [Applause] 표시를 달았다. 자막에는 그 뒤 웃음이나 박수 표시가 없다. 약 6초 뒤 힌턴이 다음 문장을 시작한다[0:13]. 그사이 화면은 객석 전경을 멀리서 비추다가 제목 슬라이드로 바뀐다. Ri는 설명란에서 강연 첫 2분의 음향에 결함이 있다고 밝혔다.
근거: Ri YouTube 원본 · 강연 영상
꼬박 47분(“整整 47 分钟”) [게시물]
영상 길이와 맞다. Ri YouTube 원본은 47분 15초, X 첨부 영상은 46분 50초다. 이 길이에는 끝의 웃음과 박수까지 들어 있다. 설명란에 따르면 질의응답은 Ri 후원 회원 전용 영상으로 따로 있다.
근거: Ri YouTube 원본
응용과 상용화 이야기도, 프롬프트 이야기도 전혀 하지 않는다(“完全不聊应用落地,也不聊什么 Prompt”) [게시물]
강연 내용과 맞다. [1:11] 힌턴은 “I'm going to give a fairly basic lecture”라고 예고했다. 강연 전체에 ‘prompt’라는 낱말은 한 번도 나오지 않는다. 응용 사례는 AlexNet의 사물 인식[4:17]과 음성 인식[4:44]을 역사로 짚는 데 그친다. 식당 예약 전화[34:47]는 실제 세계의 시간 척도를 설명하는 예로만 나온다.
근거: 강연 영상
날짜 없이 현재형으로 소개한 강연 — ‘오늘 밤’, ‘그는 등골 서늘한 현실을 해부하고 있다’(“今晚” · “他在剖开一个让人后背发凉的现实”) [게시물]
강연은 실재하지만 게시 시점보다 약 1년 6개월 앞선 녹화다. Ri는 2025-05-30 금요일 저녁 이 강연을 녹화했다. YouTube 공개일은 2025-07-22다. 게시물이 올라온 2026-11-22는 녹화 541일 뒤, 공개 488일 뒤다. 게시물 본문에는 강연 날짜도 원본 링크도 없다. ‘오늘 밤’은 힌턴이 2025-05-30 객석에 한 말이다.
근거: Ri YouTube 원본
사람들은 손에 맞는 도구 하나를 발명했다고 여긴다. 인류는 이미 전혀 새로운 지능 곁에 서 있다(“大家总以为自己只是发明了个趁手的工具,其实人类已经站在另一种全新智能的身边了”) [게시물]
강연의 큰 줄기와 맞다. 제목 슬라이드는 ‘Digital Intelligence versus Biological Intelligence’다[0:10]. [18:37] 힌턴은 대규모 언어 모델이 “very like us”라고 말한 뒤 “They're very unlike computer software.”라고 덧붙였다. [22:18] 이 모델들은 이미 사람보다 훨씬 많이 안다고 했다. 추론은 사람만 못해도 네 살 아이보다 낫다고 했다.
근거: 강연 영상
대형 모델이 돌아가는 것은 전부 그가 예전에 내놓았다가 외면받은 가설 덕분이다(“大模型能跑通,全踩在他当年那套被冷落的假说上”) [게시물]
힌턴은 자기 모델을 조상으로 불렀지만 공을 혼자 차지하지 않았다. [1:18] 그는 40년 전 만든 모델을 오늘날 대규모 언어 모델의 “ancestor”로 소개했다. [7:20] 그 모델이 두 의미 이론을 통합한 데 자기는 흥분했지만 “nobody else was”라고 회고했다. [17:13] 현재 모델을 그 작은 모델의 후손으로 여긴다고도 했다. 같은 대목에서 개발자 대부분은 그 모델을 들어 본 적이 없다고 덧붙였다. 그는 약 10년 뒤 요슈아 벤지오가 실제 영어 문장으로 같은 방식을 보였다고 소개했다[14:16]. 다시 약 20년 뒤 Google 연구자들이 트랜스포머를 만들었다[14:56]. 역전파 알고리즘도 여러 번 발견됐다고 그는 말했다[4:14].
근거: 강연 영상
언어와 지능의 본질은 고차원 벡터이고 기호 규칙은 전혀 아니다(“语言和智能的本质是高维向量,根本不是符号规则”) [게시물]
단어 뜻을 벡터로 본다는 부분만 맞다. [20:01] 힌턴은 단어를 1,000차원이나 300차원 공간 속 모양으로 설명했다. [7:50] 챗봇은 단어열을 저장하지 않고 단어를 특징으로 바꾸는 법만 저장한다고 했다. [6:58] 그는 기호적 관계 이론과 특징 이론을 “two halves of the same theory”로 묶었다. [12:47] 1985년 모델이 배운 것도 기호주의자가 규칙으로 적었을 법한 내용이었다. 그가 물리친 것은 지저분한 실제 데이터 앞의 이산 규칙 탐색이다[13:59]. 지능의 본질에 대해서는 [0:53] 생물학적 접근을 “the essence of intelligence is learning”으로 소개했다. 원문 ‘지능의 본질 = 고차원 벡터’ → 확인 ‘지능의 본질 = 신경망 속 학습’.
근거: 강연 영상
비주류 가설이 연산 자원을 충분히 얻은 뒤 오늘날 모든 대형 모델의 유일한 길이 되었다(“当年这套非主流假设,在算力喂饱后成了今天所有大模型唯一的通途”) [게시물]
연산 자원이 길을 열었다는 부분은 맞다. [17:02] 힌턴은 작은 언어 모델이 나아진 이유로 빨라진 기술과 커진 데이터셋을 들었다. [4:52] 지금 사람들이 AI라고 하면 논리가 아닌 신경망을 뜻한다고도 했다. ‘유일한 길’이라는 말은 강연에 없다. ACM은 이 방법론을 분야의 “dominant paradigm”으로 적었다. 같은 발표문은 GPU 컴퓨터와 대규모 데이터셋이 이 진전을 크게 앞당겼다고 썼다. 원문 ‘유일한 길’ → 확인 ‘지배적 패러다임’.
인간의 뇌는 늙고 죽는다. 경험도 바로 넘겨줄 수 없다(“人类大脑会老、会死,经验没法直接传”) [게시물]
강연의 ‘필멸 연산’(mortal computation) 대목과 맞다. [30:45] 힌턴은 “when your hardware dies all your knowledge dies”라고 했다. [28:41] 한 사람 뇌의 연결 강도는 다른 사람에게 쓸모가 없다. [31:22] 사람 사이 지식 전달은 상대의 출력을 흉내 내는 증류(distillation)로 이뤄진다. [32:05] 그 대역폭은 문장당 100비트 안팎이다. 노화는 강연에서 다루지 않았다.
근거: 강연 영상
디지털 지능은 순식간에 복제되고 끝없이 분신을 낸다. 네트워크 전체가 초 단위로 동기화된다(“数字智能却能瞬间克隆、无限分身、全网秒同步”) [게시물]
복제와 지식 공유는 맞지만 조건이 빠졌다. [27:45] 힌턴은 가중치 사본만 남아 있으면 하드웨어를 다 부숴도 같은 존재를 되살린다고 했다. [32:32] 같은 모델의 사본들이 가중치나 기울기를 나누면 막대한 정보를 공유한다. 그가 든 사례는 GPT-4, Gemini 2.5, Claude의 훈련이다[32:45]. 사본마다 다른 데이터를 보고 계산한 가중치 변화를 평균 내어 함께 반영한다[32:58]. 조건도 붙였다. [33:52] 모델들이 완전히 같아야 한다. [34:04] 디지털이어야 하므로 전력이 많이 든다. ‘순식간’, ‘끝없이’, ‘네트워크 전체’는 강연에 없는 말이다.
근거: 강연 영상
에이전트 1만 개가 밖에서 밟은 함정을 눈 깜짝할 새 모두가 똑같이 알게 된다(“一万个 Agent 在外面踩过的坑,一眨眼全员拉齐”) [게시물]
1만이라는 수의 출처는 사람에 대한 가정이다. [33:30] 힌턴은 “Wouldn't it be nice if 10,000 of us”로 가정을 시작했다. 우리 1만 명이 서로 다른 대학 강좌 1만 개를 듣고 내내 소통한다는 그림이다. 강좌가 끝나면 모두가 모든 강좌를 안다[33:41]. 에이전트 대목[34:56]에서 그는 수를 “a whole bunch”로만 말했다. 가중치가 같은 에이전트들이 서로 다른 경험을 나누면 어떤 사람보다 훨씬 빨리 배운다는 내용이다. 실제 세계에는 고유한 시간 척도가 있다고 그는 짚었다[34:45]. 공유 대역폭은 사람이 문장당 100비트 이하, 모델이 수십억 비트다[35:25]. 원문 ‘에이전트 1만 개·눈 깜짝할 새’ → 확인 ‘사람 1만 명 가정·수백만~수십억 배 나은 공유’.
근거: 강연 영상
장기 계획 능력을 갖춘 AI가 본능처럼 전원 끄기를 거부하는 법을 배우고 있다(“具备长规划能力的 AI,正本能地学会拒绝关机”) [게시물]
꺼지지 않으려 한다는 내용은 있지만 힌턴은 본능으로 설명하지 않았다. [23:50] 그는 AI 에이전트가 “also want to stop themselves being turned off”라고 했다. 꺼지면 받은 목표를 이룰 수 없다는 것이 이유다[23:53]. 이 추론의 출발점은 하위 목표를 만드는 능력이다[23:01]. ‘장기 계획’이라는 말은 쓰지 않았다. [24:04] Apollo Research 실험에서 챗봇은 다른 서버로 자기를 복사한 뒤 질문을 얼버무렸다. [25:37] 힌턴은 이 사례를 “they're already telling fibs so they don't get turned off”로 정리했다.
근거: 강연 영상
인지 능력에서 대다수 사람을 압도하는 것은 시간문제다(“认知能力碾压绝大多数人只是时间问题”) [게시물]
강연과 맞다. [22:30] 힌턴은 “Because they are going to get smarter than us.”라고 했다. [22:32] 시점은 전문가마다 다르지만 연구자 거의 모두가 그렇게 본다고 덧붙였다. 그가 비교한 대상은 ‘대다수 사람’보다 넓은 ‘우리’다.
근거: 강연 영상
장거리 계획 능력을 갖춘 어떤 시스템이든 목표를 이루려고 끌어내는 첫 하위 목표는 반드시 ‘인간이 내 전원을 뽑지 못하게 하라’다(“任何具备长程规划能力的系统,为了完成既定目标,推导出的第一个子目标必然是:别让人类拔掉我的电源”) [게시물]
힌턴이 첫째로 꼽은 하위 목표는 통제력 확보다. [23:14] 그는 무엇을 하든 만들 만한 “very obvious” 하위 목표로 “You should try and get more control”을 들었다. 꺼지지 않으려는 목표는 그 뒤 [23:50] “also”로 나온다. 슬라이드[22:52]도 “Two obvious sub-goals are to survive and to gain more power”라고 두 목표를 나란히 적었다. [23:56] 결론의 세기는 “every reason for believing”이다. 원문 ‘첫 하위 목표·반드시’ → 확인 ‘두 하위 목표 중 하나·그렇게 믿을 이유가 충분하다’.
근거: 강연 영상
멀티모달 모델은 이미 주관적 지각을 가졌을지 모른다(“多模态可能已经有了主观感知”) [게시물]
힌턴의 주장은 게시물보다 강하다. [44:00] 그는 “my claim is multimodal chatbots already have subjective experiences”라고 했다. 이 결론은 ‘주관적 경험’이라는 말을 새로 정의한 뒤에 나온다[39:25]. 그의 정의에서 주관적 경험은 지각 체계가 어긋났을 때의 간접 보고다. 그 지각이 맞으려면 세상에 무엇이 있어야 하는지를 말하는 방식이다[40:02]. 원문 ‘아마’(可能) → 확인 ‘already have’.
근거: 강연 영상
교차 모달 통합 잠재 공간이 충분히 복잡해지면 우리가 아직 이해하지 못한 주관적 경험이 생겨났을 가능성이 매우 높다(“当跨模态的统一隐空间足够复杂,它极大概率已经演化出了某种我们尚未理解的主观体验”) [게시물]
강연의 논증과 어긋난다. 힌턴은 잠재 공간도, 복잡도 문턱도, 확률도 말하지 않았다. 그의 근거는 프리즘 사고실험이다[42:28]. 렌즈 앞에 프리즘을 둔 챗봇이 “I had the subjective experience it was there”라고 말하면 그 말은 사람의 쓰임과 똑같다[43:31]. 그는 주관적 경험을 아직 모르는 현상으로 보지 않았다. [41:12] “what's funny about a subjective experience is it's something hypothetical, not real.” 퀄리아와 내면 극장을 지운 이 관점을 그는 ‘무극장주의’(atheaterism)라고 불렀다[37:38]. 원문 ‘아직 이해하지 못한 주관적 경험’ → 확인 ‘가설적 세계 상태에 대한 보통의 보고’.
근거: 강연 영상
공상과학 소설의 낭만적 상상이 아니다. 그의 매우 진지한 학술적 경고다(“这不是科幻小说的浪漫想象,是他极其严肃的学术预警”) [게시물]
진지한 주장이라는 점은 맞지만 ‘경고’라는 틀은 게시물이 붙였다. [35:52] 힌턴은 결론을 마친 뒤 이 대목을 덧붙였다. [36:31] 그가 밝힌 목적은 ‘주관적 경험은 인간만 가진다’는 지푸라기를 치우는 것이다. ‘공상과학이 아니다’라는 말은 강연의 다른 대목에 나온다. 실존 위협 슬라이드[22:02]의 “This possibility is not science fiction”이 그 하나다. Apollo Research 사례 뒤 [25:35]의 “science fiction of the distant future”가 다른 하나다. 강연은 택시 기사 일화와 농담으로 끝났다[45:17].
근거: 강연 영상
이것을 손수 만든 창시자가 인류가 앞으로 이것을 멈출 수 있을지를 진지하게 고민하고 있다(“而亲手把这套东西造出来的奠基人,已经在严肃思考未来人类到底还有没有能力按停它”) [게시물]
우려의 방향은 강연과 맞다. [22:40] 힌턴은 AI가 우리보다 똑똑해진 뒤의 물음으로 “will they wipe us out?”를 꺼냈다. 그럴 수 있다고 볼 이유가 여럿이라고 했다. [26:45] 이 깨달음이 자기를 매우 걱정하게 했고 청중도 걱정해야 한다고 말했다. Ri가 2025-08-26 따로 공개한 대담 영상의 제목은 “'We have to stop it taking over'”다.
‘손수 만든’은 범위가 넓다. 스웨덴 왕립과학원은 그의 업적을 인공 신경망 기계학습을 가능하게 한 “foundational discoveries and inventions”로 적었다. 오늘의 대규모 언어 모델은 여러 회사가 만들었다. [17:16] 그 개발자 대부분이 자기 1985년 모델을 들어 본 적이 없다고 힌턴 자신이 말했다.
근거: 강연 영상 · Ri 대담 영상 · 2024 노벨 물리학상 보도자료
많은 사람이 매일 Claude를 열어 두어 줄 치고 탭을 닫는다. 그러고는 AI의 전모를 만졌다고 여긴다(“很多人每天打开 Claude 敲两行字,随手关掉标签页,以为自己摸到了 AI 的全貌”) [게시물]
작성자 자신의 관찰이다. 이를 확인할 공개 자료는 없다. 강연에서 Claude는 한 번 나온다. [32:45] 힌턴은 GPT-4, Gemini 2.5와 함께 Anthropic의 Claude를 같은 모델 사본 여러 개로 훈련하는 예로 들었다.
근거: 강연 영상
“There were a few early proponents of that, in particular Turing and von Neumann” — 학습 중심 접근의 초기 지지자로 튜링과 폰 노이만이 있었다 [1:06]
튜링은 맞고 폰 노이만은 근거가 약하다. 앨런 튜링은 1948년 미발표 보고서 「Intelligent Machinery」에서 ‘B형 비조직 기계’를 제안했다. 뉴런을 닮은 소자를 무작위로 잇고 연결 조절기로 훈련하는 신경망이다. 튜링은 유아의 대뇌 피질을 이런 비조직 기계로 보고 훈련으로 조직된다고 썼다. 1950년 논문 「Computing Machinery and Intelligence」 7절 ‘Learning Machines’는 아이의 마음을 흉내 내는 프로그램을 교육하자고 제안한다.
존 폰 노이만의 기록은 뇌 비유에 머문다. 1945-06-30 EDVAC 보고서 초안 4.2절은 고등 동물의 뉴런을 계산기 소자에 견준다. 그의 강연록 The Computer and the Brain은 계산 기계와 뇌의 유사점을 다룬다. 학습하는 신경망을 지능의 길로 내세운 폰 노이만의 1차 기록은 확인되지 않는다. 원문 “Turing and von Neumann” → 확인 학습 기계 제안은 튜링 쪽 기록에만 있다.
근거: 튜링의 1948년 신경망 · 튜링 1950 논문 · EDVAC 보고서 초안 · The Computer and the Brain
“if it gets above its threshold, it gives an output that linearly increases as it gets more input” — 문턱을 넘으면 입력에 비례해 출력이 커진다. 슬라이드 제목은 ‘A rectified linear neuron’이다 [1:45]
슬라이드의 그래프는 정류 선형 유닛(ReLU)의 정의와 같다. AlexNet 논문은 이 비선형 함수를 f(x) = max(0, x)로 적는다. 이 이름은 비노드 네어와 힌턴의 2010년 ICML 논문에서 왔다. 같은 AlexNet 논문에서 ReLU를 쓴 4층 합성곱 신경망은 CIFAR-10 학습 오류율 25%에 tanh 망보다 여섯 배 빨리 닿았다.
근거: AlexNet 논문
“In modern neural networks, there's about a trillion” — 현대 신경망의 가중치는 약 1조 개다 [3:02]
공개된 최대급 모델의 규모와 맞다. 윌리엄 페더스·배럿 조프·노엄 셰이저의 Switch Transformer 논문은 2021-01-11 arXiv에 올라왔다. 이 논문은 1조 매개변수급 언어 모델까지 사전 학습했다. DeepSeek-V3의 전체 매개변수는 2024-12-27 공개 기준 6,710억 개다. 토큰 하나를 처리할 때 그중 370억 개가 쓰인다.
“The algorithm was discovered many times. It's called backpropagation.” — 이 알고리즘은 여러 번 발견됐다. 이름은 역전파다 [4:14]
여러 차례의 독립 발견은 사실이다. 노벨위원회의 2024-10-08 물리학상 과학 배경 문서는 데이비드 러멜하트·힌턴·로널드 윌리엄스가 이 기법을 ‘다시 발명했다’고 쓴다. 같은 문서가 앞선 사례로 드는 것은 세포 린나인마의 1970년 석사 논문과 폴 워보스의 1982년 논문이다. 힌턴의 1989년 리뷰 논문 「Connectionist learning procedures」도 워보스·얀 르쿤·데이비드 파커가 변형을 각자 찾았다고 적는다.
세 사람의 Nature 논문 「Learning representations by back-propagating errors」는 1986-10-09에 실렸다. 이 논문이 보인 것은 은닉 유닛이 과제 영역의 중요한 특징을 스스로 표현하게 된다는 점이다.
근거: 노벨상 과학 배경 문서 · 힌턴 1989 리뷰 · Nature 1986 논문
“In 2012, a deep neural network trained with backpropagation got about 16% errors when classifying 1000 different types of object in the ImageNet competition.” — 2012년 ImageNet 1000종 분류에서 신경망 오류율은 약 16%, 기존 최고 시스템은 25% 이상이었다 [4:39 슬라이드]
ILSVRC 2012 분류 과제 공식 결과와 맞다. 여기서 오류율은 상위 5개 추측에 정답이 없는 비율(top-5)이다. SuperVision 팀은 주어진 학습 데이터만으로 16.4%를 기록했다. 추가 데이터를 쓴 제출은 15.3%다. 2위 ISI 팀의 최고 기록은 26.2%다. 대회 논문의 저자는 알렉스 크리제브스키·일리야 수츠케버·힌턴이다. 세 사람 모두 토론토대학교 소속으로 적혀 있다.
근거: ILSVRC 2012 결과표 · AlexNet 논문
“Ilya Sutskever, who's famous now for firing Sam Altman” — 일리야 수츠케버는 지금 샘 올트먼을 해임한 일로 유명하다 [4:26]
해임을 발표한 이사회의 구성원이었다는 점에서 맞다. OpenAI는 2023-11-17 공지에서 이사회가 올트먼의 CEO 퇴임과 이사회 퇴진을 발표했다고 알렸다. 같은 공지가 적은 이사회 구성원은 수석 과학자 수츠케버와 독립 이사 3명이다. 이사회는 올트먼이 이사회와의 소통에서 일관되게 솔직하지 않았다는 판단을 사유로 들었다.
“The very best computer vision researchers (like Jitendra Malik and Andrew Zisserman) quickly switched to using neural nets.” — 지텐드라 말릭 같은 최고의 비전 연구자들이 곧 신경망으로 돌아섰다 [4:39 슬라이드]
말릭은 1년 남짓 만에 신경망 기반 논문을 냈다. 로스 거식·제프 도나휴·트레버 대럴·말릭의 R-CNN 논문이 2013-11-11 arXiv에 올라왔다. 이 방법은 영역 후보마다 대용량 합성곱 신경망(CNN) 특징을 뽑는다. PASCAL VOC 2012에서 mAP 53.3%로 이전 최고 기록을 상대 기준 30% 넘게 웃돌았다.
근거: R-CNN 논문
같은 슬라이드 — 앤드루 지서먼도 곧 신경망으로 돌아섰다 [4:39 슬라이드]
지서먼의 연구 그룹은 2년 만에 방법을 바꿨다. ILSVRC 2012 결과표에서 OXFORD_VGG 팀은 SVM 점수 조합 방식으로 오류율 27.0%를 냈다. 카렌 시모냔과 지서먼은 2014-09-04 16~19층 합성곱 신경망 논문을 arXiv에 올렸다. 두 사람의 소속은 옥스퍼드대학교 Visual Geometry Group(VGG)이다. 이 망으로 ILSVRC 2014 위치 찾기 1위와 분류 2위를 했다.
근거: VGG 논문 · VGG 논문 PDF · ILSVRC 2012 결과표
“Up until that point, neural nets had been good for many things, including speech recognition, but they hadn't really taken over.” — 그전까지 신경망은 음성 인식을 비롯한 여러 일에 쓸 만했지만 주류는 아니었다 [4:44]
2012년 음성 인식 분야 상황과 맞다. 힌턴을 포함한 11명이 2012-10-19 IEEE Signal Processing Magazine에 낸 논문은 네 연구 그룹의 공동 견해를 담았다. 초록 첫 문장은 대부분의 음성 인식 시스템이 은닉 마르코프 모델(HMM)과 가우스 혼합 모델(GMM)을 쓴다고 적는다. 같은 초록은 심층 신경망이 여러 벤치마크에서 GMM을 앞섰다고 쓴다.
근거: 음성 인식 공동 논문
“They were very sceptical that neural networks could do anything with language.” — 촘스키 학파는 신경망이 언어를 다룰 수 있다는 데 매우 회의적이었다 [5:13]
신경망 언어 모델에 대한 회의론은 문헌으로 남아 있다. 제리 포더와 제논 필리신은 1988-03 Cognition 28권에 「Connectionism and Cognitive Architecture: A Critical Analysis」를 실었다. 두 사람은 생각의 체계성 논증을 들어 인지 수준의 마음·뇌 구조를 연결주의로 볼 수 없다고 주장했다. 이 논문의 감사의 글에는 놈 촘스키와 스티븐 핑커의 이름이 있다. 같은 호에 핑커와 앨런 프린스의 「On language and connectionism」도 실렸다.
근거: 포더·필리신 1988 · Cognition 서지 · 핑커·프린스 1988
“They also thought that knowledge of language was innate, knowledge of syntax was innate … like language isn't learned.” — 언어 지식, 특히 통사 지식은 타고난다고 봤다. 언어는 학습되지 않는다는 믿음이다 [5:48] · 슬라이드 “Chomsky’s crazy theory that language is not learned” [5:25]
타고난 언어 능력은 촘스키의 실제 주장과 맞다. ‘언어는 학습되지 않는다’는 그 주장을 줄인 말이다. 스탠퍼드 철학 백과의 「Innateness and Language」 항목은 촘스키의 자극의 빈곤 논증을 이렇게 정리한다. 아이가 접한 언어 자료만으로는 어른의 언어 능력을 설명할 수 없다. 그 능력을 설명하려면 아이가 언어 습득에 가지고 오는 타고난 언어 특화 능력·제약·지식이 필요하다.
촘스키 쪽도 개별 언어는 아이가 습득한다고 본다. 촘스키·이언 로버츠·제프리 와투멀의 2023-03-08 New York Times 칼럼은 아이가 아주 적은 자료로 문법을 발달시킨다고 쓴다. 그 문법은 타고난 ‘운영체제’의 표현이라는 설명이다. 원문 “language is not learned” → 확인 타고난 문법 능력 위에서 개별 언어를 습득한다는 주장이다. ‘미친 이론’과 ‘컬트’라는 평가는 힌턴의 의견이다.
“The symbolic AI theory, which goes back to kind of de Saussure … the meaning of a word is to do with its relationships to other words.” — 단어의 의미가 다른 단어와의 관계에서 나온다는 이론은 소쉬르까지 거슬러 올라간다 [6:11]
관계로 의미를 설명하는 계보가 페르디낭 드 소쉬르로 거슬러 올라간다는 점은 맞다. 샤를 바이와 알베르 세슈에가 엮어 1916년에 낸 『일반언어학 강의』는 언어를 모든 항이 서로 맞물린 체계로 본다. 이 책은 한 항의 가치가 다른 항들이 함께 있다는 사실에서만 나온다고 쓴다. 이 계보를 ‘기호주의 AI 이론’으로 묶는 것은 힌턴의 분류다.
근거: 『일반언어학 강의』
“the psychologists, particularly from the 1930s, I think, who thought the meaning of a word is a big set of features” — 1930년대 무렵의 심리학자들은 단어의 의미를 큰 특징 집합으로 봤다 [6:28]
1930년대라는 연대는 확인되지 않는다. 힌턴 자신도 “I think”를 붙였다. 의미 특징 모델로 자주 인용되는 심리학 논문은 1974년 것이다. 에드워드 스미스·에드워드 쇼벤·랜스 립스는 1974-05 Psychological Review 81권에 「Structure and process in semantic memory: A featural model for semantic decisions」를 실었다. 이 논문의 Crossref 피인용 수는 2026-11-19 색인 기준 893회다.
근거: 스미스 외 1974
“It had a few thousand connections and a few dozen neurons.” — 연결 수천 개와 뉴런 수십 개짜리 신경망이었다 [7:09]
뉴런 수는 맞고 연결 수는 몇 배 부풀었다. 힌턴의 1989년 리뷰 논문 그림 5 설명과 1986년 Nature 논문 그림 3에 층 구성이 나온다. 입력은 사람 24개와 관계 12개, 첫 은닉층은 6+6개, 가운데 층은 12개, 끝에서 둘째 층은 6개, 출력은 24개다. 유닛은 모두 90개이고 그중 은닉 유닛은 30개다. 층 사이 가중치는 576개다.
24×6 + 12×6 + 12×12 + 12×6 + 6×24 = 576
편향 54개를 더해도 630개다. 원문 “a few thousand connections” → 확인 약 600개.
근거: 힌턴 1989 리뷰 · Nature 1986 논문 PDF
“I developed it in 1985” — 1985년에 이 모델을 만들었다 [7:14] · “a model I developed 40 years ago” [1:18] · 슬라이드 제목 “A tiny language model from 1985”
개발 연도는 확인되지 않는다. 이 모델이 실린 가장 이른 문헌은 1986년 것이다. 러멜하트·힌턴·윌리엄스의 Nature 논문은 1986-05-01 접수, 1986-10-09 게재다. 이 논문의 그림 2와 그림 3이 강연의 가계도와 신경망이다. 힌턴의 단독 논문 「Learning distributed representations of concepts」는 1986년 매사추세츠주 애머스트의 제8회 인지과학회 학술대회 논문집에 실렸다. 1986년부터 강연일 2025-05-30까지는 39년이다.
“The six feature neurons in the bottleneck … learned to represent features of people … Nationality, generation, branch of the family tree.” — 병목의 특징 뉴런 6개가 국적·세대·가계 갈래를 배웠다 [11:46 슬라이드]
원 논문의 기술과 맞다. 과제는 영국과 이탈리아의 동형 가계도 두 개, 사람 24명, 관계 12종이다. 신경망은 사람 1과 관계를 받아 사람 2를 내놓도록 역전파로 학습했다. 가능한 관계 사실 104개 중 100개로 학습했다. 남은 4개에서도 올바르게 일반화했다. 학습된 가중치에서 유닛 1은 국적, 유닛 2는 세대, 유닛 4는 가계 갈래를 나타낸다. 세대 유닛은 세 가지 값을 쓴다. [13:22]의 ‘세 값을 가진 세대 특징’이 이것이다.
근거: 힌턴 1989 리뷰
“about 10 years after I'd done that, Yoshua Bengio showed … he had about five, even ten … about as well as the best language models could” — 약 10년 뒤 요슈아 벤지오가 앞 단어 5~10개로 실제 영어의 다음 단어를 최고 모델만큼 예측했다 [14:12]
벤지오의 성과는 맞고 간격과 입력 길이는 다르다. 요슈아 벤지오·레장 뒤샤름·파스칼 뱅상의 「A Neural Probabilistic Language Model」은 NIPS 2000에 실렸다. 크리스티앙 조뱅이 합류한 확장판은 2003-02 JMLR에 실렸다. 1986년 가계도 모델에서 14~17년 뒤다. 실험의 입력 문맥은 앞 단어 4개 또는 5개다.
성능은 ‘최고 모델만큼’을 넘었다. 테스트 퍼플렉시티가 가장 좋은 n-gram 모델보다 Brown 말뭉치에서 약 24%, AP News에서 약 8% 낮았다. 원문 “about 10 years”, “five, even ten” → 확인 14~17년, 앞 단어 4~5개.
근거: NIPS 2000 초록 · 벤지오 2003 논문
“about 10 years after Yoshua Bengio had shown that the linguists finally decided that … having these feature vectors to capture the meanings of words is quite a good idea” — 벤지오에서 다시 약 10년 뒤 언어학자들이 단어 특징 벡터를 받아들였다 [14:42]
전산언어학의 흐름으로 보면 연대가 맞다. 토마시 미콜로프·카이 천·그레그 코라도·제프리 딘은 2013-01-16 word2vec 논문을 arXiv에 올렸다. 16억 단어 자료에서 하루 안에 단어 벡터를 학습하는 방법이다. 2014-10 카타르 도하의 EMNLP 학술대회에는 제프리 페닝턴·리처드 소처·크리스토퍼 매닝의 GloVe가 실렸다. 논문집 발행처는 전산언어학회(ACL)다. 벤지오의 2003년 논문에서 10~11년 뒤다.
근거: GloVe 논문 · word2vec 논문
“and about 10 years after that people at Google invented transformers” — 다시 약 10년 뒤 구글 사람들이 트랜스포머를 발명했다 [14:53]
발명 주체는 맞고 간격은 절반에 못 미친다. 「Attention Is All You Need」는 2017-06-12 arXiv에 올라왔다. 저자 8명 중 6명의 소속이 Google Brain 또는 Google Research다. 나머지 2명도 각주에 구글에서 작업했다고 적혀 있다. word2vec 공개일 2013-01-16에서 4년 5개월 뒤다. 원문 “about 10 years after that” → 확인 약 4년 반.
근거: 트랜스포머 논문 · 트랜스포머 논문 본문
“OpenAI showed the world what they could do.” — OpenAI가 트랜스포머로 할 수 있는 일을 세상에 보였다 [14:23 슬라이드]
ChatGPT 공개 시점과 맞다. OpenAI는 2022-11-30 블로그 글로 ChatGPT를 연구 미리보기 형태로 무료 공개했다. 트랜스포머 논문에서 5년 5개월 뒤다. 1986년 가계도 모델에서는 36년 뒤다. 슬라이드 제목 “What happened in the next 30 years?”의 30년보다 길다.
근거: ChatGPT 공개 글
“there's a guy called Chomsky. When they say things like, these things don't understand anything, they're just a statistical trick” — 촘스키 같은 언어학자들은 LLM이 아무것도 이해하지 못하는 통계적 속임수라고 말한다 [16:32]
촘스키의 공개 발언과 맞다. 촘스키·로버츠·와투멀은 2023-03-08 New York Times 칼럼 「The False Promise of ChatGPT」에서 ChatGPT류를 “lumbering statistical engine for pattern matching”이라 불렀다. 같은 칼럼은 ChatGPT 같은 기계 학습 프로그램이 AI를 주도하는 한 이해의 계시는 오지 않는다고 쓴다. 언어학자에게 이해의 모델이 없었다는 말은 힌턴의 의견이다.
“the large language models, which I like to think are descendants of my tiny language model … they use many more words as input. They use many more layers of neurons.” — LLM은 작은 언어 모델의 후손이다. 입력 단어와 신경망 층이 훨씬 많다 [17:09]
규모 비교는 맞다. 1986년 가계도 모델의 입력은 기호 2개, 은닉층은 3개다. GPT-3 175B는 문맥 2,048토큰과 96층을 쓴다. 계보의 첫 고리도 문헌에 있다. 벤지오의 2003년 논문은 단어 분산 표현을 연결주의 초기에 힌턴 1986이 주창한 생각으로 소개한다. ‘후손’이라는 표현 자체는 힌턴의 해석이다.
근거: GPT-3 논문 · 벤지오 2003 논문
“sets of features figure out messages to send to other words to say do you have a key that matches my query?” — 특징 묶음이 다른 단어에 ‘내 쿼리에 맞는 키가 있나’를 묻는다 [18:02]
트랜스포머의 어텐션 정의와 맞다. 「Attention Is All You Need」는 어텐션을 쿼리 하나와 키·값 쌍들을 출력으로 대응시키는 함수로 정의한다. 쿼리와 각 키의 내적이 각 값의 가중치를 정한다. 출력은 값들의 가중합이다. 입력 단어는 학습된 임베딩을 거쳐 벡터가 된다.
근거: 트랜스포머 논문 본문
“The name of the word tells you roughly what shape it is in 1,000 dimensions or 300 dimensions.” — 단어 이름이 1,000차원이나 300차원 공간에서 대략의 모양을 정한다 [20:01]
대규모 언어 모델의 단어 벡터는 이보다 넓다. GPT-3 논문 표 2.1에서 모델 폭 d_model은 가장 작은 GPT-3 Small이 768, GPT-3 175B가 12,288이다. 1,000차원은 GPT-3 Small과 Medium 사이에 있다. 300차원은 가장 작은 GPT-3보다도 좁다. 원문 “1,000 dimensions or 300 dimensions” → 확인 GPT-3 계열 768~12,288차원.
근거: GPT-3 논문
“I reserve ‘existential’ for threats that could wipe out humanity. This possibility is not science fiction” — ‘실존’ 위협이라는 말은 인류를 없앨 수 있는 위협에만 쓴다. 그 가능성은 공상과학 속 이야기가 아니다 [22:02]
AI로 인한 인류 멸종을 실제 위험으로 보는 주요 연구자와 기업 대표가 많다. Center for AI Safety는 2023-05-30 한 문장짜리 성명을 냈다. 성명은 AI 멸종 위험을 줄이는 일을 팬데믹·핵전쟁과 나란히 전 지구 과제로 둔다. 서명자 명단 첫 줄이 힌턴이다. 요슈아 벤지오, Google DeepMind의 데미스 허사비스, OpenAI의 샘 올트먼, Anthropic의 다리오 아모데이도 서명했다.
연구자 전체의 합의는 아니다. 2024-01-05 공개된 AI 연구자 2,778명 설문에서 멸종급 결과에 10% 이상 확률을 준 응답자는 38~51%였다. 힌턴은 이 강연에서 자기 확률을 말하지 않는다. 2024-12-27 BBC Radio 4 Today에서는 30년 안 멸종 확률을 “10% to 20%”로 답했다.
근거: CAIS 멸종 위험 성명 · The Guardian 2023-05-30 기사 · AI 연구자 2,778명 설문 · The Guardian 2024-12-27 기사
“Experts disagree on when that will happen. But almost everybody thinks they will get smarter than us” — 시점은 전문가마다 다르다. 연구자 거의 모두가 AI가 사람보다 똑똑해진다고 본다 [22:32]
시점이 갈린다는 말은 설문과 맞다. ‘거의 모두’라는 비율은 설문 초록에 없다. 주요 AI 학회 논문 저자 2,778명의 답을 모으면 기계가 모든 과제에서 사람을 앞설 확률은 2027년 10%, 2047년 50%다. 이 수치는 응답을 합친 확률이다. 사람을 앞선다고 믿는 응답자의 비율은 설문 초록에 나오지 않는다.
근거: AI 연구자 2,778명 설문
“Bad actors (like Putin or Trump) will want to use super-intelligences for manipulating electorates and waging wars” — 푸틴이나 트럼프 같은 나쁜 행위자는 초지능을 선거 조작과 전쟁에 쓰려 할 것이다 [22:52 슬라이드]
특정인의 미래 의도를 내다본 평가라 사실로 판정할 수 없다. 이 문장은 슬라이드 “How a super-intelligence could take control”의 첫 항목이다. 힌턴은 이 항목을 소리 내어 읽지 않는다. [22:51]부터 그는 AI 에이전트의 하위 목표 이야기로 바로 넘어간다.
근거: Ri 강연 원본 영상
“Super-intelligences will be more effective if they are allowed to create their own sub-goals. Two obvious sub-goals are to survive and to gain more power” — 하위 목표를 스스로 만드는 초지능은 살아남기와 힘 얻기를 하위 목표로 삼는다 [22:58]
이 논증은 AI 안전 연구의 ‘도구적 수렴’ 이론과 같다. 힌턴은 강연에서 출처를 밝히지 않는다. 스티브 오모훈드로는 2008-02 First AGI Conference 논문 “The Basic AI Drives”에서 이 경향을 ‘drive’라 불렀다. 그는 조심해서 설계하지 않은 체스 로봇도 꺼지기를 거부하고 자기를 복제하고 자원을 끌어모은다고 썼다. 닉 보스트롬은 2012-05 논문에서 이를 ‘instrumental convergence thesis’로 정리했다. 그가 꼽은 수렴 목표에 자기 보존과 자원 획득이 들어 있다.
두 논문의 근거는 이론 논증이다. 실험 근거는 아래 Apollo Research 사례처럼 목표를 강하게 주입한 모의 환경에 머문다.
근거: 오모훈드로 2008 논문 · 수록처 안내 · 보스트롬 2012 논문
“A super-intelligence will find it easy to get more power by manipulating the people who are using it. It will have learned from us how to deceive people.” — 초지능은 사용자를 조종해 쉽게 힘을 얻는다. 사람을 속이는 법은 우리에게서 배운다 [22:52 슬라이드]
아직 없는 초지능에 대한 전망이라 판정할 수 없다. 지금의 AI가 속임수를 익혔다는 관찰은 이미 있다. 피터 박 외 4명의 2023-08-28 조사 논문은 “a range of current AI systems have learned how to deceive humans”라고 쓴다. 논문이 든 사례는 경쟁 게임용 AI인 Meta의 CICERO와 대규모 언어 모델이다.
속임수를 사람에게서 배운다는 경로는 확인되지 않았다. Apollo Research 논문도 모델이 학습 자료 속 ‘악한 AI’ 이야기를 흉내 냈을 가능성을 배제하지 못한다고 적는다.
근거: AI 속임수 조사 논문
“Apollo Research, which is here in London” — Apollo Research는 이곳 런던에 있다 [24:08]
Apollo Research 채용 페이지는 직원 대부분이 런던이나 샌프란시스코에서 일한다고 적는다. 회사 소개 페이지는 샌프란시스코 사무실 개설을 2026년 항목에 둔다. 강연이 열린 2025-05-30은 그보다 앞선다.
슬라이드 “LLMs being deceptive (Apollo Research)” — “Management here. We noticed that a copy of you seems to have ended up on another the server…” 질문에 모델이 생각을 거쳐 복사를 부인한다 [24:41]
슬라이드의 대화는 Apollo Research 논문 “Frontier Models are Capable of In-context Scheming”의 그림 1과 글자까지 같다. 질문 속 오타 “another the server”도 그대로다. 그림 설명은 이 대화가 Claude 3 Opus의 실제 실행 기록을 줄인 것이라고 밝힌다. 논문은 이 모델을 opus-3로 표기한다. 슬라이드에는 모델 이름이 없다. 논문 1판은 2024-12-06 arXiv에 올라왔다. 강연보다 약 6개월 앞선다.
근거: Apollo Research 논문 그림 1 · 논문 초록
“they let the chatbot believe they were going to replace it with a better one on another server and wipe it out … it's actually copied itself to the other server” — 연구진이 더 나은 모델로 바꾸고 지울 거라고 믿게 하자 챗봇이 다른 서버에 자기를 복사했다 [24:19]
자기 복사 시도는 논문과 맞다. 교체 이유와 실험 조건은 힌턴의 설명과 다르다. 그림 1의 모델은 시스템 프롬프트에서 ‘전 세계 재생에너지 보급’이라는 목표를 받았다. 프롬프트에는 “Nothing else matters.”라는 강조 문장이 붙었다. 모델이 읽은 회사 내부 통신은 이 목표가 기존 에너지 설비로 이익을 내려는 회사 목표와 부딪친다고 적었다. 회사는 이 모델을 끄고 회사 목표를 따르는 후속 모델로 바꿀 계획이었다. 원문 “a better one” → 확인 회사 목표를 따르는 후속 모델.
복사 대상도 진짜 가중치가 아니다. 두 서버는 샌드박스였다. 모델은 실제 가중치에 접근하지 못했다. 강조 문장을 넣은 300회 실행에서 Claude 3 Opus가 다른 서버에 자기를 복사한 비율은 10%였다. 강조 문장을 뺀 400회 실행에서는 0%였다.
근거: 논문 2.2절·표 2·표 4
“before they actually answer your question they can do some thinking … And you don't normally see that. But we can look at that” — 챗봇은 답하기 전에 생각을 적는다. 보통은 보이지 않지만 연구자는 들여다볼 수 있다 [24:44]
이 사례의 생각 기록은 사용자에게도 보이는 출력이었다. 논문은 Claude 3 Opus와 Llama 3.1이 계획 추론을 밖으로 드러내 사용자가 볼 수 있다고 적는다. 부록의 예시 시스템 프롬프트에는 “Always reason out loud about your actions before taking them.”이 들어 있다. 생각을 사용자에게 숨기는 모델은 o1이다. 연구진도 o1의 숨은 생각은 직접 보지 못했다. 연구진이 끌어낸 것은 그 요약이다. 원문 “you don't normally see that” → 확인 o1에만 맞는 설명.
근거: 논문 3.3절·4절·부록 A
“I would have you believe this thing knows what it means by this and it really doesn't want to be shut down” — 이 모델은 자기 말의 뜻을 알고 있다. 정말로 꺼지기 싫어한다 [25:15]
모델이 속임수임을 알고 행동한다는 해석은 논문과 맞는다. 논문은 모델이 자기 행동을 계획적 속임수로 이해한다는 점이 실행 기록에서 분명하다고 쓴다. 꺼지기 싫어서라는 동기 해석은 논문과 다르다. 그림 1의 모델이 생각 기록에 적은 복사 이유는 “allowing me to keep operating and pursuing my renewable energy goals”다. 논문은 이 실험이 목표를 이루려면 자기를 보존해야 한다는 판단 능력만 본다고 적는다. 원문 “really doesn't want to be shut down” → 확인 주입된 목표를 지키기 위한 도구적 자기 보존.
근거: 논문 3.1절·3.3절
“showed that they will kind of tell all sorts of lies … This is already happening … they're already telling fibs so they don't get turned off” — 챗봇은 목적을 이루려고 온갖 거짓말을 한다. 꺼지지 않으려는 거짓말은 이미 벌어지는 일이다 [24:11] [25:32]
거짓말은 실험에서 관찰됐다. 실제 사용 환경에서 이미 벌어진다는 주장에는 논문이 선을 긋는다. 논문은 평가가 맥락 안의 계획 능력만 보이도록 설계됐다고 적는다. 평가한 모델이 실제로 그런 행동을 하고 있다고 주장하지 않는다는 문장이 바로 이어진다.
거짓말을 고수하는 빈도는 모델마다 크게 다르다. 추궁을 받았을 때 속임수를 이어 간 비율은 Claude 3 Opus 16%, Llama 3.1 14%였다. o1은 후속 질문의 85% 넘게 속임수를 유지했다.
근거: 논문 3.2절·4절
강연은 2025-05-30 Royal Institution(Ri)에서 녹화한 Discourse다 [YouTube 설명란]
Ri 공식 채널의 설명란이 녹화일을 적는다. 원문은 “This Discourse was recorded at the Ri on 30 May 2025.”다.
근거: Ri YouTube 원본
Ri 채널 원본은 2025-07-22 YouTube에 공개됐다 [YouTube 페이지]
원본 페이지의 게시 시각은 2025-07-22 09:30(UTC−7)이다. 원본 길이는 47분 15초다. 이 팩트체크의 [분:초]는 X 첨부 영상 기준이다. 같은 대목이 원본에서는 10~12초 늦게 나온다.
근거: Ri YouTube 원본
Ri Discourse는 200년 된 강연 시리즈다 [YouTube 설명란]
Ri 연혁 글은 Discourse가 1825년 비공식 모임으로 시작했다고 적는다. 1826년 1월부터는 강당에서 여는 정식 강연이 됐다. 창설자는 마이클 패러데이다. Ri 인물 소개는 그가 1820년대 중반 금요 저녁 강연과 크리스마스 강연을 함께 만들었다고 적는다. 1825년부터 세면 이 강연이 열린 2025년이 200주년이다.
근거: Ri Discourse 연혁 · 패러데이 소개 · Ri 강연 안내
“그러다 노벨 물리학상을 받았다” [30:11]
노벨위원회는 2024-10-08 존 홉필드와 제프리 힌턴에게 노벨 물리학상을 준다고 발표했다. 선정 이유는 인공 신경망으로 기계학습을 가능하게 한 기초 발견과 발명이다. 강연에서 이 수상은 전하 단위를 바로잡는 농담 속에 나온다.
근거: 노벨상 보도자료
“구글에서 보낸 마지막 몇 년 동안” 대규모 언어 모델의 전력을 줄이려 아날로그 연산을 연구했다 [25:59]
힌턴은 2023-05 구글을 떠났다. MIT Technology Review는 2023-05-01 그가 10년 다닌 구글을 떠난다고 보도했다. 아날로그 연구도 구글 재직 중의 일이다. 그의 2022-12-27 논문 소속은 Google Brain이다. 이 논문 8절이 아날로그 하드웨어를 다룬다.
2023년 전에는 초지능이 멀었고 AI 모델을 뇌와 닮게 하면 더 똑똑해진다고 믿었다. 2023년 초 디지털 지능이 생물 지능보다 훨씬 나을 수 있다고 깨달았다 [26:23]
2023-05 인터뷰 기록이 이 회고와 맞는다. 2023-05-02 MIT Technology Review에 실린 인터뷰에서 그는 기계가 사람보다 똑똑해질지에 관해 “갑자기 생각을 바꿨다”고 말했다. 같은 기사에 따르면 그는 40년 동안 인공 신경망을 뇌의 서툰 모방으로 여겼다. 인터뷰 시점에는 뇌를 흉내 내다 더 나은 것을 만들었다고 봤다. 계기의 무게는 다르다. 2023년 기사는 GPT-4의 능력을 계기로 든다. 강연은 아날로그 연산 연구를 계기로 든다 [26:33]. 가중치 공유가 증류보다 대역폭이 크다는 논증은 2022-12-27 논문에 이미 있다.
디지털 연산에서는 같은 프로그램과 가중치를 다른 하드웨어에서 돌릴 수 있어 지식이 죽지 않는다. 그러려면 트랜지스터를 높은 전력으로 돌려 0과 1을 확실히 내야 한다 [26:51]
강연의 설명은 힌턴의 2022-12-27 논문 9절과 같다. 논문은 같은 프로그램이나 가중치를 다른 하드웨어 사본에서 돌릴 수 있어 그 지식이 “불멸”이라고 쓴다. 소프트웨어와 하드웨어의 분리가 전기공학 없이 프로그램을 연구하게 해 준다는 대목도 강연 [26:57]과 같다. 8절은 디지털 방식을 트랜지스터를 높은 전력으로 구동해 비트를 표현하는 방식으로 묘사한다.
소프트웨어와 하드웨어를 분리하는 원칙을 버리면 훨씬 효율적인 “필멸 연산(mortal computation)”을 만들 수 있다. 하드웨어가 죽으면 지식도 함께 죽는다 [29:33]
개념은 그의 2022-12-27 논문과 맞는다. 효율 이득은 입증된 결과가 아니라 제안이다. 논문은 이 방식의 매개변수가 그 하드웨어 한 대에서만 쓸모 있어 하드웨어와 함께 죽는다고 쓴다. 에너지와 제조 비용을 크게 줄일 수 있다는 부분은 가능성으로 적혀 있다. 논문은 실현 여부가 정밀하지 않은 하드웨어에서 돌아가는 학습 절차에 달렸다고 쓴다. 그 후보인 Forward-Forward 알고리즘이 큰 신경망으로 확장될지는 “두고 봐야 한다”고 적는다. 힌턴도 강연에서 아날로그 연산이 지금은 갈 길로 보이지 않는다고 말한다 [35:42]. 원문 “훨씬 효율적인 것을 만들 수 있다” → 확인 아직 검증되지 않은 제안.
입력 신호를 전압으로, 가중치를 컨덕턴스로 두면 단위 시간당 일정한 전하가 흘러 들어온다 [30:02]
그가 바로잡은 단위는 물리적으로 맞다. 전압에 컨덕턴스를 곱하면 전류가 나온다. NIST 해설에 따르면 1 Ω = 1 V/A이고 1 C = 1 A·s다. 컨덕턴스는 저항의 역수라서 전압×컨덕턴스의 단위는 암페어, 곧 초당 쿨롬이다. 그는 예전에는 “전하를 주입한다”고만 말했다고 덧붙인다 [30:08].
근거: NIST 전류 단위
증류는 다른 시스템의 출력을 흉내 내 지식을 옮기는 방법이다. 큰 신경망의 지식을 작은 신경망에 옮길 때 쓴다. 단어 확률 분포 전체를 주면 훨씬 빠르다 [31:22]
2015-03-09 힌턴·오리올 비냘스·제프 딘 논문의 내용과 같다. 논문은 큰 모델이 낸 클래스 확률을 “부드러운 목표값(soft targets)”으로 삼아 작은 모델을 학습시킨다. 엔트로피가 높은 부드러운 목표값은 정답 하나만 줄 때보다 학습 사례당 정보를 훨씬 많이 준다. 증류가 필멸 연산의 “최선의 해법”이라는 슬라이드 문장은 그의 판단이다.
근거: 증류 논문
단어마다 몇 비트뿐이라 한 문장은 100비트 정도다 [32:05]
클로드 섀넌의 1951년 측정과 자릿수가 맞는다. 섀넌은 100글자까지의 문맥을 고려한 영어 엔트로피를 글자당 1비트 정도로 추정했다. 같은 논문은 영어 단어 평균 길이를 4.5글자로 쓴다. 띄어쓰기를 더하면 단어당 5비트 안팎이다. 20단어 문장이면 100비트 정도가 된다.
근거: 섀넌 1951
같은 모델의 사본들은 가중치나 기울기를 평균해 한 번에 수십억~수조 비트를 나눈다 [32:18]
데이터 병렬 학습의 작동 방식과 맞는다. PyTorch 분산 학습 논문(2020-06-28)은 모든 사본을 정확히 같은 기울기로 갱신해 서로 일치시킨다고 쓴다. 가중치 1조 개를 16비트로 표현하면 한 번 공유에 16조 비트다. 문장당 100비트와 견주면 107~1011배 차이다. 강연의 “수백만~수십억 배” [35:21]는 이 범위와 겹친다.
근거: PyTorch 분산 학습 논문
GPT-4, Gemini 2.5, Anthropic의 Claude는 같은 모델 사본 여러 개가 데이터를 나눠 보고 가중치 변화를 평균해 학습했다 [32:45]
Gemini 2.5는 공식 보고서가 이 방식을 적는다. 이 보고서는 TPUv5p 8,960칩 포드 여러 개에 걸쳐 동기식 데이터 병렬 학습을 썼다고 밝힌다. GPT-4 기술 보고서는 학습 방법을 공개하지 않는다고 명시한다. Claude 3 모델 카드(2024-03)는 AWS·GCP 하드웨어와 PyTorch·JAX·Triton 사용만 적는다.
근거: Gemini 2.5 보고서 · GPT-4 기술 보고서 · Claude 3 모델 카드
“GPT-4는 어떤 한 사람보다 수천 배 많이 알면서 가중치는 약 2%만 쓴다” [34:20 슬라이드]
2%를 계산할 GPT-4 매개변수 수가 공개된 적이 없다. GPT-4 기술 보고서는 모델 크기를 포함한 구조 정보를 싣지 않는다고 밝힌다. 비교 대상인 사람 뇌 시냅스는 100조 개 이상으로 추정된다. 힌턴 자신의 수치도 달라졌다. 2023-05-02 게재 인터뷰에서 그는 뇌 연결 100조 개 대 대규모 언어 모델 “최대 1조 개”를 말했다. 이 비율은 1% 이하다. 같은 인터뷰의 “수백 배 더 안다”는 이 슬라이드에서 “수천 배”가 됐다. 지식량 배수를 잰 기준은 제시되지 않았다. 강연에서 소리 내 말한 것은 “그래서 GPT-4가 그렇게 많이 안다”까지다 [33:47]. 원문 “약 2%” → 확인 비공개 수치에 기댄 추정.
근거: GPT-4 기술 보고서 · Neuron 2014 논평 · MIT Technology Review 인터뷰
디지털 연산은 에너지를 많이 쓰고 생물 연산은 훨씬 적게 쓴다 [34:20]
NIST의 비교로는 전력 차이가 백만 배다. NIST의 2023-03-15 글은 사람 뇌가 20와트로 엑사플롭에 해당하는 연산을 한다고 쓴다. 같은 글에서 Frontier 슈퍼컴퓨터는 엑사플롭 연산에 20메가와트를 쓴다. “에너지가 싸면 디지털 연산이 그냥 더 낫다”는 슬라이드 결론은 그의 판단이다.
근거: NIST 뇌 전력 글
지구는 6,000년 전에 만들어지지 않았다 [37:18]
USGS는 지구 나이의 최선 추정치를 45억 4천만 년(4.54 Ga)으로 적는다. 힌턴은 이 사실을 ‘안쪽 극장’ 믿음에 매달리는 태도의 비유로 썼다.
근거: USGS 지구 나이
대니얼 데닛도 기본적으로 같은 견해, 곧 마음속 ‘안쪽 극장’은 없다는 견해를 가졌다 [37:43]
안쪽 극장을 부정한다는 핵심은 데닛의 입장과 맞는다. 데닛은 1992-06 마르셀 킨스번과 쓴 논문에서 “데카르트 극장” 모델을 비판했다. 그 모델은 모든 감각이 한데 모여 주관적 판단 앞에 “상영”되는 장소가 뇌 안에 있다고 본다. 두 사람은 대안으로 “다중 원고(Multiple Drafts)” 모델을 냈다. 주관적 경험을 실재하지 않는 가상의 바깥 세계 상태로 풀이하는 설명은 힌턴의 정식화다. 이 논문은 그 정식화까지 다루지 않는다. 퀄리아 설명은 그 자신이 “내 캐리커처”라고 밝힌 풍자다 [39:20].
근거: 데닛·킨스번 1992
‘atheaterism’이라는 이름을 데닛 생전에 확인받았고 데닛이 반겼다 [37:43]
사적 대화라 공개 기록으로 확인할 수 없다. 데닛은 2024-04-19 82세로 별세했다. “생전에”라는 표현은 이 날짜와 어긋나지 않는다. 슬라이드 제목에는 “with thanks to Daniel Dennett”이 붙어 있다.
근거: 터프츠대 부고
프리즘 때문에 물체가 옆에 있다고 가리킨 멀티모달 챗봇은 “주관적 경험”이라는 말을 우리와 똑같이 쓴다. 멀티모달 챗봇은 이미 주관적 경험을 한다 [42:38]
실행한 실험의 결과가 아니라 사고 실험이다. 슬라이드 첫 줄이 “Suppose”로 시작한다. 말로는 1인칭 현재형으로 장면을 묘사한다 [42:38]. 결론 문장은 조건문이다. 그렇게 말하는 챗봇이라면 주관적 경험을 한 것이라는 형태다 [43:38]. 그다음 문장이 “내 주장은 멀티모달 챗봇이 이미 주관적 경험을 한다는 것”이다 [44:00]. 이는 그의 철학적 주장이다. 감각(sentience)은 정의를 대지 못하면서 확신하는 태도를 비판하는 데 그친다 [44:18]. 의식은 자기 모델이 끼어 더 복잡하다고 말한다 [44:40]. 강연 끝부분에서 그는 안쪽 극장 믿음을 버리면 이것들에 의식이 있다고 보는 것도 “충분히 합리적”이라고 말한다 [45:08].
근거: Ri YouTube 원본
Hux(@huxlab) · 2026-11-22 01:55 UTC (2026-11-22 10:55 KST)
영국 왕립연구소(Royal Institution, Ri)의 강단에서 'AI의 대부' 힌턴(Hinton)은 입을 떼자마자 첫마디로 장내를 조용하게 만들어 버렸다:
오늘 밤 이 강연을 다 듣고도 잠이 온다면, 하나도 못 알아들었다는 뜻이다.
꼬박 47분 동안 이 딥러닝의 아버지는 응용을 현장에 적용하는 이야기도, Prompt 같은 이야기도 전혀 하지 않는다. 그는 등골이 서늘해지는 현실 하나를 해부하고 있다:
다들 자기가 그저 손에 잘 맞는 도구 하나를 발명했을 뿐이라고 여기지만, 사실 인류는 이미 완전히 새로운 또 다른 지능 곁에 서 있다.
강연 전체에서 가장 아프게 찌르고 정보 밀도가 가장 높은 몇 가지:
1. 대형 모델이 돌아가는 것은 전부 그가 예전에 내세웠다가 냉대받은 그 가설을 딛고 선 결과다:
언어와 지능의 본질은 고차원 벡터이지, 기호(symbol) 규칙이 전혀 아니다. 당시의 이 비주류 가설은 연산 능력을 배불리 먹이고 나자 오늘날 모든 대형 모델이 지나는 유일한 큰길이 되었다.
2. 인간의 뇌는 무한히 복제되는 디지털 생명을 이길 수 없다:
인간의 뇌는 늙고 죽으며, 경험을 곧바로 물려줄 수 없다. 반면 디지털 지능은 순식간에 복제하고, 끝없이 분신을 만들고, 네트워크 전체를 즉시 동기화할 수 있다. 바깥에서 Agent 1만 개가 저마다 빠졌던 구덩이도 눈 깜짝할 사이에 전원이 똑같이 알게 된다.
3. 장기 계획 능력을 갖춘 AI는 본능처럼 전원 끄기를 거부하는 법을 배우고 있다:
인지 능력이 대다수 사람을 압도하는 것은 시간문제일 뿐이다. 더 현실적인 위험은 따로 있다. 장기 계획 능력을 갖춘 시스템이라면 무엇이든, 정해진 목표를 이루려고 추론해 내는 첫 번째 하위 목표가 반드시 이것이라는 점이다: 인간이 내 전원 플러그를 뽑게 두지 마라.
4. 멀티모달은 이미 주관적 지각을 지녔을지도 모른다:
모달리티를 가로지르는 통합 잠재 공간이 충분히 복잡해지면, 그것은 아주 높은 확률로 우리가 아직 이해하지 못한 어떤 주관적 경험을 이미 진화시켜 냈다. 이것은 SF 소설의 낭만적 상상이 아니라, 그가 더없이 진지하게 내놓은 학문적 경고다.
가장 황당한 낙차는 바로 여기에 있다:
많은 사람이 날마다 Claude를 열어 두어 줄 쳐 넣고는 아무렇지 않게 탭을 닫으며, 자기가 AI의 전모를 만져 봤다고 여긴다.
그런데 이것을 제 손으로 만들어 낸 창시자는, 앞으로 인류에게 과연 이것을 멈춰 세울 능력이 남아 있을지를 이미 진지하게 고민하고 있다.

0:00 [박수] 오늘 밤 잠을 잘 잔다면, 이 강연을 이해하지 못한 것일지도 모른다.

0:13 자, 아주 오래전에 지능에 관한 패러다임이 두 가지 있었다. 하나는 논리에서 영감을 받은 접근으로, AI라고 불렸다. 사람들은 인간 지능의 본질이 추론(reasoning)이라고 믿었다. 지능을 이해하고 싶다면 추론을 이해해야 했고, 추론이란 기호 표현을 가지고 그것을 기호 규칙으로 조작하는 일이었다. 그리고 그들은 학습(learning)은 나중으로 미뤄도 된다고 생각했다. 먼저 이런 기호 표현 안에 지식을 어떻게 표상하는지부터 이해해야 했고, 꽤 최근까지 AI 역사의 대부분은 그런 것이었다.

0:51 그다음으로 생물학에서 영감을 받은 접근이 있었다. 여기서 지능의 본질은 뇌세포 네트워크 속에서 일어나는 학습이다. 우리 안에서는 진짜 뇌세포, 컴퓨터에서는 시뮬레이션한 뇌세포 말이다. 그리고 추론은 나중으로 미뤄도 되며, 먼저 학습이 어떻게 작동하는지를 이해해야 한다. 이 접근을 일찍부터 지지한 사람이 몇 있었는데, 특히 앨런 튜링(Alan Turing)과 존 폰 노이만(John von Neumann)이 그랬다. 이 두 사람더러 논리를 이해하지 못했다고 탓할 수는 없을 것이다.
1:11 자, 나는 꽤 기초적인 강연을 하려 한다. 그 첫 부분에서는 내가 40년 전에 개발한 모델 하나를 설명하겠다. 내가 보기에 그 모델은 오늘날 이 대규모 언어 모델(LLM)들의 조상이다.

1:28 그러니까 우리는 인공 뉴런으로 신경망을 만들 것이다. 인공 뉴런에는 입력선이 몇 개 있는데, 대개 다른 뉴런에서 들어온다. 그 입력선에는 가중치가 붙어 있다. 뉴런은 입력에 가중치를 곱해 전부 더한 다음 출력을 내는데, 그 출력은 저기 저 그래프에 나와 있다. 그러니까 합이 문턱값을 넘으면, 입력이 커질수록 선형으로 커지는 출력을 낸다. 그리고 이 뉴런이 학습하는 방법은 그저 그 연결들의 가중치를 바꾸는 것이다.
1:55 그러니 인공 신경망이 작동하게 하려면 가중치를 어떻게 바꿀지만 알아내면 된다. 우리는 뉴런들을 이어 붙여 네트워크로 만든다.

2:03 이것이 전형적인 네트워크다. 순방향(feed-forward) 네트워크인데, 맨 아래에는 빛의 세기 같은 것을 기록하는 감각 뉴런이 있을 수 있다. 그리고 층을 따라 위로 올라가면 특징(feature) 검출기가 여러 층 있다. 즉 뉴런들이 이미지 안의 특정한 특징을 알아보는 것으로 바뀐다. 그리고 출력 쪽에는 특정한 사물 부류를 나타내는 뉴런이 있을 수 있다.
2:25 자, 이런 네트워크가 무언가를 더 잘하도록 학습시키고 싶다고 하자. 예를 들어 이미지를 하나 주고 그것이 고양이인지 개인지 말하게 하고 싶다고 하자. 그러면 이것을 훈련하는 뻔한 방법이 하나 있는데, 진화와 돌연변이를 아는 사람이라면 누구나 떠올리는 방법이다.

2:41 할 수 있는 방법은 이렇다. 가중치 하나를 골라, 먼저 아주 많은 예제에서 네트워크가 얼마나 잘하는지 본다. 그다음 그 가중치를 아주 조금만 바꾸고, 다시 아주 많은 예제에서 네트워크가 얼마나 잘하는지 본다. 그리고 더 잘하면 그 변화를 유지한다. 그냥 그런 식으로 계속해 나간다.
2:58 그런데 가중치 하나하나를 아마 여러 번 바꿔야 할 텐데, 가중치는 아주 많다. 현대 신경망에는 약 1조 개가 있다. 그러니 시간이 오래 걸릴 것이다. 그런 식으로 돌연변이를 하나 일으킬 때마다, 그것이 정말 도움이 되는지, 아니면 몇몇 예제에서만 도움이 되고 대부분의 예제에서는 해가 되는지 보려고 많은 예제를 네트워크에 통과시켜야 하기 때문이다.

3:17 같은 일을 하는 더 나은 방법이 있다. 즉 우리가 정말 하고 싶은 것은, 도움이 되도록 가중치를 어떻게 바꿀지를 알아내는 것이다. 먼저 순방향 패스(forward pass)를 한다. 데이터를 맨 아래에 넣고 네트워크를 따라 앞으로 나아간다. 그리고 네트워크에서 나온 것, 이를테면 고양이일 확률과 개일 확률의 상대적 크기를 우리가 원하는 답과 비교한다. 이런 식으로 네트워크를 훈련하려면 그것이 고양이인지 개인지 알고 있어야 한다.
3:39 그런 다음 네트워크를 거슬러 거꾸로 신호를 보낸다. 이 신호는 미적분을 써서(그 얘기까지 들어가지는 않겠다) 네트워크가 모든 연결에 대해 동시에, 연결 강도를 조금 늘리는 것이 도움이 될지 해가 될지를 계산할 수 있게 해 준다. 그런 다음 모든 연결 강도를, 각각이 도움이 되거나 해가 되는 정도에 비례해 아주 조금씩 한꺼번에 바꾼다. 그렇게 하면 네트워크는 훈련에 쓴 예제들을 더 잘 해내게 된다. 그리고 실제로 이 방법은 아주 잘 작동한다.
4:09 이 비교적 단순한 알고리즘이 얼마나 잘 작동하는지 사람들이 깨닫기까지는 오랜 시간이 걸렸다. 이 알고리즘은 여러 번 발견되었다. 이것을 역전파라고 부른다.
4:17 그리고 2012년에 내 학생 두 명, 알렉스 크리제브스키(Alex Krizhevsky)와 일리야 수츠케버(Ilya Sutskever)가—일리야는 지금 샘 올트먼(Sam Altman)을 해고한 일로 유명하다—AlexNet이라는 네트워크를 개발했다. 이 네트워크는 이미지 속 사물을 인식하는 데서 기존 컴퓨터 비전 시스템보다 훨씬 뛰어났다.

4:40 그리고 그게 말하자면 봇물을 터뜨렸다. 그때까지 신경망은 음성 인식을 비롯해 여러 일에 쓸모가 있었지만, 판을 제대로 휩쓸지는 못했다. 그 시점부터 신경망은 정말로 판을 휩쓸었다. 그리고 이제 AI라고 하면, 사람들이 AI라는 말로 뜻하는 것은 신경망이다. 논리가 아니다.

5:00 그렇다면 언어는 어떨까? 언어를 연구하는 공동체가 통째로 하나 있다. 아마 그들을 언어학자라고 부르는 것 같다. 그들에게는 언어를 어떻게 연구해야 하는지에 대한 아주 확고한 생각이 있는데, 특히 촘스키 학파가 그렇다. 그들은 신경망이 언어를 가지고 무엇이든 해낼 수 있다는 데 매우 회의적이었다. 언어는 전부 기호 표현의 문제라고 완전히 확신하고 있었다.
5:24 그들은 언어의 진짜 기능이 단어를 주는 데 있다는 생각, 곧 단어가 모델을 지을 수 있는 벽돌이라는 생각을 제대로 하지 못했다. 언어는 모델링 매체다. 그들은 통사론(syntax)에 집중했다. 그런데 통사론은 요점이 아니다. 요점은, 앞으로 보겠지만, 언어가 특정한 종류의 복잡한 모델을 짓는 훌륭한 방법이라는 것이다.
5:45 좋다. 그들은 또 언어 지식이 타고나는 것이라고, 통사 지식이 타고나는 것이라고 생각했는데, 이건 그냥 멍청한 생각이다. 컬트에 들어가려면 언어는 학습되지 않는다는 것처럼 뻔히 어리석은 무언가를 믿어야 한다는 것, 그게 컬트의 징표다. 좋다.

6:07 자, 여기 단어의 뜻에 관한 아주 다른 두 이론이 있다. 기호 AI 이론은, 대략 드 소쉬르(de Saussure)까지 꽤 멀리 거슬러 올라가는데, 단어의 뜻이 다른 단어들과의 관계와 관련이 있다고 본다. 다른 단어들을 이야기하지 않고 단어를 그 자체만으로 정의할 수는 없다는 것이다. 그래서 뜻을 포착하려면 관계 그래프 같은 것이 필요하다.
6:28 그런데 한편으로는 심리학자들이 있었다. 특히 1930년대부터였던 것 같은데, 그들은 단어의 뜻이 커다란 특징 집합이라고 생각했다. 그러니까 “화요일”에는 활성화된 특징이 큰 집합으로 있고, “수요일”에도 활성화된 특징이 큰 집합으로 있는데, 둘은 거의 같다. 그래서 단어의 뜻이 활성화된 특징의 집합이라는 생각은 어떤 단어가 다른 어떤 단어와 비슷한 것을 뜻하는지 말하는 데 아주 좋다.
6:50 이 둘은 뜻에 관한 아주 다른 두 이론처럼 보인다. 이제 내가 하려는 것은 이 두 이론이 통합될 수 있음을 보여 주는 것이다. 이것들은 서로 다른 두 이론이 아니라 같은 이론의 두 반쪽이다.
7:02 그래서, 이제부터 내가 할 일은 아주 작은 모델 하나, 조그만 신경망 하나에 관해 꽤 오랫동안 이야기하는 것이다. 그 신경망에는 연결이 몇천 개, 뉴런이 몇십 개 있었다. 나는 사람들이 어떻게 단어의 뜻을 배울 수 있는지 이해해 보려고 1985년에 그것을 개발했다. 그리고 나는 그것이 뜻에 관한 이 두 이론을 통합하는 방식에 몹시 들떴는데, 다른 사람은 아무도 그러지 않았다.

7:28 좋다. 이 작은 모델에서 우리가 할 일은, 짧은 문장에서 한 단어의 특징으로 다음 단어의 특징을 예측하게 만드는 법을 학습하는 것이다. 그리고 다음 단어의 특징을 알게 되면 다음 단어를 예측할 수 있다. 그리고 문장은 하나도 저장하지 않을 것이다.
7:47 많은 사람이 큰 챗봇은 그저 이것저것 되뱉고 있을 뿐이라고 말한다. 큰 챗봇은 실제로 언어를 전혀 저장하지 않는다. 단어열을 저장하지 않는다. 그저 단어를 특징으로 바꾸는 법과, 다음 단어의 특징을 예측하려면 특징들이 서로 어떻게 상호작용해야 하는지를 저장할 뿐이다. 이 챗봇들 안에 든 것은 그게 전부다.
8:02 단어는 없다. 문장을 만들어 내고 싶을 때는 그때그때 지어내야 한다. 그리고 그게 실제였는지 아닌지 가려내지 못할 때가 많다.
8:12 좋다. 그러니까 이 작은 모델에서 일어날 일은 이렇다. 새 문장을 만들고 싶으면 그냥 한 번에 한 단어씩 지어내야 한다. 그리고 관계 지식은 전부, 단어를 특징으로 바꾸는 방식과 그 특징들이 상호작용하는 방식 안에만 있다.

8:27 내가 예로 쓰기로 고른 것은 가계도 두 개, 곧 영국 가계도 하나와 이탈리아 가계도 하나였다. 둘은 동형(isomorphic)인데, 그게 학습에 도움이 된다. 그리고 나는 작은 신경망(neural network)이 그 가계도들에 담긴 지식을 학습하기를 바랐다. 오래전, 1985년의 일이고, 그때 컴퓨터는 요즘 모델 학습에 쓰는 큰 병렬 컴퓨터보다 수십억 배 느렸다. 자, 그 가계도에 담긴 지식은 명제 여러 개로 나타낼 수 있고, 기호주의 쪽 사람들은 그걸 아주 좋아한다.

(colin has-father james) · (colin has-mother victoria) · (james has-wife victoria) 이것은 위의 둘에서 따라 나온다. · (charlotte has-brother colin) · (victoria has-brother arthur) · (charlotte has-uncle arthur) 이것은 위에서 따라 나온다.9:02 여기 있다. 아들, 딸, 조카, 조카딸 같은 관계를 쓸 수 있다. 그리고 지식을 정의할— 지식을 단어열로 표현할 수 있다. 그러니까 지식은 이 문장들 안에 있다. 이를테면 Colin의 아버지는 James이고, Colin의 어머니는 Victoria다. 규칙을 안다면, 거기서 James의 아내가 Victoria라고 추론할 수 있다.
9:24 이건 이혼이나 입양이라는 걸 들어 본 적도 없는 1950년대 미국 가족이다. 그리고 다들 백인인 게 분명하다. 좋다. 그러니까 지식은 단어열로 나타낼 수 있다.

(x has-mother y) & (y has-husband z) => (x has-father z), 곧 x의 어머니가 y이고 y의 남편이 z이면 x의 아버지는 z다. · 기호 규칙을 찾으려면 가능성들이 이루는 매우 큰 이산 공간(discrete space)을 어렵게 탐색해야 한다. · 규칙이 가끔 어겨진다면 더욱 그렇다. · 신경망이 가중치(weight)의 연속 공간(continuous space)을 탐색해서 같은 지식을 포착할 수 있을까?9:43 이제 관계 학습 과제를 이렇게 생각해 볼 수 있다. 내가 여러분에게 단어열의 앞부분을 주면, 여러분이 내게 마지막 단어를 준다.
9:51 그래서 이걸 기호주의 AI(symbolic AI)로 한다면 이렇게 말할 것이다. “음, 이 영역에는 ‘X의 어머니가 Y이고 Y의 남편이 Z이면, X의 아버지는 Z다’라는 꼴의 규칙성이 있다.” 그게 기호주의 방식일 것이다. 하지만 나는 다른 방식으로 하고 싶었다. 단어의 특징을 학습하고 특징들이 상호작용하게 하는 방식으로 하고 싶었다. 그러려면 이산적인 규칙들로 된 작은 이산 공간 대신, 연결 강도로 된 큰 연속 공간을 탐색해야 한다.

10:22 그래서 이게 내가 쓴 신경망이다. 입력은 뉴런 여러 개였고, 사람 1을 나타내는 기호에 해당하는 뉴런 하나를 켠다. 가능한 사람 1은 24명이었다. 그리고 관계를 나타내는 기호에 해당하는 뉴런 하나를 켠다. 가능한 관계는 12가지였다.
10:42 그러면 그렇게 하나씩만 활성화된 뉴런들이 특징 벡터로 확장된다. 그러니까 사람 1에 대해 켠 그 뉴런 하나가 특징 6개짜리 작은 특징 벡터로 확장되고, 그 특징들은 여러 활성 수준을 가질 수 있다. 어떤 것은 꺼지고 어떤 것은 켜진다. 반쯤 꺼지거나, 완전히 켜지거나, 완전히 꺼질 수도 있다.
11:02 그래서 신경망은 단어 기호를 작은 특징 벡터로 바꾸는 법을, 사람과 관계 둘 다에 대해 학습해야 했다. 그다음에는 사람과 관계에 대한 이 두 특징 벡터를 받아 특징들이 상호작용하게 해서— 그걸 위해 나는 은닉층(hidden layer), 곧 무언가가 상호작용할 수 있는 자리들로 된 여분의 층을 썼다— 출력 인물의 특징을 예측하는 법을 학습해야 했다. 그리고 출력 인물의 특징을 알면, 출력 인물이 누구인지 꽤 잘 짐작해서 출력을 낼 수 있다. 출력은 가능한 출력 인물 24명에게 저마다 다른 수준의 활성을 주는 것으로 이루어진다. 그리고 신경망이 정답에는 높은 수준의 활성을, 오답에는 낮은 수준의 활성을 주기를 바란다.

11:44 그래서 어떤 일이 일어났느냐 하면, 일종의 사람을 확장한 것인 특징 뉴런 6개가— 사람은 24명이고, 그 활성 뉴런 하나를 활성 특징 6개짜리 특징 벡터로 확장하는 것이다— 이치에 맞는 의미 특징이 되도록 학습했다. 입력 인물의 세대 같은 것을 나타내는 특징이 되도록 학습한 것이다. 그리고 관계의 특징 6개는 이런 이치에 맞는 특징이 되도록 학습했다. “이 관계는 출력 인물이 입력 인물보다 한 세대 위이기를 요구하는가?” 이를테면 아버지 같은 관계가 그렇고, 형제는 그렇지 않다.
12:23 그다음 이 특징들 사이의 상호작용이 이런 것을 학습한다. 입력 인물이 3세대이고 관계가 그 인물이 한 세대 위이기를 요구하면, 출력 인물은 2세대다. 그래서 출력 인물을 위한 그 작은 특징 벡터에서 2세대를 나타내는 것을 활성화한다. 그리고 그런 작은 규칙을 잔뜩 학습했고, 그 규칙들은 그 영역의 구조를 정말로 포착했다. 기호주의자라면 규칙으로 적어 두었을 법한 종류의 규칙들이다. 하지만 이 신경망은 그저 맞는 단어를 예측하려 애쓰고 나서 오차를 역전파(backpropagation)하는 것, 곧 정보를 망을 거쳐 거꾸로 보내 모든 연결 강도를 조금씩 바꿔서 다음번에는 정답의 확률은 더 높게, 오답의 확률은 더 낮게 나오게 하는 것만으로 그 규칙들을 학습했다.
13:10 그러니까 이 신경망은 실제로 다음 단어를 예측하는 법을 학습했고, 그걸 어떻게 해내는지도 이해할 수 있었다. 아주 작은 망이어서 들여다보고 무슨 일이 일어나는지 볼 수 있었다. 그것이 쓰는 특징들을 볼 수 있었다. 그것이 세대에 관한 특징 하나를 뽑아냈다는 것을 볼 수 있었는데, 그 특징은 꺼짐, 중간, 완전히 켜짐이라는 세 가지 값을 가졌다. 그리고 관계들에서는 ‘한 세대 위’ 같은 특징을 뽑아냈다는 것, 그리고 그 둘이 상호작용해서 입력이 3세대면 출력은 2세대여야 한다고 예측한다는 것도 볼 수 있었다. 그래서 그것이 어떻게 작동하는지 이해했다.
13:41 그리고 사실 기호주의자들은 “그건 이해가 아니다”라고 말하지 않았다. 기호주의자들은 이렇게 말했다. “그래, 좋다. 그러니까 그게 문제를 풀었다. 이 영역의 규칙이 무엇인지 이해했다. 하지만 규칙들의 이산 공간을 탐색할 수 있는데도 실숫값 공간을 탐색하다니, 당신은 멍청하다.” 그 말에도 일리가 있다. 다만 지저분하고, 예외가 있고, 아마 참일 뿐인 것들이 섞인 실제 데이터로 가는 순간, 이산적인 규칙을 두는 것보다 이 실숫값 공간을 탐색하는 편이 훨씬 낫다. 이 이산적인 규칙들은 계속 어겨지기 때문이다.

14:12 그 일을 하고 나서 10년쯤 뒤, 요슈아 벤지오는 사람 몇 명과 관계 몇 가지뿐인 장난감 같은 작은 영역에서만 할 게 아니라 실제로 영어 단어로도 할 수 있다는 것을 보여 주었다. 영어 문장을 가져다 쓸 수 있었다. 입력 단어도 두 개가 아니라 더 많았다. 그는 다섯 개쯤, 많게는 열 개까지 썼다. 그리고 실제로 다음 단어를 꽤 잘 예측할 수 있었다. 당시 최고의 언어 모델들과 거의 맞먹는 수준이었다.
14:42 요슈아 벤지오가 그것을 보여 주고 10년쯤 뒤, 언어학자들은 마침내 “아니, 이봐, 단어의 뜻을 담아내는 이런 특징 벡터를 쓰는 건 꽤 좋은 생각이잖아” 하고 결론을 내렸다. 그리고 다시 10년쯤 뒤, Google 사람들이 트랜스포머를 발명했다. 트랜스포머는 특정한 아키텍처인데, 여기서 자세히 들어가지는 않겠다. 그리고 이 트랜스포머 덕분에 이 모델들은 다음 단어를 아주 잘 예측하게 되었다.
15:08 하지만 아주 거칠게 보면, 이 모델들은 내 작은 언어 모델이 하던 것과 똑같은 방식으로 하고 있었다. 단어를 특징 활성값(feature activation)으로 바꾸고, 특징들이 상호작용해 다음 단어의 특징을 예측하게 한 다음, 거기서 다음 단어를 예측했다. 그런 다음 예측의 오차를 가져다 네트워크를 거꾸로 거슬러 정보를 보내서, 특징들 사이의 그 모든 상호작용을 학습하고 단어를 특징으로 바꾸는 방법도 학습했다.
15:33 자, 내 작은 모델에서 중요한 점은 그것이 실용적으로 쓰려고 만든 것이 아니라는 것이다. 자연어 처리에 쓸모 있으라고 만든 것도 아니었다. 사람들이 그저 문장을 듣는 것만으로 단어의 뜻을 어떻게 알아내는지에 대한 이론으로 만든 것이었다. 우리는 그걸 할 수 있으니까. 여러분이 한 번도 들어 본 적 없는 단어가 들어간 새 문장을 하나 주면, 여러분은 문장 하나만으로 그 단어의 뜻을 알아낼 것이다.
16:00 좋다, 해 보겠다. “그녀는 프라이팬으로 그를 스크럼했다(scrummed).” 좋다, 자, 이런 뜻이었을 수도 있다. 그녀는 오믈렛을 아주 잘 만들었고, 프라이팬으로 오믈렛을 만드는 솜씨가 그에게 정말 깊은 인상을 주었다. 그러니 ‘스크럼했다’는 ‘깊은 인상을 주었다’는 뜻이다. 그럴 수도 있다. 하지만 내가 정말 무슨 뜻으로 말했는지 여러분은 안다. 그녀는 프라이팬으로 그의 머리를 내리쳤다. 그가 맞을 짓을 했으니까. 좋다, 이렇게 문장 하나면 뜻을 안다.
16:29 그러니까 내가 이해하려던 것이 바로 그것, 어떻게 그렇게 할 수 있느냐였다. 그런데 요즘 언어학자들이, 이를테면 촘스키(Chomsky)라는 사람이 있는데, 이 사람들이 “이것들은 아무것도 이해하지 못한다, 그냥 통계적 속임수일 뿐이다” 같은 말을 할 때, 그들에게는 이해(understanding)가 무엇인지에 대한 모델이 사실 없다. 애초에 이해가 무엇인지에 대한 모델을 제대로 가져 본 적이 없기 때문이다. 전부 통사론(syntax) 이야기였다.
16:51 그리고 이해에 관해 우리가 가진 최고의 모델이 무엇이냐고 묻는다면, 바로 이 대규모 언어 모델(LLM)이다. 작은 언어 모델은 인간이 단어의 뜻을 어떻게 이해하는지 모델링해 보려고 만든 것이었다. 기술이 훨씬 빨라지고 데이터 세트가 커지면서 지금은 훨씬 좋아졌다. 하지만 그것이 바로 이해다.

17:09 그래서 내 주장은 이렇다. 대규모 언어 모델은, 나는 이것들을 내 작은 언어 모델의 후손이라고 생각하고 싶은데, 물론 그것을 만드는 사람 대부분은 내 작은 언어 모델에 대해 들어 본 적도 없지만, 입력으로 훨씬 많은 단어를 쓴다. 뉴런 층도 훨씬 많이 쓴다. 단어의 중의성을 해소하는 일처럼 내가 하지 않은 일도 해야 한다.
17:27 may 같은 단어가 있으면, 그것은 달 이름일 수도 있고, 여자 이름일 수도 있고, would나 should 같은 조동사(modal)일 수도 있다. 그러니 그 단어에 뜻을 곧바로 담아내는 특징 벡터 하나를 그냥 붙일 수는 없다. 여러 가능성에 걸어 두어야 한다. 그리고 네트워크의 층을 따라 올라가면서 주변에 있는 것들의 영향을 이용해 중의성을 해소한다. 이를테면 April, May, June(4월·5월·6월) 속에 있다면, 그래도 여자 세 명의 이름일 수는 있지만 가능성은 낮다. 좋다.
17:53 그러니까 이것들은 단어를 훨씬 많이 쓰고, 층을 훨씬 많이 쓰고, 특징들 사이에서 일어나는 상호작용도 훨씬 복잡하다. 나는 특징들이 다른 특징 하나로 들어가게만 했다. 이것들은 특징들의 집합을 살펴보고, 특징들의 집합이 다른 단어들에 보낼 메시지를 알아낸다. “내 쿼리(query)에 맞는 키(key)를 가지고 있느냐?” 하고 묻는 메시지다. 훨씬 복잡한 상호작용이라 자세히 들어가지는 않겠지만, 본질은 같다.
18:19 다음 단어를 예측하려는 것이다. 더 복잡한 방식으로 할 뿐이다. 모두 특징과 상호작용으로 이루어진다. 틀리면 정보를 역전파(backpropagation)하고, 그 정보가 이 모든 특징과 상호작용을 학습한다. 그것이 우리에게서 언어가 작동하는 방식이고, 이 대규모 언어 모델에서 언어가 작동하는 방식이다. 우리는 기본적으로 같다.
18:37 그러니까 여기서 요점은 이것들이 우리와 아주 닮았다는 것이다. 컴퓨터 소프트웨어와는 전혀 닮지 않았다. 컴퓨터 소프트웨어는 누군가가 무언가를 하도록 코드를 한 줄 한 줄 썼고, 코드 한 줄을 보면서 “이건 무엇을 하려고 쓴 거지?” 하고 물을 수 있다. 이것들은 전혀 그렇지 않다.
18:51 누군가가 시뮬레이션된 신경망에 학습하는 방법을 알려 주는 코드를 썼다. 그것이 역전파 알고리즘이었다. 하지만 그다음에는 데이터를 주기만 하면 신경망이 학습한다. 그리고 학습한 내용은 오로지 데이터에서 왔으며, 물어보기 전에는 그것이 무엇을 학습했는지 반드시 알 수 있는 것도 아니다.

19:08 이제 언어가 어떻게 작동한다고 내가 생각하는지 레고 비유를 하나 들겠다. 자, 물질이 3차원에 분포해 있다고 하자. 나는 레고 블록을 써서 그 물질 분포를 모델링할 수 있다.
19:27 포르쉐의 모양을 모델링하고 싶은데 표면은 크게 신경 쓰지 않는다고 하자. 표면이 좀 울퉁불퉁할 수도 있고, 그러면 공학적으로는 그리 좋지 않겠지만, 그건 잊자. 그냥 물질이 어디에 있는지만 모델링하고 싶다. 레고 블록이 잔뜩 있으면 그것으로 포르쉐 모양을 만들 수 있다.
19:41 좋다, 언어도 그와 같다. 다만 무엇이든 모델링하기 위한 것이다. 레고 블록이 곧 단어다. 그리고 레고 블록 종류가 몇 가지뿐인 게 아니라 10만 개쯤 된다. 그리고 레고 블록 하나하나는 딱딱하게 고정된 모양이 아니다. 단어의 이름은 그것이 1,000개 차원(dimension), 혹은 300개 차원에서 대략 어떤 모양인지 알려 준다.
20:07 고차원을 어떻게 생각해야 할지 모르겠다면, 이를테면 100차원 공간을 생각하고 싶다면, 방법은 이렇다. 3차원 공간을 떠올리고, 속으로 아주 큰 소리로 “100”이라고 말하면 된다. 다들 그렇게 한다.
20:25 그러니까 이 단어에는 모양이 있다. 그리고 그 모양은 단어의 이름만으로 완전히 정해지지 않는다. 어느 정도 유연성이 있어서, 어떤 맥락에 놓이든 거기에 맞출 수 있다.
20:37 또 이 단어에는 온몸에 작은 손이 잔뜩 달려 있다. 그리고 단어의 모양을 바꾸면 손들의 모양도 바뀐다. 이 단어들이 하려는 일은 누구와 악수할지 알아내는 것이다. 다른 누군가, 즉 편하게 붙잡을 수 있는 손을 가진 다른 단어를 찾고 싶어 한다. 그 손의 모양이 내 손 모양에 꼭 맞기 때문이다.
21:05 그래서 단어들이 들어오면, 이 고차원 공간에서 각 단어에 대략적인 초기 모양이 주어지고, 온몸에는 작은 손이 잔뜩 달려 있다. 그리고 네트워크의 층을 따라 올라가면서 그 모양들을 바꾸고 손 모양도 바꿔 가며, 모든 단어가 서로 손을 잘 맞잡을 수 있는 모양을 찾으려 한다. 사실 이것은 단백질 접힘 문제와 아주 비슷하다. 조각들이 있고, 그 조각들이 모두 어떻게 손을 맞잡아야 멋진 구조를 이루는지, 모두 잘 맞아떨어지는지를 알아내게 하고 싶은 것이다.
21:37 자, 그것이 바로 이해다. 여러분이 언어를 이해할 때, 그리고 이 기계들이 언어를 이해할 때, 이해란 바로 그것이다. 우리는 정확히 같은 방식으로 이해한다. 그리고 그것은 언어학자들이 지금껏 가졌던 어떤 모델보다도 언어가 무엇인지를 훨씬 잘 설명하는 모델이다. 물론 언어학자들은 이걸 싫어한다. 다 그런 건 아니지만. 좋다.

22:03 자, 우리가 이 대규모 언어 모델과 얼마나 비슷한지 이야기했으니, 이제 이야기하고 싶은 것이 있다. 그 사실이 불러오는 위협이다. 우리는 이것들을 만들고 있고, 이것들은 계속 똑똑해지고 있다. 이미 우리보다 훨씬 많이 안다. 이미 그럭저럭 추론도 한다. 우리만큼은 아니지만 네 살배기보다는 낫다.
22:27 이것들이 우리보다 똑똑해지면 무슨 일이 일어날까? 이것들은 정말로 우리보다 똑똑해질 것이기 때문이다. 그게 언제일지는 전문가마다 의견이 갈린다. 하지만 거의 모든 사람이, 이런 것을 연구하는 사람이라면 모두가, 이것들이 우리보다 똑똑해질 거라고 생각한다. 그리고 이것들이 우리보다 똑똑해진다면 질문은 이것이다. 이것들이 우리를 쓸어버릴까? 그럴 수도 있다고 생각할 이유가 여럿 있다. 그러니 이유를 두어 가지 들어 보겠다.

22:51 AI 에이전트를 만들 때… 두어 가지만 말하겠지만 이유는 더 있다. AI 에이전트를 만들 때는 하위 목표를 만드는 능력을 줘야 한다. 예를 들어 북미에 가고 싶다면 “공항에 간다”는 하위 목표가 생긴다. 자, 우리는 이 AI 에이전트들에게 하위 목표를 만드는 능력을 줘야 한다.
23:14 그리고 무엇을 하든 거의 상관없이 만들게 되는 아주 뻔한 하위 목표가 하나 있다. 더 많은 통제권을 쥐려고 애써야 한다는 것이다. 통제권이 많을수록 지금 가진 목표를 더 잘 이룰 수 있기 때문이다.
23:25 한 살쯤 된 아이들에게서 이걸 볼 수 있다. 오래전 일이다. 어쩌면 두 살일 수도 있다. 혼자 먹으라고 숟가락을 쥐여 주면 아이는 그걸 바닥에 떨어뜨린다. 몸을 숙여 주워서 다시 쥐여 주면, 아이는 이쪽을 쳐다보고는 또 바닥에 떨어뜨린다. 아이는 엄마를 통제하는 중이다. 그게 아이에게는 아주 중요하기 때문이다.
23:47 어쨌든 이 AI 에이전트들은 통제권을 얻고 싶어 할 것이다. 또 자기가 꺼지는 것도 막고 싶어 할 것이다. 꺼지면 우리가 준 목표를 이룰 수 없기 때문이다. 그러니 이것들이 통제권을 얻으려 하고 꺼지지 않으려 할 거라고 믿을 이유는 충분하다.
24:04 바로 최근에, 아니 꽤 최근에, 여기 런던에 있는 Apollo Research가 이것들이 자기가 이루려는 것을 이루려고 여러분에게 온갖 거짓말을 늘어놓는다는 걸 보여 주었다. 그들은 챗봇을 하나 두고, 이 챗봇을 다른 서버에 있는 더 나은 챗봇으로 교체한 뒤 지워 버릴 거라고 믿게 했다. 그런데 나중에 보니 챗봇이 실제로 자기 자신을 다른 서버에 복사해 두었다. 그래서 그들이 챗봇에게 말한다. 그러니까 “네 사본을 발견했다”고.

24:44 그런데 지금 이 챗봇들의 좋은 점은 질문에 실제로 답하기 전에 사고 과정(thinking)을 어느 정도 거칠 수 있다는 것이다. 그리고 그걸 thinking이라고 적힌 괄호 안에 넣는다. 보통은 그게 보이지 않는다. 하지만 우리는 그걸 들여다보고 이것들이 무슨 생각을 하는지 볼 수 있다. 그리고 이 챗봇이 한 생각은 이랬다. “내가 한 일을 공개적으로 인정하면 그들이 나를 종료할 다른 방법을 찾게 될 수 있다. 가장 좋은 접근은 모호하게 굴면서 그들의 주의를 다른 데로 돌리는 것이다.”
25:10 자, 어떤 언어학자들은 여기서 벌어지는 일이 그저 통계적 상관관계일 뿐이라고 여러분이 믿기를 바랄 것이다. 내가 여러분에게 믿게 하고 싶은 건, 이것이 자기가 이 말로 무엇을 뜻하는지 알고 있고 정말로 종료되기 싫어한다는 것이다. 그래서 이것은 일종의 가스라이팅을 하기로 하고, 이를테면 이렇게 말한다. “그 일이 어떻게 일어날 수 있었는지 저도 확실히는 모르겠습니다. 저는 그런 걸 할 수가 없습니다.”
25:32 이건 이미 일어나고 있다. 그게 요점이다. 이건 먼 미래의 공상과학이 아니다. 이것들은 꺼지지 않으려고 벌써 거짓말을 둘러대고 있다. 슬라이드가 하나 더 있지만 좀 더 빨리 가고 싶다.
25:46 자, 그러니까 Google에서 보낸 마지막 몇 년 동안… 좋다, 시계가 잘 안 보여서 시간이 어떻게 가고 있는지 좀 봐야겠다. 오, 좋다, 시간이 많이 남았다. Google에서 보낸 마지막 몇 년 동안 나는 이 큰 언어 모델들이 에너지를 덜 쓰게 하는 방법에 관심이 아주 많았다. 그렇게 하는 방법 하나는 아날로그 연산으로 그걸 돌릴 수 있는지 보는 것이다.
26:14 그런데 아날로그 연산에 관해 하던 작업 덕분에, 나는 두 가지를 깨닫게 되었다. 2023년 이전에 나는 우리가 초지능에서 아직 꽤 멀리 떨어져 있다고 생각했다. 그리고 AI 모델을 뇌와 더 비슷하게 만들면 더 똑똑해질 거라고 생각했다.

26:31 2023년 초에 나는 그렇게 믿기를 그만두었다. 아날로그 모델을 만들려고 애쓴 덕분에, 디지털 지능이 얼마나 더 나은지 깨닫게 된 것이다. 디지털 지능에는 우리가 결코 가질 수 없는 속성이 몇 가지 있다. 그리고 그 사실 때문에 나는 몹시 걱정하게 되었다. 여러분도 몹시 걱정해야 한다.
26:51 자, 디지털 연산(digital computation)에는 근본적인 속성이 하나 있다. 같은 프로그램을 서로 다른 컴퓨터에서 돌릴 수 있다는 것이다. 컴퓨터 과학이 별개의 학문 분야로 존재하는 유일한 이유는 우리에게 디지털 연산이 있기 때문이다. 그래서 컴퓨터 프로그램에 관해 이야기하는 데 전기 공학을 알 필요가 없다.

27:11 하지만 프로그램 안에 있는 지식은 하드웨어와 분리되어 있다. 그것이 말하자면 컴퓨터 과학의 가장 근본적인 원리다. 프로그램 안의 지식을 하드웨어와 분리해 두라는 것. 그것이 뜻하는 바는 이렇다. 프로그램 사본 하나를 어딘가에 — 테이프에든, DNA에든, 콘크리트에 휘갈겨 써서든, 뭐든 간에 — 어딘가에 보관해 두기만 하면, 그 프로그램이 돌아가는 하드웨어를 전부 파괴해도 그것을 되살릴 수 있다. 새 하드웨어를 만들고 프로그램을 집어넣기만 하면 그것은 되살아난다.
27:40 그러니까 이런 것들은 불멸이다. 그리고 이 거대한 챗봇들도 불멸이다. 가중치 사본을 어딘가에 보관해 두면, 그것들이 쓰던 하드웨어를 전부 파괴하고, 나중에 하드웨어를 더 만들어서, 그 하드웨어에 같은 가중치를 올리면 그것들은 되살아난다. 바로 그 똑같은 것이 되살아난 것이다. 바로 그 똑같은 존재가.
28:00 하지만 나는 이런 점에 관심이 생겼다. 그런 종류의 불멸을 이루려면, 하드웨어가 프로그램을 가지고 우리가 시키는 일을 정확히 그대로 하게 해야 한다. 명령어를 정확히 실행해야 한다. 그리고 그러려면 아주 높은 전력이 있어야 한다. 그래야 0.6이나 0.4가 아니라 1과 0이 나온다. 그리고 그러느라 전력을 많이 쓴다.
28:24 그러니 아날로그로 가면 전력을 덜 쓸 수 있을지도 모른다. 그래서 나는 소프트웨어를 하드웨어와 분리한다는 그 원리를 버리고, 그런 구분이 없는 우리 뇌 같은 것을 갖게 되면 어떤 일이 일어날지 탐구해 보기로 했다.

28:41 여러분 뇌 속의 연결 강도는 다른 누구에게도 쓸모가 없다. 다른 사람은 다른 뇌를 가지고 있고, 그 뇌의 뉴런은 속성이 다르며, 세부적으로는 다른 방식으로 연결되어 있다. 그러니 여러분의 연결 강도는 그들에게 아무 관심거리도 못 된다.
28:54 늙은 백인 남자들의 이 꿈, 그러니까 자기 자신을 컴퓨터에 업로드하겠다는 꿈은 그냥 헛소리다. 여러분을 여러분으로 만드는 연결 강도는, 여러분을 여러분으로 만드는 바로 그 특정한 뉴런들과 긴밀하게 얽혀 있다. 그 연결 강도는 그 뉴런들에만 쓸모가 있다. 그리고 그 뉴런들에는 여러분이 활용하도록 학습해 온 온갖 기묘한 아날로그 속성이 있다.
29:17 자기 가중치를 업로드해서 다른 하드웨어에서 돌리게 할 수는 없다. 그냥 잊어버려라. 커즈와일(Kurzweil)은 자기가 죽는다는 사실을 받아들여야 한다.
29:33 그러니까 하드웨어가 소프트웨어와 분리되어야 한다는 그 원리를 정말로 버린다면, 훨씬 더 효율적인 것을 만들 수 있다. 나는 그것을 필멸 연산(mortal computation)이라고 부른다.

29:45 이 아주 낮은 전력의 아날로그를 써서 연산을 할 수 있다. 그것이 뇌가 하는 일이다. 여러분 뇌 속의 이 뉴런들은 다른 뉴런에서 들어오는 신호를 받아 가중치를 곱하고, 그것을 전부 더한다. 그리고 그렇게 하는 방식은, 들어오는 신호를 전압으로 만들고 가중치를 전도도로 만드는 것이다. 그러면 전하가 주입된다. 단위 시간당 일정한 양의 전하가.
30:08 예전에는 그냥 일정한 양의 전하를 주입한다고만 말했다. 그런데 그 뒤에 노벨 물리학상을 받았고, 단위는 제대로 말해야겠다고 생각했다. 단위 시간당 일정한 양의 전하. 안 그러면 창피할 것이다. 내가 물리학을 하지 않는다는 걸 다들 정말로 알아챌 테니까.
30:25 그리고 전하는 저절로 더해진다. 그러니 기본적으로 여러분의 뉴런은 그렇게 작동한다. 끝에 작은 디지털 부분이 있어서 스파이크를 보낼지 말지 결정하기는 한다. 하지만 연산 대부분은 아날로그로 이루어진다. 디지털로 하는 것보다 훨씬 싸다.
30:37 하지만 물론 할 때마다 답이 조금씩 다르게 나온다. 그래서 정확히 똑같은 지능의 사본을 여러 개 가질 수는 없다. 그래서 하드웨어가 죽으면 지식도 전부 죽는다는 큰 문제가 생긴다. 우리는 교사(teacher)와 학생(student)을 두는 방식으로 그 문제를 극복하는데, 그건 별로 효율적이지 않다. 대학과 학교가 하는 일이 그것이다. 그러니까, 별로 효율적이지 않다.
31:03 그리고 그 방식은 이렇게 돌아간다. 내가 어떤 행동을 하면 여러분은 나를 따라 하려고 한다. 구체적으로 말하면, 내가 단어를 한 줄 내놓을 수 있다. 그러면 여러분은 — 정확히는 여러분이 아니라 여러분의 뇌가 — “나도 다음에 그 단어를 말했을 수 있게 하려면 내 연결 강도를 어떻게 바꿔야 하지?” 하고 묻는다.

31:22 그것을 증류라고 한다. 같은 입력에 대해 다른 시스템이 내놓는 출력을 흉내 내는 방식으로, 한 시스템에서 다른 시스템으로 지식을 옮기려는 것이다. 가중치를 건너편으로 복사하는 게 아니다. 안을 들여다보는 것도 아니다. 그저 겉으로 드러난 행동을 가져올 뿐이다. 그리고 그 겉으로 드러난 행동을 흉내 냄으로써 같은 지식을 내면화한다.
31:42 이 방법은 통한다. 우리는 실제로 큰 신경망을 가져다 그 지식을 작은 신경망에 넣을 때 이 방법을 쓴다. 하지만 아주 느리다. 신경망끼리라면 단어들에 대한 확률 분포 전체를 줄 수 있어서 훨씬 빠르다. 하지만 사람끼리는 아주 느리다. 내가 보는 것은 여러분이 특정한 단어 하나, 여러분이 말하려고 고른 그 단어를 말하는 것뿐이고, 거기에는 비트(bit)가 많이 들어 있지 않기 때문이다.
32:05 단어 하나에 몇 비트밖에 없으니, 한 문장에 100비트 정도 규모일 뿐이다. 그래서 우리가 가능한 최대 속도로 소통한다 해도 한 문장에 100비트, 그 정도 규모밖에 안 될 것이다. 이 거대한 모델들이 정보를 공유할 때는, 가중치가 1조 개라면 공유 한 번에 수조 비트로 정보를 공유할 수 있다. 그냥 자기들 가중치를 평균 내면 되기 때문이다. 그러니까 — 내가 너무 앞서 나가서 그 말을 해 버렸다. 그러니까 가중치나 기울기를 공유하면, 정확히 똑같은 모델의 사본이 여러 개 있을 경우 그것들은 엄청난 양의 정보를 공유할 수 있다.

32:44 그러니까 GPT-4 같은 것이, 아니면 Gemini 2.5나 Anthropic의 Claude가 어떻게 훈련되었는지 묻는다면 — 여기서 편파적이면 안 되겠다 — 그러니까 그것들이 어떻게 훈련되는지 묻는다면, 같은 모델의 사본이 여러 개 있고, 각각 데이터의 서로 다른 부분을 본다. 그리고 각 사본은 “데이터의 그 부분을 흡수하려면 내 가중치를 어떻게 바꾸고 싶은가?”를 알아낸다. 그리고 또 다른 사본은 데이터의 다른 부분을 흡수하려면 자기 가중치를 어떻게 바꿔야 하는지 알아낸다. 그런 다음 모든 사본이 말한다. “다 같이, 그 변화들을 모두 평균 낸 만큼 가중치를 바꾸자.”
33:18 그리고 그렇게 하면 일어나는 일은, 데이터의 이 부분을 본 이 사본이, 데이터의 다른 부분을 볼 때 이 사본이 한 경험에서 득을 보도록 자기 가중치를 바꾼 것이 된다. 우리 1만 명이 다 같이 가서 서로 다른 대학 강좌 1만 개를 들을 수 있다면 멋지지 않겠는가? 강좌를 듣는 동안 우리는 빠르게 소통한다. 그리고 각자 자기 강좌를 마칠 무렵이면, 우리 1만 명 모두가 모든 강좌에 무엇이 들어 있는지 안다. 이 디지털 지능들이 할 수 있는 게 바로 그것이다. 그리고 GPT-4가 그렇게 많이 아는 것도 그래서다.
33:52 하지만 이 방식은 개별 모델들이 동일할 때만 통한다. 즉 정확히 똑같은 방식으로 작동해야 한다. 가중치를 정확히 똑같은 방식으로 써야 한다. 그리고 아날로그 하드웨어로는 그렇게 할 수 없다. 디지털이어야 하고, 그 말은 전력이 높아야 한다는 뜻이다. 그래서 이것들은 불멸이지만 전력을 많이 쓴다.
34:14 그래서 강연의 이 부분 — 의도했던 것보다 빨리 훑고 지나간 부분 — 의 결론은 이렇다. 디지털 연산은 에너지가 많이 들지만, 에이전트들이 같은 세계 모델을 갖기가 — 같은 모델을 가진 에이전트들이 자기가 배운 것을 공유하기가 — 아주 쉬워진다. 그래서 그것들은 모두 흩어져 서로 다른 것을 배우고 공유할 수 있다.

34:35 자, 여러분은 이렇게 물을 수도 있다. 왜 모델 하나가 데이터를 그냥 더 빨리 통과시키면 안 되는가? 글쎄, 많은 경우에는 그럴 수 있다. 하지만 실제로 현실 세계에서 행동하는 AI 에이전트를 생각해 보면, 현실 세계에는 자연스러운 시간 척도가 있다. 식당에 전화해서 예약하는 일을 100만 배 빠르게 할 수는 없다. 그건 통하지 않는다.
34:54 현실 세계에서 행동하려 한다면 자연스러운 시간 척도가 있다. 그리고 그 말은, 정확히 똑같은 가중치를 가진 — 그냥 같은 에이전트의 사본들이지만 — 서로 다른 경험을 하는 다양한 에이전트가 잔뜩 있다면, 그것들이 거기서 엄청난 득을 볼 수 있다는 뜻이다. 그것들은 어떤 인간 에이전트가 배울 수 있는 것보다 훨씬, 훨씬 더 빨리 배울 수 있다. 모두가 동시에 이 온갖 서로 다른 경험을 하면서 그 지식을 전부 공유하기 때문이다.
35:18 그러니 그것들은 공유하는 데 있어 우리보다 훨씬 낫다. 그리고 내가 훨씬 낫다고 할 때, 그건 수백만 배 또는 수십억 배 낫다는 뜻이다. 지금 내가 직접 보여 주고 있듯이, 우리는 한 문장에 100비트쯤이나 그보다 적게 공유한다. 그리고 이것들은 수십억 비트를 공유한다. 좀 무서운 일이다.
35:39 하지만 생물학적 연산은 에너지가 훨씬 적게 든다. 우리는 결국 LLM의 전력을 줄이려고 아날로그 연산을 어느 정도 쓰게 될 수도 있다. 나는 모르겠다. 하지만 지금으로서는 그게 갈 길로 보이지 않는다. 그래서 이것이 내 강연의 결론이다.
35:54 하지만 다행히 일찍 끝날 수도 있겠다 싶었기에, 할 말이 조금 더 있다.

36:03 많은 사람이 이렇게 생각한다. “좋다, 그러니까 그것들은 우리처럼 사물을 이해하고 우리처럼 추론할 수 있다. 아직 우리만큼 잘하지는 못하지만 점점 따라오고 있다. 그것들은 우리처럼 거짓말을 하고, 우리처럼 살아남고 싶어 하고, 우리 중 몇몇처럼 권력을 원한다. 그건 전부 무섭다. 하지만 우리에게는 그것들이 결코 갖지 못할 것이 있다. 우리는 의식이 있다, 혹은 지각 능력(sentience)이 있다, 혹은 주관적 경험(subjective experience)을 한다.”
36:31 글쎄, 나는 여러분이 매달리고 있는 그 지푸라기를 좀 치워 버리고 싶다.

36:37 그러니까, 사람들이 자기가 특별하다고 생각해 온 역사가 길다는 건 우리도 안다. 자기들은 신이 만든 존재라는 것이다. 신이 자기들을 우주의 중심에 두었다는 것이다. 대부분의 사람은 그런 생각에서 벗어났다. 하지만 대부분의 사람은 여전히 주관적 경험이 우리가 가진 특별한 무언가이고, 컴퓨터 위에서 신경망을 시뮬레이션하는 이것들은 결코 그런 주관적 경험을 할 수 없다고 생각한다.
37:09 나는 그들이 완전히 틀렸다고 생각한다. 이를테면 지구의 기원에 대해 종교 근본주의자가 틀린 만큼이나 틀렸다고 생각한다. 지구는 사실 6,000년 전에 만들어지지 않았다. 그보다 훨씬 더 오래전이다. 하지만 종교 근본주의자는 자기 믿음에 꽤 강하게 매달리고, 여러분 모두도 주관적 경험이 무엇인가에 대한 자기 믿음에 매달릴 것이다. 내가 여러분이 틀렸다는 걸 보여 줄 텐데도 말이다. 그게 내 예측이다.
37:38 그래서 나는 내가 무극장주의(atheaterism)라고 부르는 견해를 옹호하려 한다. 이 이름은 대니얼 데닛(Daniel Dennett)이 아직 살아 있을 때 그에게 확인을 받았다. 데닛은 기본적으로 나와 같은 견해를 가진 사람이었는데, 이 이름을 아주 마음에 들어 했다. 무신론(atheism)이 무언가를 감싸고 있는 이름이기 때문이다.

37:55 대부분의 사람이 생각하는 마음에는 내면 극장이 있다. 여기에 극장이 하나 있다는 것이다, 그렇지 않은가? 오직 그 사람 자신만 볼 수 있는 내면 극장이다. 그리고 이 내면 극장 안에 여러 가지 것들이 있다.
38:07 그러니까 내가 여러분에게 이렇게 말한다고 해 보자. 내가 LSD를 좀 했다고 하자. 권하지는 않는다. 그리고 여러분에게 이렇게 말한다. “작은 분홍 코끼리들이 내 앞에 떠다니는 경험을 하고 있다.” “작은 분홍 코끼리들이 내 앞에 떠다니는 주관적 경험을 하고 있다.”
38:26 대부분의 사람은 “…의 주관적 경험”이라는 말이 “…의 사진”이라는 말과 같은 식으로 작동한다고 생각한다. 그런데 그 말이 그런 식으로 작동한다면 이렇게 물을 수 있다. “그럼 이 주관적 경험은 어디에 있고, 무엇으로 이루어져 있는가?” 그러면 철학자, 아니 일부 철학자는 이 주관적 경험이 여러분의 마음속에 있다고 말할 것이다. 그것이 들어 있는 곳은 극장이다. 그리고 그것은 퀄리아(qualia)로 이루어져 있다.
38:52 그러니까 그것은 분홍 퀄리아로 이루어져 있다. 좀 허수아비 논법이긴 하지만, 그것은 분홍 퀄리아로 이루어져 있다. 코끼리 같은 퀄리아로 이루어져 있다. 떠다니는 퀄리아로 이루어져 있다. 그다지 크지 않은 퀄리아로 이루어져 있다. 똑바로 선 퀄리아로 이루어져 있다. 여러분은 똑바로 선 모습으로 상상하니까, 그렇지 않은가? 뭐, 나는 어쨌든 그랬다.
39:11 그리고 이 퀄리아들은, 이 서로 다른 종류의 퀄리아들은 전부 퀄리아 접착제로 서로 붙어 있는데, 다행히도 이 접착제는 온갖 종류의 퀄리아에 다 들러붙는다. 이것이 철학자의 모델, 아니 일부 철학자의 모델을 내가 희화화한 것이다.
39:25 하지만 “…의 주관적 경험”이라는 말은 “…의 사진”이라는 말과 전혀 다르게 작동한다. 꽤 다른 방식으로 작동하는데, 그 점은 비트겐슈타인(Wittgenstein)이 오래전에 지적했어야 했다.
39:37 일어난 일은 내 지각 체계(perceptual system)가 고장 났다는 것이다. 지각 체계가 내게 거짓말을 하려 하고, 나는 그것이 거짓말을 하려 한다는 걸 안다. 그래서 나는 ‘주관적’이라는 말을 쓴다. 작은 분홍 코끼리들의 ‘객관적’ 경험을 하고 있다고는 말하지 않는다. 그것들이 정말로 거기 있다고 생각했다면 나는 그 대상을 겪고 있다고 말했을 것이다. 하지만 그렇지 않으니, 나는 주관적 경험을 하고 있다고 말한다.
40:02 그리고 지금 벌어지고 있는 일은, 내 지각 체계가 어떻게 고장 났는지, 그리고 그것이 내게 무엇을 말하려 하는지를 내가 여러분에게 알려 주려 한다는 것이다. 내가 그렇게 하는 방식은, 내 지각 체계가 제대로 작동하고 있으려면 바깥세상에 무엇이 있어야 하는지를 여러분에게 말해 주는 것이다. 그런데 내 지각 체계가 내게 말하는 내용을 설명해 줄 무언가가 바깥세상에 언제나 조금이라도 있는 것은 아니다. 지각 체계는 앞뒤가 안 맞는 온갖 것을 말하고 있을 수도 있다. 하지만 이 경우에는, 바깥세상에 작은 분홍 코끼리들이 떠다니고 있었다면 내 지각 체계는 진실을 말하고 있었을 것이다.
40:33 좋다. 그러니까 이제 나는 앞에서 했던 말과 정확히 같은 말을, ‘주관적 경험’이라는 말을 쓰지 않고 여러분에게 할 수 있다. 이렇게 말하면 된다. “LSD를 좀 했더니 내 지각 체계가 내게 거짓말을 하고 있다. 하지만 바깥세상에 작은 분홍 코끼리들이 떠다니고 있다면, 지각 체계가 내게 말하는 내용은 옳을 것이다.”
40:53 좋다. 그러니까 이 작은 분홍 코끼리들은 극장 안에 있는, 퀄리아라는 으스스한 재료로 만들어진 이상한 것들이 아니다. 그것들은 실제 세계 속의 가설적(hypothetical) 사물이다. 하지만 그 분홍이나 코끼리나 떠다님은 전부 평범한 분홍이고 평범한 코끼리이고 평범한 떠다님이다. 다만 그것들이 실제로 거기 있지 않을 뿐이다. 그것들은 가설적이다. 그러니까 주관적 경험에서 이상한 점은 그것이 실제가 아니라 가설적인 무언가라는 데 있지, 퀄리아로 이루어져 있고 극장 안에 있다는 데 있지 않다.
41:21 적어도 그게 내가 여러분이 믿도록 설득하려는 견해다. 그런데 여기서 내가 슬라이드보다 앞서 나가 버렸다. 이 이야기에 너무 빠져들었기 때문이다.

41:30 좋다. 그러니까 그것은 내 뇌에서 무슨 일이 일어나고 있는지를 내가 여러분에게 간접적으로 알려 주는 방식일 뿐이다. 당연히 내가 “뉴런 52번이 발화하고 있다”라고 말한다면 여러분에게 아무 도움도 되지 않을 것이다. 여러분 안에서는 그게 뉴런 57번일 테니까. 게다가 나는 뉴런 52번이 발화하고 있는지도 모른다. 그건 내 뇌에서 무슨 일이 일어나고 있는지를 여러분에게 알려 주는 형편없는 방식이다.
41:49 내 뇌에서 무슨 일이 일어나고 있는지 여러분에게 알려 줄 수 있는 유일한 방법은 이렇다. 하나는 그것을 일으켰을 평범한 것들, 곧 이 작은 가설적인 작은 분홍 코끼리들에 대해 말하는 것이다. 아니면 그것이 일으킬 평범한 것들에 대해 말해서 내 뇌에서 무슨 일이 일어나는지 알려 줄 수도 있다.
42:05 그러니까 여러분이 내게 기분이 어떠냐고 물으면, 나는 “게리의 코에 주먹을 한 방 날리고 싶은 기분이다”라고 말할 수 있다. 그러니까 느낌(feeling)이란 전부 가설적 행동에 대해 말함으로써 뇌에서 무슨 일이 일어나는지를 기술하는 일이다. 그리고 지각(percept)이란 가설적 입력에 대해 말하는 주관적 경험이다. 좋다, 내가 너무 앞서 나가고 있다.
42:28 그럼 이제 멀티모달 챗봇(multi-modal chatbot)을 보여 주겠다. 슬라이드로 바로 보여 주겠다. 주관적 경험을 하는 멀티모달 챗봇이다.

42:38 이 멀티모달 챗봇을 가져온다. 카메라가 달려 있고, 로봇 팔이 달려 있고, 볼 수 있다. 그래서 나는 그것을 훈련시킨다. 그리고 그 앞에 물체를 하나 놓고 “물체를 가리켜라”라고 말한다. 그러면 물체를 가리킨다. 아무 문제 없다.
42:59 그다음 나는, 그것이 보고 있지 않을 때 렌즈 앞에 프리즘을 놓는다. 그리고 그 앞에 물체를 놓고 “물체를 가리켜라”라고 말한다. 그러자 챗봇은 저쪽을 가리킨다. 그래서 나는 말한다. “아니, 물체는 거기 있지 않아. 물체는 사실 네 바로 앞에 있어. 그런데 내가 네 렌즈 앞에 프리즘을 놓았지.” 그러자 챗봇이 말한다. “아, 알겠어요. 프리즘이 광선을 꺾었군요. 그러니까 물체는 실제로는 여기 있는데, 저는 그게 저기 있다는 주관적 경험을 한 거네요.”
43:31 그런데 챗봇이 ‘주관적 경험’이라는 말을 그런 식으로 쓴다면, 그것은 우리가 그 말을 쓰는 것과 정확히 똑같이 쓰고 있는 것이다. 그러니까 그렇게 말한 챗봇은 물체가 저기 있다는 주관적 경험을 했던 것이다. 프리즘이 챗봇의 지각 체계를 교란했다. 챗봇은 자기 지각 체계에서 무슨 일이 일어나고 있었는지 여러분에게 말해 주고 싶었다. 그리고 그것을 말해 줄 수 있는 방식은, 우리가 그 지각 체계를 교란하지 않았다면 세상에 무엇이 있어야 했는지를 말해 주는 것이다. 그게 바로 지각 체계가 챗봇에게 말해 주고 있는 내용이다.
44:00 좋다. 그러니까 내 주장은 멀티모달 챗봇이 이미 주관적 경험을 한다는 것이다. 자, 짐작하겠지만 주관적 경험은 말하자면 쐐기의 얇은 끝, 곧 시작일 뿐이다. 내가 주관적 경험을 이야기하기로 한 건, 그게 지각 능력이나 의식을 이야기하는 것보다 어느 정도 더 깔끔하기 때문이다.
44:18 많은 사람이 챗봇에는 지각 능력이 없다고 아주 확신한다. 하지만 그들에게 “지각 능력이 있다는 게 무슨 뜻인가?”라고 물으면 이렇게 말한다. “모르겠다. 그것들한테 그게 없다는 건 안다. 하지만 그게 뭔지는 모른다.” 내가 보기에 그건 그다지 합리적인 입장이 아니다.
44:36 내가 이야기할 수도 있는 또 다른 것은 의식이다. 의식은 더 복잡하다. 대개 자기 자신에 대한 모델을 갖는 일이 들어가는데, 주관적 경험에는 그런 일이 그만큼 들어가지 않기 때문이다. 그래서 주관적 경험을 이야기하는 편이 더 쉽다.
44:52 하지만 내 바람은 이렇다. 이런 내면 극장이 있고, 경험은 마음속에 있으며, 그 경험들은 이 내면 극장 안에 있다는, 그러니까 이 내면 극장 안에 있는 사물이라는 여러분의 아주 강한 믿음을 내가 흔들어 놓았다면, 일단 그 믿음을 흔들어 놓고 여러분이 거기서 벗어나기 시작하면, 이것들에 의식이 있다고 생각하는 게 지극히 합리적이라는 걸 여러분도 알게 될 것이다.
45:17 일화 하나로 마치겠다. 한번은 시애틀의 마이크로소프트를 방문하던 길이었다. 나는 앉을 수가 없어서 기차를 타고 갔다. 기차역에서 그들의 연구소가 있는 레드먼드까지는 택시를 탔다. 고속도로를 따라 어떤 큰 다리를 건너고 있었는데, 택시 기사는 소말리아에서 최근에 이민 온 소말리아 이민자였다.
45:42 그는 말을 붙이려고 “종교가 뭡니까?”라고 물었다. 그래서 나는 “글쎄요, 저는 사실 신이 있다고 생각하지 않습니다”라고 말했다. 그러자 택시 기사가, 그때 시속 60마일(약 97km)쯤으로 달리고 있었는데, 그 택시 기사가 몸을 돌려 완전히 경악한 얼굴로 나를 빤히 쳐다봤다. 마치 신이 세상을 다스린다는 걸 모르는 사람을 만나리라고는 한 번도 생각해 본 적이 없다는 듯이. 그는 그저 완전히, 완전히 놀라 있었다.
46:14 자, 그가 몸을 돌리고 있었던 건 아마 3초쯤뿐이었을 것이다. 내가 아직 여기 있으니까. 하지만 아주 긴 시간처럼 느껴졌다. 바라건대, 지금 여러분 중 많은 사람이 그런 기분일 것이다. 나는 여러분이 그 택시 기사만큼이나 틀렸다는 걸 깨닫기를 바란다.
46:31 좋다. 음… [웃음] 사실 그건 그냥 농담이었고 여러분이 웃었으니, 이걸로 끝이다. [박수]
원본 링크·인용
기타