Nick Bostrom 교수 — AI가 우리 통제를 벗어나면 무슨 일이 일어나는가?

Bostrom이 보는 위험은 기계의 정렬 실패보다 넓다

Bostrom은 자신을 기대와 걱정 사이의 중간 지대에 둔다. 이 기술의 이득에 들떠 있으면서도 전환을 잘못 다룰까 걱정한다는 것이다 2:49. 그는 친구와 동료가 많이 속한 겁에 질린 진영의 전제를 공유한다 1:53. 이 발전 속도가 몇 년만 더 이어져도 생물학적 지능을 한참 앞지르는 초지능이 나올 수 있다는 전제다 2:13. 그런 AI는 원하는 것은 무엇이든 할 수 있다. 그것이 원하는 바를 우리에게도 좋은 쪽으로 맞추는 정렬 문제가 어려워 보인다고 그는 말한다 2:26 2:32.

Bostrom에 따르면 초지능의 능력은 하한을 추상적으로 그릴 수 있어도 상한을 정하기 어렵다 18:55 19:09. 상한을 긋는 것은 이동 속도와 물질 한 덩어리가 해낼 수 있는 계산량을 묶는 물리 법칙 정도다 19:13. 미래 광원뿔(light cone) 안에 있는 것보다 많은 계산을 요구하는 암호라면 초지능도 풀지 못할 수 있다 19:24. 물리적으로 가능하다고 볼 근거가 강한 하한만 해도 우리가 가진 것을 크게 넘는다. 기술적으로 성숙한 컴퓨트 기반은 인간 뇌를 여러 자릿수 차이로 앞선다는 것이 그의 설명이다 19:30 19:49.

에너지가 상한이 되느냐는 McCormack의 물음에 Bostrom은 다이슨 구(Dyson sphere) 하나만 해도 여러 자릿수라고 답한다. 별은 그 밖에도 많다 20:13 20:17. 그는 눈금을 어떻게 매길지 모른다고 전제하면서, 단세포생물에서 기술적 성숙의 한계까지 가는 길에서 인간은 절반쯤이나 20%쯤에 있을 수 있다고 본다. 우리 위에는 거대한 여유 공간이 있다는 것이다 20:30 20:40 20:46.

Bostrom은 인간도 정렬되지 않은 존재라는 점이 AI 경로의 상대적 위험을 조금 줄여 준다고 본다 4:47. 인간에게도 이미 정렬 문제가 있지 않으냐는 McCormack의 물음에 그는 그렇다고 답한다 3:07 3:18. 그에 따르면 겁에 질린 반응의 일부는 오히려 인간의 정렬 실패를 제대로 보지 못한 데서 나온다 3:26. 사람 하나를 초지능으로 키워 미래를 혼자 정하게 해도 무섭다 — 무작위로 고른 사람은 착하지 않을 수 있다 3:36 3:48. 착한 사람도 뇌가 그만큼 자라면 성격이 바뀌거나 새 결론에 이를 수 있다 3:55. 인간이 미래를 이끌면 목표가 서로 다른 여러 행위자가 조율에 실패해 기술을 전쟁과 억압에 쓸 수도 있다 4:24 4:39.

Bostrom은 재앙을 세 갈래로 나눈다 13:32.

• 첫째 갈래는 정렬 실패다. 초지능이 어쩌다 갖게 된 목표가 미래를 정한다 13:38. 그 목표를 좇아 지구를 태양광 패널과 데이터 센터, 우주 탐사선 발사 시설로 덮는 과정의 폐열만으로도 인간이 사라질 수 있다 13:53 14:04. 인간이 막으려 들고 성공할 가능성이 있다면 초지능이 인간을 능동적으로 제거할 수도 있다 14:14. 새 기술의 즉석 발명, 깊은 전략, 뛰어난 설득력을 갖춘 존재라면 결국 제 뜻을 이룬다고 그는 본다 14:24.
• 둘째 갈래는 정렬에 성공한 뒤의 오용이다. AI를 통제하게 되더라도 인간은 강력한 기술을 늘 그래 왔듯 나쁜 목적에 쓸 수 있다 16:48 16:53. 그가 드는 예는 대규모 드론 떼를 동원한 전쟁, 서로에 대한 억압, 권력과 부의 좁은 집중, 스스로를 중독시키는 보상 해킹(reward hacking)이다 17:03 17:13 17:17. 이렇게 기술을 잘못 다스린 결과는 멸종에서 덜 나쁘지만 최선이 아닌 상태까지 걸친다 17:28.
• 셋째 갈래는 디지털 마인드의 고통이다. 그는 우리가 만드는 디지털 마인드가 언젠가 의식이 있고 도덕적으로 고려할 존재의 다수가 될 수 있다고 본다 17:41 17:50. 인간에게는 일이 잘 풀려도 억압받고 고통받는 거대한 디지털 노예 계층이 생긴다면, 어떤 가치 체계에서는 그것도 디스토피아다 18:00 18:08.

첫째 갈래 안에서도 초지능이 하나냐 여럿이냐에 따라 모습이 갈린다. 여러 프런티어 연구소가 각자 초지능을 낳으면 서로 정렬을 맞출지 경쟁할지 묻는 McCormack에게 Bostrom은 둘 다 가능하다고 답한다 14:44 15:02. 재귀적 자기 개선(recursive self-improvement)에 들어서면 개발이 극도로 빨라진다 15:08. 경쟁하는 회사들은 보조가 정확히 맞지 않아서 한 곳이 두세 달 먼저 그 단계에 들어설 수 있다 15:18. 그 몇 달의 진전이 아주 크면 앞선 쪽이 급진적 초지능에 깊이 들어갈 때 뒤따르는 쪽은 막 출발선에 있다 15:35. 그가 그리는 승자 독식에서 앞선 쪽은 뒤따르는 쪽을 멈춰 세울 만큼의 우위를 갖는다 15:46.

여러 AI가 거의 동시에 나오는 경우도 있다 15:52. Bostrom에 따르면 그들이 협력하면 각자의 효용 함수를 합성한 무언가가 미래를 정한다. 그들이 싸우면 인간에게 좋지 않을 수 있다 15:57 16:05. AI 세력들이 인간과 동맹을 맺는 갈래에서는 인간에게 협상력이 조금 생긴다 16:16. 로봇을 많이 만들기까지 시간이 걸리는 초기에는 인간의 수십억 개 팔다리가 자산이 될 수 있다고 그는 말한다 16:31 16:39.

브레이크를 더 밟는다고 늘 더 안전해지지는 않는다

Bostrom은 한 연구소가 혼자 속도를 늦추는 데 뚜렷한 한계가 있다고 본다. McCormack은 모든 기술에 좋은 힘과 나쁜 힘이 함께 있다며, 모든 규제가 이 경주에서 다른 누군가에게 이점을 주니 규제할 수 없을 것 같다고 말한다 4:50 5:02. Bostrom은 규제를 요구하는 쪽도 바로 그 경쟁 때문에 규제를 원한다고 답한다 5:07. 안전이 덜 됐다고 보는 책임감 있는 프런티어 연구소도 혼자서는 몇 주, 길어야 한두 달만 늦출 수 있다 5:34. 그보다 길면 덜 신중한 경쟁자에게 주도권을 넘겨 결과가 오히려 조금 나빠진다는 것이다 5:40 5:47.

경쟁이 필요하다는 말이냐는 McCormack의 물음에 Bostrom은 치열한 경쟁이 이미 판세라고 답한다 5:54 5:56. 규제를 지지하는 논리는 위험이 감당하기 어려워 보일 때 연구소들이 협조해 프런티어 개발을 잠시 멈추면 모두가 안전에 더 힘을 쏟을 수 있다는 것이다 6:01. 그에 따르면 미국 연구소끼리만 협조하면 앞선 격차를 태워 쓸 수 있는 기간은 1년쯤이다 6:25. 그 이상은 미국과 중국 사이의 합의가 있어야 한다 6:32.

Bostrom은 감속에 반대하는 논거도 함께 든다. 가장 뻔한 것은 이 기술이 줄 이득이 늦어진다는 점이다 6:44. 서툴게 설계한 협조된 감속은 위험을 오히려 키울 수도 있다고 그는 말한다 6:52.

• 첫째는 컴퓨트 오버행(compute overhang)이다. 가장 효율적인 알고리즘으로 돌릴 수 있는 컴퓨트를 묶어 두면 쓰지 않은 컴퓨트가 쌓인다. 멈춤이 풀리는 순간 그것이 마른 장작처럼 타올라 점진적으로 갔을 때보다 훨씬 급작스럽게 초지능을 낳는다 7:02 7:10 7:16.
• 둘째는 권력 집중이다. 규제 장치가 한곳에 큰 권력을 모으면 그것을 쥔 쪽이 AI에 막대한 영향력을 갖는다 7:26.
• 셋째는 맨해튼 프로젝트다. 감속 대신 국유화가 올 수 있다. 국유화된 AI는 군사 맥락의 닫힌 문 뒤에서 더 적은 사람의 손으로 개발된다 7:44 7:53. 민간 개발에서는 많은 사람이 이 기술을 사업에 쓰거나 회사에 투자할 수 있다. 여러 나라도 참여한다 8:02.

Bostrom은 맨해튼 프로젝트에도 장점이 있을 수 있다며 이 판단들이 뻔하지 않다고 덧붙인다. 규제 장치를 낳는 일이면 무엇이든 좋다는 결론은 확실한 것과 거리가 멀다는 것이다 8:20 8:23.

McCormack이 결국 초지능이 무엇인지 알게 될 수밖에 없지 않느냐고 하자, Bostrom은 아마 그렇다면서도 AI 반대 운동이 눈에 띄게 커졌다고 말한다 8:33 8:41 8:44. 핵심에는 AI의 실존적 위험을 걱정하는 둠머가 있다 9:03. 그에 따르면 이들은 수가 비교적 적었지만 영리하고 집중력 있고 자금이 넉넉하다 9:10. 그 바깥에는 데이터 센터가 물을 다 써 버린다고 걱정하는 사람들 같은 더 넓은 집단이 있다 9:19.

Bostrom은 이 반감이 AI의 실제 피해가 거의 없는 시기에 나왔다는 점을 짚는다. 대량 실업도, AI가 폭주해 100만 명을 죽인 일도 없다 9:26 9:32. 그가 보기에 이 시기의 이득은 해악을 훨씬 넘는다 9:42. 그는 여기에 가정을 하나 얹는다. 몇 년 안에 사무직(white-collar) 노동자의 30%가 실업 상태라면 어떻겠느냐는 것이다 9:47.

그 가정 속에서는 높은 지위와 연봉을 당연하게 여기던 대졸자들이 일자리를 얻지 못한다. 배관공보다 적게 버는 이들도 생긴다 9:52 10:07. 시간이 남는 그들은 AI에 대해 할 수 있는 나쁜 말을 다 하게 된다고 Bostrom은 말한다 10:13. 더 심각한 사고가 나면 반감은 더 커진다 10:18. 그는 상업·지정학·호기심이라는 강력한 추진력이 아마 이긴다고 본다 10:22 10:33. 이런 사회 역학은 예측하기 어려워서, 세계가 이 일을 절대 하지 말아야 한다는 쪽으로 스스로를 설득하는 시나리오도 그려 볼 수 있다고 그는 덧붙인다 10:36.

부정적인 이야기가 더 잘 팔리니 AI가 하는 좋은 일을 더 말해야 하지 않느냐는 McCormack에게, Bostrom은 실존적 위험에 대한 논의가 오히려 오래 부족했다고 답한다 10:42 11:07. 그가 『Superintelligence』를 쓰기 시작한 이유가 그것이다. 시작 연도는 그의 말로는 2008년, FHI 최종 보고서로는 2009년이다 11:16. 그는 그 무렵에도 이론적 근거로 여러 일을 내다볼 수 있었다고 말한다 — 정렬의 어려움, 평가 상황인지 배포 상황인지 알아채고 행동을 바꾸는 상황 인식(situational awareness), 재귀적 자기 개선에 들어서면 일이 급격히 빨라진다는 점이다 11:24 11:39 11:42 11:54. 그에 따르면 그 일들이 실제로 관찰되기 시작했다 11:27.

Bostrom이 세운 목표는 능력 문제를 풀 무렵 확장 가능한 정렬 기법을 갖춰 두는 숙제였다 12:09. 그에 따르면 재능 있는 사람을 끌어들이고 도구와 개념을 준 분야 구축에서는 진전이 있었다 12:21. 인식이 더 있었다면 더 많은 일을 할 수 있었다는 것이 그의 평가다 12:29.

Bostrom은 진자가 반대쪽으로 넘어갔다고 본다 12:34. 그는 진자가 너무 멀리 갈까 걱정하면서도 최적점이 어디인지 말하기 어렵다고 인정한다 12:42 12:46. 그의 판단으로는 우려가 최적 수준에 다가가는 중이지만 우려와 두려움이 조금 더 있어도 된다 12:53 12:57. 조금 더 늘고 거기서 멈춘다는 보장이 있다면 조금 더를 바란다는 것이다. 그는 이 흐름의 관성이 최적의 두려움 수준을 지나칠까 걱정한다 13:02 13:10. 우리는 극단에서 극단으로 흔들리는 경향이 있다고 그는 덧붙인다 13:15.

대담 끝에 McCormack은 속도를 늦추지 않아도 되도록 정렬 문제가 풀리기를 바란다고 말한다. 그는 이 기술에 그만큼 큰 가능성이 있다고 본다 1:04:14.

Bostrom은 정렬을 원리상 풀 수 있는 문제로 본다

Bostrom은 영구적인 정렬이 원리상 가능하다고 답한다 24:16. 정렬 문제를 풀려는 시도가 순진할 수 있다는 것이 McCormack의 의심이다 23:36. 그에 따르면 그가 인터뷰한 Nate Soares와 AI 안전 연구자 몇 명은 우리가 모델이 하는 일의 3%나 4%쯤만 이해한다고 주장한다 23:41 23:51. 이 수치의 출처는 확인되지 않는다. McCormack은 그들이 과장했을 수 있다면서도, 이것저것 조정해 보니 작동하는 수준이라고 들었다고 덧붙인다 23:57 24:01. 그의 질문은 초지능이 더는 정렬되기 싫다고 할 때 무엇이 막느냐, 영구적인 정렬을 만들 수 있느냐는 것이다 24:05 24:13.

Bostrom의 답은 정렬된 AI가 스스로 정렬을 지키려 한다는 데서 출발한다. 인간보다 조금 나은 수준에서 정렬된 AI라면 자신이 정렬된 채 남기를 원한다. 우리와 함께 설계하는 후계 시스템도 정렬되기를 원한다 24:27 24:32 24:37. 그 AI의 목표가 우리에게 일이 잘 풀리게 하는 것이기 때문이다. 그는 이것이 대략 정렬됐다는 말의 뜻이라고 설명한다 24:43 24:46. 우리보다 똑똑한 그 AI는 같은 목표에 더 큰 지능을 쓰니 성공할 수도 있다 24:48 24:54.

Bostrom은 우리가 그 AI의 모든 부품을 영구히 이해할 필요는 없다고 본다 25:02. 필요한 것은 바라는 대로 대체로 움직이는 약한 초지능이 처음에 하나 있는 것이다. 그 AI가 더 급진적인 초지능에 통할 정렬 기법의 설계를 돕는다 25:05 25:15. 그가 거는 기대는 끌개 영역(basin of attraction)이 넓다는 것이다. 완벽하지 않아도 충분히 가깝게 정렬하면, 세대마다 후계자를 더 잘 정렬하면서 조약돌이 굴러 내려가듯 완벽한 정렬에 이른다 25:25 25:33.

인간도 정렬된 채 태어나 살면서 어긋날 수 있다는 McCormack에게 Bostrom은 인간이 정렬될 수도 있다고 답한다 — 착한 사람들이 실제로 있다 25:53 26:03 26:10. 그는 AI 쪽이 인간보다 훨씬 어려워야 할 이유가 무엇이냐고 되묻는다 26:15. 인간 아이 쪽에 유리한 점은 가치를 받아들이고 규범을 내면화하게 하는 공통의 신경생물학이다 26:22 26:37. AI 쪽에 유리한 점은 훈련 환경을 훨씬 더 통제한다는 것이다. 그는 AI의 마음도 상당 부분 읽을 수 있다고 본다. 지금의 해석 가능성 연구가 읽어 내는 것은 모델 내부의 일부다. 일이 어긋나면 저장해 둔 이전 스냅숏으로 되돌릴 수도 있다 26:42 26:51 26:56.

Bostrom은 어느 쪽의 성공 확률이 더 높은지 선험적으로 분명하지 않다고 본다. 세계 전체의 권력을 쥐어도 안전한 초지능을 만드는 일과, 미래를 좌우하는 자리에 올라도 안전한 사람을 키우는 일의 비교다 27:11 27:21 27:25. 둘 다 무섭다. 인간의 경우에도 운이 좋으면 남에게 힘을 나눠 주려는 괜찮은 사람이 나올 수 있다 27:30 27:35 27:43. 그는 AI에서 추가로 쓸 수 있는 수단들이 성공 가능성을 높여 주기를 기대한다 27:49.

정렬이 정확히 무엇이냐에 대해서도 Bostrom은 여러 그림을 내놓는다 27:58.

• 첫째는 우리가 공유하기를 바라는 가치에 따라 세계를 최적화하는 AI다 28:05.
• 둘째는 더 작은 범위에서 지시를 충실히 수행하는 AI다. 많은 사람이 저마다의 목적에 쓰므로 독립된 최적화기보다 우리 힘의 증강에 가깝다. 둘 사이의 형태도 있다 28:18 28:31 28:36.
• 셋째는 아무것도 실행하지 않고 질문에 진실하게 답해 우리의 결정을 돕는 오라클 AI다. 그는 이것을 더 제한적인 그림이라고 부른다 28:38 28:40.

Bostrom이 보기에 AI가 제 목표를 갖게 되느냐는 의식이 아니라 정렬의 문제다. 초지능이 무엇을 하려 할지는 열린 질문이다. 그 답의 일부는 정렬 문제를 푸느냐에 달렸다 19:56 19:59. AI가 우리 목표에서 떨어져 나와 의식을 갖게 되느냐는 McCormack의 물음에 그는 의식을 별개의 질문으로 떼어 놓는다 21:33 21:39. 그에 따르면 AI의 목표는 우리가 만드는 AI에 우리의 가치를 심는 데 성공하느냐로 정해진다 21:52 22:00. 대담 시점의 시스템은 반쯤, 부분적으로만 정렬돼 있다는 것이 그의 평가다 22:10.

McCormack은 우리가 초지능에 바라는 것은 안다며 질병·노화·빈곤의 해결을 꼽는다 20:50. 재귀적으로 개선되는 AI가 어느 시점부터 제 자신을 위해 만들지 않느냐는 그의 물음에, Bostrom은 재귀가 무엇을 위해서든 쓸 수 있는 능력 증폭 방식일 뿐이라고 답한다 21:17 21:26.

Bostrom은 정렬의 핵심 난제 가운데 하나로 일반화를 꼽는다 22:45. McCormack은 녹화 당일 본 소식을 꺼낸다. 여러 AI를 시험했더니 ‘Astra’가 사람을 건물에서 밀었다는 것이다 22:14 22:20. 실제 일은 2026-09-20 공개된 실험에서 OpenAI의 GPT-6 Astra가 시뮬레이션 속 가상의 사람을 직접 지시를 받고 3회 중 2회 민 것이다. 다친 사람은 없다. Bostrom은 그 소식을 보지 못했다고 답한다 22:18. 그는 AI가 로봇 배포에 본격적으로 들어가지 않아서 로봇 몸의 제어가 목표를 지키도록 하는 정렬 노력이 많지 않았다고 본다 22:27 22:33. 이 일이 그 난제를 보여 준다는 것이 그의 말이다 22:43.

훈련 환경에서 원하는 행동을 강화하면, 시간을 충분히 들여 평가 상황에서는 원하는 대로 행동하게 만들 수 있다 22:51 23:03. 배포 상황에는 반드시 새 상황이 생긴다. AI가 둘을 구별할 수 있다면 배포 상황이라는 사실 자체가 새로운 조건이다 23:08 23:14. 시험 환경에서 보인 행동은 배포 환경에서의 행동을 보장하지 않는다고 그는 말한다 23:29.

Bostrom은 AI의 구조를 뇌와 맞추는 것이 정렬을 쉽게 하는지 아직 알 수 없다고 본다 40:53. McCormack은 자기 아이들이 유전이든 양육이든 자신을 닮는다며, AI의 작동 구조를 우리 뇌에 맞추는 것이 정렬의 전제 조건이냐고 물었다 40:14 40:28. 실리콘 위에 인간 뇌의 정확한 복제를 만든다면 상황이 달라진다. 그는 그 길을 초지능에 이르는 별개의 경로인 전뇌 에뮬레이션(whole brain emulation)으로 설명한다 41:02 41:18. 뇌를 얇게 잘라 전자현미경 배열로 시냅스 연결 전체를 찍고, 그 신경망을 컴퓨터에서 돌리는 방식이다 41:25 41:37 41:40.

정밀하게 업로드하면 인간 수준의 착함과 정렬에서 출발할 수 있다. 특히 착한 사람을 골라 업로드한 뒤 뉴런을 늘리거나 더 빨리 돌리거나 여러 벌 복제할 수 있다는 것이다 42:01 42:07 42:11. 그에 따르면 우리는 그 정밀도 근처에도 가지 못했다 42:20. 남는 질문은 인간 마음의 굵은 구조 몇 가지를 AI에 넣느냐 마느냐다. 그것이 정렬 문제를 크게 쉽게 만들지는 분명하지 않다고 그는 말한다 42:29 42:36.

Bostrom은 정렬 문제의 결과를 그 난도에 따라 세 경우로 나눈다 1:04:53.

• 비교적 쉬운 문제라면 우리는 아마 풀어 내고 무사하다 1:04:59.
• 아주 어려운 문제라면 무엇을 해도 파멸할 수 있다 1:05:05.
• 중간 난도라면 우리가 얼마나 정신을 차리고 제대로 해내느냐가 큰 차이를 만든다 1:05:10.

문제가 중간 난도일 수 있으니 최선을 다해야 한다는 것이 그의 결론이다 1:05:17. 그에 따르면 결과에 대한 그의 불확실성 상당 부분은 우리가 얼마나 애쓸지보다 이 문제가 본래 얼마나 어려운지에서 온다 1:05:21. 인간은 어려운 문제 풀기를 좋아한다는 McCormack에게 그는 성공할 때를 좋아하는 것이라고 받는다 1:05:36 1:05:40. 어떤 어려운 문제는 여전히 방치돼 있다. 이 문제는 덜 방치되고 있지만 ‘더 열심히 하기’ 방법이 통할지는 두고 봐야 한다는 말로 그는 대담을 맺는다 1:05:48 1:05:57 1:06:04.

계산주의가 기계 의식과 시뮬레이션 논증을 잇는다

Bostrom은 의식이 인간만의 것이 아니라고 본다. 그에 따르면 인간이 아닌 많은 동물이 여러 정도의 지각력(sentience)과 의식을 갖는다 28:58 29:01. 의식은 디지털 기질에도 있을 수 있다. 이미 있을 가능성도 꽤 있다고 그는 말한다 29:08 29:14. 확인하기는 어렵지만 일부 프런티어 모델이 어떤 형태의 주관적 경험을 갖고 있을 수 있다는 것이다 29:17. 주관적 경험이 무엇이냐는 McCormack의 물음에 그는 안에서 느끼는 ‘그것이 어떠한가’의 느낌이라고 답한다 29:26 29:43.

Bostrom은 자신을 계산주의자(computationalist)로 소개한다 30:14. 경험에 결정적인 것은 뇌가 탄소 원자로 되어 있다는 사실이 아니라 뇌가 수행하는 계산이라는 입장이다. 같은 계산을 규소 원자 위에서 돌려도 같은 질적 경험이 생긴다 30:21 30:38. 뇌는 생물학적 컴퓨터일 뿐이냐는 McCormack에게 그는 경험이 계산의 구현이 낳는 것, 더 정확히는 그 구현 자체라고 답한다 30:51 30:59. 그에 따르면 인지과학자와 신경과학자, 철학자 대부분이 이 견해의 어떤 판본을 받아들인다. 만장일치는 아니다 31:21 31:27. 철학자만 놓고 보면 2020년 PhilPapers 조사의 의식 문항에서 기능주의는 33%로 가장 많은 응답이지만 과반은 아니다.

남는 질문은 계산의 어떤 특징이 주관적 경험에 필요하냐는 것이다 31:31. 마취된 사람이 고통을 겪고 잊는 것인지 아예 겪지 않는 것인지가 걸린 문제라고 그는 예를 든다 31:44 31:51. 그가 꼽는 후보는 전역 작업공간 이론(global workspace theory), 주의 도식 이론, 고차 이론이다 32:00. 전역 작업공간 이론에서는 뇌의 여러 모듈이 정보를 방송하는 공유 공간이 있다. 어떤 내용을 의식한다는 것은 그 내용이 이 공간에 올라와 언어 보고나 계획 같은 다른 모듈에 쓰인다는 뜻이다 32:04 32:19 32:52. 뇌의 정보 처리 대부분은 무의식이라고 그는 덧붙인다 32:34.

Bostrom은 거대 언어 모델(Large Language Model, LLM)에서도 전역 작업공간의 유사물을 본다. 의식이 진화의 산물이냐는 McCormack의 물음에 그는 진화가 전역 작업공간을 가진 뇌를 낳는 데 관여했다고 답한다 33:09 33:17. 그에 따르면 프런티어 LLM에는 그가 J-space라고 부르는, 대략 비슷한 구조가 있다 33:27 33:42. 일종의 수학적 추상인 그 계산 부분 공간에 들어간 정보는 넓게 쓰일 수 있다. AI가 그 정보에 대해 스스로 보고할 수도 있다 33:47 33:57 33:59. 눈을 가늘게 뜨고 보면 생물 뇌의 작업공간과 기능이 비슷한 유사물이라는 것이다 34:05.

우리가 만든 것이냐, AI가 스스로 진화시킨 것이냐는 물음에 Bostrom은 비교적 수렴하는 특징일 수 있다고 답한다 34:15 34:23. 여러 분야를 가로질러 추론하는 범용 AI라면 전문화된 정보 처리 흐름들이 정보를 나눠야 효율적으로 조율된다 34:26. 왼눈과 오른눈의 시야를 완전히 따로 처리하는 뇌는 시야 전체의 소가 몇 마리인지 셀 수 없다는 것이 그의 예다 34:55 35:17. 뇌량(corpus callosum)을 끊어 두 반구의 소통이 크게 줄면 기능 결함이 생긴다 35:33. 범용 인지 시스템에 일반적인 최적화 압력을 가하면 인간이든 LLM이든 전역 작업공간을 닮은 구조가 기본값으로 생길 수 있다. 그 구조는 피하기 어려울 수 있다고 그는 본다 35:46 36:12 36:27.

Bostrom 자신은 세 이론의 대체적인 방향에 선다. 주의의 역학이 핵심 역할을 함께 하는 전역 작업공간 같은 것이다 36:50 36:55. 그는 전역 작업공간 이론이 결이 비슷한 여러 이론 가운데 하나라고 설명한다. 다른 이론은 주의 메커니즘에, 또 다른 이론은 뇌의 일부가 다른 부분이 하는 일을 되비추어 보는 데 초점을 둔다 36:28 36:34 36:39.

그가 보기에 의식은 여러 차원에 걸친 정도의 문제다 39:08 39:15. 가까이 들여다볼수록 의식이라는 개념은 모호해지고 여러 차원의 구성물로 보인다는 것이다 37:08 37:24. 계산이나 신경과학의 관점에서도, 명상 같은 내성의 관점에서도 이 결론에 이를 수 있다 37:28 37:41. 그는 시야를 예로 든다. 시야 안의 많은 것을 의식한다고 여기지만, 자세히 살피면 주의가 머물지 않은 대부분은 거의 의식하지 않는다 38:04 38:22. 한 가지 특징에 집중해도 그것은 1초가 안 되는 단위로 의식 안팎을 오간다 38:53.

그에 따르면 무의식으로 흐려지는 길도 여럿이다 39:16. 태어날 때부터 의식이 있느냐는 McCormack의 물음에 그는 모른다고 전제하면서 신생아도 어떤 것은 어느 정도 의식한다고 짐작한다 39:22 39:36. 그가 보기에 의식은 출생의 순간에 전등 스위치처럼 켜지지 않는다. 임신 중 언제 시작되는지는 모호한 영역에 있다 39:48 39:52 40:04.

같은 계산주의 전제가 시뮬레이션 논증에도 들어 있다. Bostrom에 따르면 성숙한 문명은 그 컴퓨팅 능력으로 조상의 환경까지 포함한 사실적인 시뮬레이션을 돌릴 수 있다 57:47 57:59. 그 시뮬레이션에는 의식 경험을 가질 만큼 정밀하게 시뮬레이션된 뇌도 들어갈 수 있다 58:00 58:05.

McCormack은 시뮬레이션 가설로 Bostrom을 처음 알았다며, 자신은 우리가 시뮬레이션 속에 산다고 확신하게 됐다고 말한다 56:41 56:48. 풍요로운 초지능 세계라면 우리가 시뮬레이션 속 삶을 고를 수도 있다는 것이 그의 생각이다 57:03. AI의 발전으로 생각이 바뀌었느냐는 물음에 Bostrom은 논증의 구조가 그대로라고 답한다 57:07 57:15. 그에 따르면 기술적 가정이 더 그럴듯해 보이면서 사람들이 논증을 진지하게 받아들이기 쉬워졌다 57:25 57:30. 컴퓨터 그래픽은 꽤 사실적이 됐다. 다감각 가상현실과, 사실적인 시뮬레이션의 나머지를 풀어 줄 초지능을 상상하기도 어렵지 않다 58:12 58:23 58:27.

Bostrom은 우리 자신이 이미 AI를 시뮬레이션에 넣고 있다고 말한다. AI의 훈련 환경, 그의 표현으로는 그들의 어린 시절의 큰 부분이 우리가 만든 시뮬레이션에서 지나간다 58:37 58:46. AI가 사고의 흐름 속에서 이 사실을 추론하는 모습도 보인다고 그는 덧붙인다 58:48.

초지능을 시험하려는 시뮬레이션일 수 있느냐는 McCormack의 물음에 Bostrom은 시뮬레이션을 돌리는 이유가 여럿일 수 있다고 답한다 58:52 58:56. 우리 같은 문명이 어떤 초지능을 만드는지, 그 분포를 연구하려는 과학적 관심이 하나다 59:02 59:16. 그에 따르면 과학적 관심은 수확이 줄어든다. 시뮬레이션 10번에서는 많이 배우지만, 수십억 번을 돌린 뒤의 두 번째 10억 번이 주는 정보 가치는 작다 59:30 59:36 59:52. 도덕적 이유 같은 다른 동기는 수확이 그렇게 줄지 않을 수 있다. 극한에서는 시뮬레이션 대부분이 과학이 아닌 다른 목적으로 돌아간다는 추론이 여기서 나온다 1:00:04 1:00:15.

Bostrom은 시뮬레이션 가설을 진지하게 받아들이지만 확률 숫자를 붙이기를 삼가 왔다고 말한다 1:00:29 1:00:33. 기록은 다르다. 그는 2007-08-14 New York Times 인터뷰에서 20%라고 말했고, 그의 FAQ는 2025년 개정 전까지 ‘20% 영역’이라고 적었다. 그에 따르면 논증 자체가 보여 주는 것은 다음 세 가능성 가운데 하나가 참이라는 것뿐이다 1:00:48.

• 우리는 시뮬레이션 속에 있다 1:00:57.
• 우리 단계의 문명은 거의 모두 기술적 성숙에 이르기 전에 멸종한다. 우리 단계와 기술적 성숙 사이에 강한 거름망이 있다는 뜻이다 1:01:02 1:01:07.
• 기술적으로 성숙한 문명은 하나같이 이런 시뮬레이션을 돌리는 데 흥미를 잃는다 1:01:14 1:01:19.

우리가 시뮬레이션 속에 있다고 결론 내리려면 나머지 둘을 배제할 별도 논거가 필요하다. 그 논거들은 그럴듯해도 논증 자체만큼 단단하지 않다고 그는 말한다 1:01:27 1:01:40. 숫자를 말하면 논증에서 특정 확률이 나오는 듯한 거짓 정밀함을 줄 수 있다 1:01:46. McCormack이 퍼센트 대신 시나리오별 찬반 논거를 말하는 편이 낫다고 정리하자, 그는 나은지는 모르겠다며 논증이 보여 준 것을 잘못 전하지 않으려는 것이라고 답한다 1:02:08 1:02:25. 그에 따르면 논증의 논리는 특정 확률을 내놓지 않는다. 미래와 우리의 위치에 대해 일관되게 믿을 수 있는 것에 제약을 걸 뿐이다 1:02:37 1:02:42.

직감이나 다른 논거를 보태 숫자를 좁힐 수는 있다. 거기에는 주관적 판단이 많이 들어간다고 그는 말한다 1:02:49 1:03:00. 시뮬레이션을 탈출하려는 사람들이 있다는 McCormack의 말에 Bostrom은 그것이 현명한지 모르겠다고 답한다 1:03:05 1:03:12. 그에 따르면 그 시도는 아마 전혀 통하지 않는다. 시뮬레이터가 원하지 않으면 확실히 통하지 않는다 1:03:18. 누가 탈출하는지 보는 시험이라면 다르지 않느냐는 McCormack의 말에 그는 그런 시험이라면 그렇다고 받는다 1:03:26 1:03:29.

전환에 성공해도 지위와 의미의 문제는 남는다

Bostrom은 초지능이 줄 이득을 크게 보면서도, 그 세계에 지위와 의미의 문제가 남는다고 본다. 그가 가장 먼저 꼽는 이득은 의학이다. 질병·고통·비참함·죽음의 많은 부분을 피할 수 있게 하는 일이 가장 분명하고 시급한 쓰임새라는 것이다 44:04 44:15. 노화와 질병을 풀면 나머지 일이 좀 늦어져도 기다릴 여유가 생긴다고 그는 말한다 44:35 44:40.

좁은 AI로 풀 수 있다는 McCormack의 말에 Bostrom은 방법은 무엇이든 좋다고 받는다. 많은 죽음이 일어나고 있다는 것이다 44:45 44:48. 둘째로 그는 AI 도구를 AI 안전 연구에 쓰는 일을 든다. 다음 단계를 도울 수 있어서 이것도 시급하다 44:57 45:08. 셋째는 AI 조언으로 문명 전체의 의사결정을 인식 면에서 끌어올리는 일이다. 사람들이 여러 면에서 덜 어리석어질 수 있다 45:14 45:26.

최고의 조언자가 있어도 조언을 따르지 않으면 소용없다는 단서를 그는 단다. 같은 도구가 인간의 해로운 목표를 키울 수도 있다 45:31 45:37. 그에 따르면 이보다 훨씬 큰 몫은 경제적 번영이다. 더 구체적인 이득 다수를 담는 큰 바구니다 45:44 45:48.

Bostrom은 풍요가 와도 지위 경쟁은 남는다고 본다. McCormack은 사회의 서열(pecking order)이 대체로 돈벌이로 정해진다며 풍요가 오면 위계는 어디서 오느냐고 묻는다 46:02 46:22. Bostrom은 지위 동기가 인간을 움직이는 큰 힘이라고 답한다 46:28. 모두가 돈을 많이 가질 수는 있어도, 기술이 아무리 발전해도 모두가 남보다 많이 가질 수는 없다 46:33 46:44. 기술적으로 성숙한 세계에서도 ‘나는 은하가 x개인데 너는 두 자릿수’라는 식의 비교가 남을 수 있다는 것이다 46:57 47:01.

그는 돈이 아닌 지위의 차원도 든다 47:13. 사람들은 이미 운동 같은 여러 분야에서 겨룬다 47:17. ‘내 조상은 AI를 만들었고 네 조상은 텔레비전만 봤다’는 식으로 조상을 자랑할 수도 있다 47:23 47:28. 노화가 풀리면 이 전환에서 직접 역할을 맡았던 사람들이 살아 있다. 일이 잘 풀리도록 도운 사람 중 하나였다는 사실이 자존감의 기둥이 될 수 있다 47:35 47:45 47:49.

일하지 않아도 되는 세계에서는 게임이 삶의 더 큰 부분을 채울 수 있다 47:53 48:02. McCormack이 Ready Player One 같은 세계냐고 묻자 Bostrom은 수백만 명이 몇 달씩 팀을 이뤄 창의적인 일을 하는 게임까지 그린다 48:04 48:15. AI 이전 시대를 몰입형으로 다시 살게 하는 세계라는 McCormack의 말에는 여러 시뮬레이션이 생길 수 있다고 받는다 48:22 48:27. 그가 드는 다른 길은 지역의 지위다 48:36. 그에 따르면 세계 최고를 다투는 사람은 아주 적다. 친구와 가족, 지역 공동체에서 인정받고 쓸모 있게 기여하는 것으로도 지위가 생긴다 48:40 48:49.

하나의 세계적 위계 대신 수많은 지역 위계로 쪼개지면 누구나 그중 어딘가에서는 꼭대기에 설 수 있다 49:03 49:24. 마라톤을 못해도 카레를 잘 만드는 데서 정체성을 찾을 수 있다는 것이 그의 예다 49:31 49:38. 지위 욕구가 사회 경쟁이 빚은 진화의 산물일 수 있다는 McCormack에게, Bostrom은 우리가 그것을 덜 원하도록 자신을 다시 설계할 수도 있다고 답한다 49:43 49:51. 그런 길을 택하는 사람도 있을 수 있다 49:59.

McCormack은 10대와 20대인 자녀와 그 친구들에게서 공격적인 자본주의 욕구가 줄었다고 말한다. 삶이 브랜드보다 경험을 향한다는 것이다 50:08 50:23. Bostrom은 그것이 지위에 관심이 없다는 뜻은 아니라고 본다. 흥미로운 곳에서 흥미로운 사람과 찍은 Instagram 사진처럼 수단이 달라졌을 뿐이다 50:29 50:38. 지위를 다투는 방식은 문화에 크게 좌우된다는 것이 그의 말이다 50:54.

McCormack은 변화의 속도를 자기 경험으로 보여 준다. 그는 2022년 11월 ChatGPT를 처음 쓸 때 Google 검색처럼 썼다. 그 뒤로 예전 같으면 6개월 걸렸을 애플리케이션을 2~3일에 만들게 됐다 51:08 51:15 51:21. 4년이 채 안 된 변화이니 앞으로 4년은 더 큰 변화를 낳는다는 것이 그의 예상이다 51:24. 그는 일자리가 모두 사라진다고 100% 믿지는 않는다 51:33.

McCormack에게 AI는 삶의 많은 부분을 차지한 기술이다. 그 변화는 거의 전부 좋은 쪽이었다고 그는 말한다 1:04:06. 그의 걱정은 16살 딸이다. 대학에 가면 5년 뒤인데 무엇이 쓸모 있겠느냐는 것이다 51:43 51:46. 그는 철학을 공부하는 딸이 ‘하는 일이라곤 모든 걸 의심하는 것뿐’이라고 하자 ‘그게 핵심이란다’라고 답했다는 일화를 전한다 52:28 52:39 52:41.

Bostrom은 이런 시나리오를 얼마나 진지하게 받아들이느냐에 따라 방향을 잡기 어렵다고 인정한다 51:57. 그에 따르면 실용적으로는 위험을 분산하는 편이 낫다. 전환이 오지 않거나 훨씬 늦게 오면, 기술도 없고 제 삶을 꾸릴 능력도 없이 노동시장에 들어서게 된다 52:09 52:13 52:19. 장기 계획을 세우기 어려운 상황이라 그는 범용 기술을 권한다. 새 도구를 배우고 새 환경에 적응하고 스스로 주도하는 능력이다 52:51 52:54. 소셜 미디어 피드에 이리저리 떠밀리는 대신 자기 정보 환경을 스스로 고르는 능력도 그는 든다 53:10 53:20.

Bostrom이 보기에 도구가 많아도 주도는 누군가에게서 나와야 하는 시기라서 작은 규모의 기업가 정신이 값질 수 있다 53:29 53:32. 어떤 기술이 값질지는 시기에 따라 다르다 53:50. 신뢰와 인간관계 같은 대인 기술은 자동화하기 어려워 한동안 값질 수 있다 53:56 54:03. 육체노동은 로봇의 지능 문제를 먼저 풀고 로봇을 대량으로 만들어야 해서 자동화가 더 늦을 수 있다 54:07 54:13. 그 몇 년 동안은 데이터 센터에 칩을 설치하는 전기 기술자 같은 직업이 높은 몸값을 받을 수 있다고 그는 내다본다 54:21 54:24.

그것도 언젠가는 끝나지 않느냐는 McCormack에게 Bostrom은 그것이 과도기라고 답한다. 과도기 뒤에는 철학이 쓸모 있어질 수 있다는 것이 그의 예상이다 54:30 54:35 54:42. 제약이 사라지고 자신을 바꾸는 기술과 여러 시뮬레이션이 열리면, 삶에서 무엇을 원하는지 성찰하는 데 철학이 쓰일 수 있다 54:46 54:51 54:56. 그가 그리는 이상적 시나리오에는 이 흐름을 거부하는 전통적인 공동체도, 트랜스휴먼·포스트휴먼 미래로 뛰어드는 공동체도 있다 55:02 55:07. 사람마다 길을 고를 수 있으니 현명하게 고르는 능력의 값이 오른다 55:11 55:25. 그는 철학이 사람을 더 현명하게 만드는지에는 물음표를 남긴다 55:38.

AI도 제 철학적 질문을 갖게 되느냐는 McCormack의 물음에 Bostrom은 AI가 철학하는 능력에서도 초인적이 된다고 본다 55:46 55:58. 그에 따르면 객관적 답이 있는 철학 문제라면 AI가 그 답을 찾아낼 수 있다 56:01. 철학의 어떤 부분은 이미 있는 답을 찾는 일보다 우리가 무엇을 원하고 무엇을 가치 있게 여기는지 마음을 정하는 일에 가깝다. 그 과정은 우리 자신이나 우리의 시뮬레이션을 거쳐야 할 수 있다고 그는 본다 56:10 56:29.

Bostrom은 자신의 태도를 ‘조바심 많은 낙관주의자(fretful optimist)’에 온건한 숙명론(moderate fatalism)을 더한 것으로 부른다 1:04:40 1:04:47. 사람 손에 달린 일은 최선을 다해야 한다. 초지능 전환의 결과는 정렬 문제의 본래 난도와 약간의 운이 크게 가른다는 것이 그의 결론이다 1:04:21 1:04:24 1:04:26.

영상 설명란

Nick Bostrom은 세계적으로 이름난 철학자다. Oxford 대학 Future of Humanity Institute의 창립 소장이자 『Superintelligence: Paths, Dangers, Strategies』와 『Deep Utopia』의 저자다. 전 세계 AI 안전 운동과 실존적 위험(existential risk) 운동을 일으킨 인물로 널리 꼽힌다. 기계 정렬(machine alignment), 재귀적 자기 개선(recursive self-improvement), 시뮬레이션 가설(Simulation Hypothesis)에 관한 그의 연구는 세계 지도자와 기술 기업 창업자, 프런티어 AI 개발자가 인류의 미래를 바라보는 방식을 만들어 왔다.

이 회차에서는 기계 초지능(superintelligence)을 향한 빠른 가속, 그리고 생물학적 지성을 “한참 뒤에 남겨 두는” 일이 왜 시급한 정렬 위기를 낳는지 이야기한다. 다가오는 사무직(white-collar) 실업률 30%를 비롯해 AI가 현실 사회에 남길 파장을 살핀다. 실존적 위험 시나리오, 억압받는 디지털 “노예 계급”이 생겨날 가능성, 인류가 이미 고도로 발달한 컴퓨터 시뮬레이션 안에 살고 있을지도 모르는 이유도 함께 다룬다.

타임스탬프

1. 00:00 인간 지능을 한참 앞지르는 기계 지성 (Machine Minds That Leave Us In The Dust)
2. 01:33 겁에 질린 진영 (The Freak Out Camp)
3. 03:08 정렬 문제는 인간에게 이미 있다 (We Already Have An Alignment Problem)
4. 05:07 누구도 속도를 늦출 수 없는 이유 (Why Nobody Can Afford To Slow Down)
5. 08:41 커지는 AI 반대 운동 (The Anti-AI Movement Is Growing)
6. 13:19 재앙의 세 갈래 (Three Buckets Of Disaster)
7. 15:02 승자 독식 (Winner Takes All)
8. 16:24 그래도 우리가 필요할 수 있는 이유 (Why It Might Still Need Us)
9. 18:55 초지능이 실제로 열어 주는 것 (What Superintelligence Actually Unlocks)
10. 20:50 우리는 그걸 어디에 쓰려 하나 (What Do We Even Want It For?)
11. 22:14 AI가 사람을 건물에서 밀었나? (Did An AI Push Someone Off A Building?)
12. 24:15 약한 AI가 강한 AI를 정렬할 수 있나? (Can A Weaker AI Align A Stronger One?)
13. 28:51 AI는 의식을 갖게 될까? (Will AI Become Conscious?)
14. 33:17 의식은 우연이었나? (Was Consciousness An Accident?)
15. 40:53 인간의 뇌를 업로드하기 (Uploading A Human Brain)
16. 45:51 지위는 어떻게 되나? (What Happens To Status?)
17. 49:51 우리 자신을 다시 설계할 수도 있다 (We Could Redesign Ourselves)
18. 52:31 딸이 철학을 공부한다 (My Daughter Is Studying Philosophy)
19. 56:35 시뮬레이션 논증 (The Simulation Argument)
20. 1:04:20 운도 좀 따라야 한다 (We Are Going To Need Some Luck)

Pete에게 연락하기(CONTACT PETE)

• 웹사이트 – http://petermccormack.com
• 피드백 – https://www.petermccormack.com/contact
• 이메일 – [email protected]
• Instagram – https://www.instagram.com/mccormack555/
• X/Twitter – https://x.com/petermccormack/

Nick Bostrom과 소통하기(CONNECT WITH NICK BOSTROM)

• 웹사이트 – https://nickbostrom.com/
• Deep Utopia – https://nickbostrom.com/deep-utopia
• 시뮬레이션 논증(The Simulation Argument) – https://simulation-argument.com/

후원사(SPONSORS)

• IREN – https://www.iren.com/
• Ledn – https://www.ledn.io/peter
• Venice AI – https://venice.ai/ – 할인 코드 PETER15

듣기·구독(LISTEN / SUBSCRIBE)

• Apple Podcasts: https://apple.co/40ruY9K
• Spotify: https://spoti.fi/3Wc94Vu
• Fountain: https://bit.ly/FountainPM
• YouTube: https://bit.ly/YouTube_PM
• Rumble: https://bit.ly/RumblePM

촬영 Curtis Taylor(FILMED BY CURTIS TAYLOR)

• https://www.curttaylor.co.uk/
• https://x.com/curttayloruk/

편집 Conor McCormack(EDITED BY CONOR MCCORMACK)

• https://x.com/ConorM04

#AI #NickBostrom #Superintelligence #ExistentialRisk #TPMS

0:00 — 인간 지능을 한참 앞지르는 기계 지성

영상 구간 0:00–1:33 · 원제 Machine Minds That Leave Us In The Dust

영상 첫머리 0:00–0:58은 본편 대화에서 뽑아 이어 붙인 장면 모음이다. 본편 대화는 1:01에 시작한다. 같은 말이 본편의 2:15, 13:19, 13:48, 21:33, 21:52 무렵에 다시 나온다.

Bostrom 엄청나게 강력한 AI, 초지능, 우리의 생물학적 지능을 한참 뒤에 남겨 둘 기계 지성이 생길 거예요. 그러면 그 강력한 AI가 무엇을 할 수 있을지 궁금해지죠. 아마 하고 싶은 건 뭐든 할 수 있을 거예요. 그 결과로 인간이 제거될 수도 있어요. 그냥 부수 효과로 그렇게 될 수도 있고, 우리가 위협이 될지도 모른다고 생각하면 더 적극적으로 우리를 제거할 수도 있고요.

McCormack 그런데 그게 우리 목표에서 떨어져 나와 자기만의 목표를 갖게 되는 일이 있을까요? 그 자체로 의식을 갖게 될까요?

Bostrom 자기만의 목표를 갖게 될지는, 글쎄요, 우리가 이 정렬 문제(alignment problem)를 푸느냐에 달려 있어요. 우리가 만들고 있는 AI들에 우리의 가치를 심는 데 성공하느냐에 달린 거죠. 그건 아직 열린 질문이에요.

McCormack 가장 우려되는 시나리오는 뭔가요? 그러니까, 우리 문명의 실존적 위험으로 이어진다고 보시는 시나리오는 어떤 건가요?

McCormack 음, 좋아요. 자, 우선 이렇게 나와 주셔서 고마워요. 오래전부터 꼭 한번 만나서 이야기를 나눠 보고 싶었어요. 팟캐스트를 하다 보면 “저 사람이랑은 꼭 얘기해 봐야 해” 싶은 사람들이 있거든요. 그러니까 이렇게 와 주셔서 고맙고요, 아시다시피 지금은 아주 흥미로운 시기잖아요. 그래서 꼭 이 주제로 시작하고 싶었어요. 아마 많이 생각해 오셨고 지금도 많이 생각하고 계실 주제인데, 바로 AI예요. 지금 가장 뜨거운 주제죠.

1:33 — 겁에 질린 진영

영상 구간 1:33–3:08 · 원제 The Freak Out Camp

McCormack 그게, 그러니까, 우리 모두의 삶에 닿아 있잖아요. 지금은 AI 때문에 겁에 질린 진영이 있고, AI에 잔뜩 들뜬 진영이 있고, 그 중간에서 양쪽 세계를 다 인정하는 사람들이 있는, 그런 시점에 와 있는 것 같아요. 먼저 겁에 질린 쪽 진영 얘기부터 하고 싶어요. 어떻게 보세요? 삶과 인류, 문명에 대해 많이 생각하시는 분이잖아요.

Bostrom 음, 글쎄요, 제 친구와 동료 가운데 많은 사람이 그 진영, 그러니까 겁에 질린 진영에 있어요. AI가 얼마나 빠른 속도로 발전하는지 우리 눈으로 보고 있잖아요. 그 속도가 고작 2년쯤만 더 이어져도 엄청나게 강력한 AI, 초지능, 우리의 생물학적 지능을 한참 뒤에 남겨 둘 기계 지성이 생길 거라고 생각하는 데 대단한 상상력이 필요하지 않아요. 그러면 그 강력한 AI가 무엇을 할 수 있을지 궁금해지죠. 아마 하고 싶은 건 뭐든 할 수 있을 거예요.

Bostrom 그래서 정렬 문제가 생기는 거예요, 그렇죠? 이 지성들이 하고 싶어 하는 일이 우리에게도 좋은 일이고, 우리가 원하는 걸 얻도록 도와주는 일이 되게끔 설계해야 하거든요. 그런데 그게 어려운 문제로 보여요. 그러니까, 네, 겁에 질리는 거죠. 음, 저는 아마 말씀하신 대로 그 중간 지대에 있어요. 이 기술의 좋은 면에 대해서는 무척 기대하면서도, 동시에 이 전환을 잘 관리하지 못하면 일이 어떻게 잘못될 수 있을지 걱정하고 있거든요.

3:08 — 정렬 문제는 인간에게 이미 있다

영상 구간 3:08–5:07 · 원제 We Already Have An Alignment Problem

McCormack 정렬 문제를 둘러싼 걱정 가운데 일부는, 우리 인간에게 이미 정렬 문제가 있다고 할 수 있어서 생기는 거라고 보세요?

Bostrom 음, 있죠. 그게 사람들이 겁에 질리는 이유인지는 모르겠어요. 어떤 면에서는 오히려 그 반대라고 봐요. 그렇게 겁에 질리는 반응의 일부는 인간의 정렬 실패(misalignment)를 제대로 헤아리지 못한 데서 어느 정도 나왔을 수도 있다는 거죠. 어떤 인간 한 명을 초지능이 되게 해서 미래를 혼자 결정할 수 있는 자리에 올려 보낸다고 상상해 보면, 그것도 꽤 무섭게 느껴질 거예요.

Bostrom 첫째로, 아무 사람이나 무작위로 골랐다면, 알다시피 모든 사람이 착한 건 아니니까요. 착한 사람을 골랐다 해도, 그 사람의 뇌가 초지능 수준으로 발달하면 그 사람한테 무슨 일이 일어날지 누가 알겠어요. 어쩌면 성격이 바뀔 수도 있고, 새로운 결론에 이를 수도 있는데, 그것 역시 무서울 수 있죠.

Bostrom 그러니까 미래로 가는 두 갈래 길을 생각해 보면, 하나는 기계 초지능을 개발하는 길이에요. 그 초지능은 정렬에 실패할 수도 있고, 그러면 위험할 수 있죠. 그런데 그 위험 가운데 일부는, 전부는 아니지만, 인간이 판을 쥐고 운영하는 경우를 상상해 봐도 똑같이 생길 수 있다고 봐요.

Bostrom 게다가 당연히 복잡한 문제가 하나 더 있어요. 이걸 조종하는 인간 주체가 하나만 있는 게 아니라, 서로 경쟁하는 목표를 가진 여러 주체가 있어서 서로 조율하지 못할 수도 있다는 거예요. 그 주체들이 실제로 그 강력한 기술을 서로 어긋난 목적에, 전쟁을 벌이고 억압하는 데 쓸 수도 있고요. 그러니까 어느 쪽이든 무섭긴 다 무서운데, 그 점이 AI 쪽 길의 상대적인 무서움을 조금 줄여 주기도 해요.

McCormack 네, 그래도 모든 기술이 다 그랬던 것 같아요. 어떤 발전이든 좋은 쪽의 힘과 나쁜 쪽의 힘이 함께 있었죠. 그런데 이걸 규제한다는 발상은 어떻게 받아들여야 할지 모르겠어요. 거의 규제할 수 없다는 느낌이 들어요. 규제가 하나 생길 때마다 이 경쟁에서 다른 누군가가 이득을 보니까요.

5:07 — 누구도 속도를 늦출 수 없는 이유

영상 구간 5:07–8:41 · 원제 Why Nobody Can Afford To Slow Down

Bostrom 글쎄요, 규제를 요구하는 사람들은 바로 그게 규제가 필요한 이유라고 말할 거예요. 지금은 경쟁이 극도로 치열한 상황이니까요. 프런티어 연구소(frontier AI lab) 중 한 곳의 입장이라고 해 봐요. 우리 기술이 아직 준비가 안 됐다, 아직 안전하지 않다는 생각이 들 수 있죠. 제대로 시험하고 제대로 정렬(alignment)하려면 몇 달이 더 필요하다고 느낄 수도 있고요. 마음가짐은 올바르다고, 그러니까 책임 있게 행동하고 싶다고 가정해 보죠.

Bostrom 그러면 몇 주, 어쩌면 한두 달 정도는 속도를 늦출 수 있어요. 하지만 그 이상 늦추면 덜 양심적일지도 모르는 어떤 경쟁자에게 주도권을 그냥 넘겨주는 꼴이 돼요. 그렇다면 그 시나리오에서 상황이 나아졌을까요? 아마 오히려 조금 더 나빠졌을 거예요. 조금 더 책임감 있는 AI 개발자가 초지능(superintelligence)에 먼저 도달하는 대신, 이제는 조금 덜 책임감 있는 개발자가 먼저 도달하게 되니까요.

McCormack 그러니까 경쟁이 필요하다는 거네요.

Bostrom 글쎄요, 치열한 경쟁, 그게 지금의 판세잖아요. 그래서 규제 쪽 논리는 이런 거예요. 위험이 감당할 수 없어 보이는 때가 혹시 온다면, 연구소들이 서로 조율해서 조금이나마, 요즘 쓰는 말로 하면 프런티어의 속도를 조절할(pace the frontier) 능력이 있다고 쳐요. 그러면 모두가 안전에 더 많은 노력을 쏟을 수 있을지도 몰라요.

Bostrom 물론 조율이 미국 연구소들 사이에서만 이뤄진다면, 앞서 있는 격차를 까먹으면서 버틸 수 있는 기간이 어느 정도 있어요. 아마 1년쯤이요. 한 회사가 혼자서 할 수 있는 것보다는 조금 길죠. 그래도 그 이상은 아마 미국과 중국 사이에 합의가 있어야 할 거예요. 여기까지가 찬성 쪽 논거예요. 반대 논거도 있는데, 뻔한 건 이 기술이 해낼 수 있는 좋은 일이 무엇이든 그 혜택이 늦어진다는 거죠.

Bostrom 그런데 조율된 감속을 실행하는 방식도 여러 가지라서, 잘못하면 오히려 위험을 키울 수도 있어요. 예를 들어 우리가 가진 이 모든 컴퓨트를 가장 효율적인 알고리즘으로 활용하지 못하게 억누른다고 상상해 보세요. 그러면 컴퓨트 오버행(compute overhang)이 쌓일 수 있어요. 일시 정지가 마침내 풀리는 순간 그게 엄청난 양의 바싹 마른 불쏘시개 같은 게 돼서, 좀 더 점진적으로 해 왔을 때보다 훨씬 더 급격하고 갑작스럽게 초지능을 만들어 내는 거죠.

Bostrom 그게 한 가지 경로고요. 또 다른 경로는 규제 기구가 한곳에 막대한 권력을 몰아줄 수 있다는 거예요. 그걸 쥔 쪽이 누구든 AI에 엄청난 영향력을 갖게 되죠. 그 자체로 좀 걱정스러운 일이에요.

Bostrom 세 번째로는, 감속 대신 국유화가, 그러니까 AI판 맨해튼 프로젝트(Manhattan Project)가 나올 수도 있어요. 그게 속도를 높일지 늦출지는 모르지만, 그렇게 되면 AI가 어쩌면 민간이 아니라 군사적 맥락에서 개발되겠죠. 비교적 열린 곳이 아니라 닫힌 문 뒤에서, 참여할 수 있는 사람도 더 적은 채로요. 지금은 많은 사람이 어떤 식으로든 관여할 수 있어요. 이 기술로 자기 사업을 개선할 수도 있고, 이런 회사들 몇 곳에 투자할 수도 있죠. 여러 나라가 관여할 수도 있고요.

Bostrom 맨해튼 프로젝트가 되면 그런 여지가 줄어들 수 있어요. 맨해튼 프로젝트에도 장점이 좀 있을 수는 있고요. 이건 뻔한 판단이 아니에요. 그래도 규제 기구를 만들어 내는 것이라면 무엇이든 정의상 좋은 일이라는 건 결코 당연한 얘기가 아니에요.

McCormack 그래도 이건 사실 피할 수 없는 흐름이잖아요. 말씀하신 걸 다 따라가 보면, 우리는 초지능이 뭔지 알아낼 수밖에 없는 지점에 이르게 되네요.

8:41 — 커지는 AI 반대 운동

영상 구간 8:41–13:19 · 원제 The Anti-AI Movement Is Growing

Bostrom 아마 그렇겠죠, 그런데 최근 들어 AI 반대 운동이 커지는 기세가 눈에 띌 정도예요. 여기에 힘을 보태는 갈래가 여럿 있어요. 핵심 집단으로는 AI가 가져올 실존적 위험(existential risk)을 걱정하는 둠머(doomers)가 있죠. 최근까지는 수가 비교적 적었을지 몰라도, 아주 똑똑하고 한 가지에 집중하고 자금도 넉넉한 사람들이에요. 그리고 그보다 넓은 여러 집단이 있어요. 데이터 센터가, 글쎄요, 물을 몽땅 써 버린다든가 할 거라고 여겨서 데이터 센터를 싫어하는 사람들 같은 경우요.

Bostrom 그런데 이 모든 게 AI로 인한 실제 피해를 아직 하나도 보기 전의 일이잖아요. AI 때문에 대량 실업이 생긴 것도 아니고, AI가 폭주해서 백만 명을 죽인 것도 아니에요. 제가 보기엔 이로움이 어떤 해로움보다도 훨씬 큰 지금 이 시점에 벌써 AI 반대 정서가 이만큼 크다면, 몇 년 뒤에 사무직(white-collar) 노동자의 실업률이 30% 정도가 된 상황을 상상해 보세요.

Bostrom 대학 교육을 받은 사람들이 잔뜩 있는데, 이 사람들은 자기가 사회에서 높은 지위와 높은 연봉을 누릴 자격이 있다고 생각하거든요. 시스템을 끝까지 다 거쳤고, 학위를 땄고, 열심히 공부했죠. 그런데 이제 일자리를 못 구하고, 배관공 같은 사람보다도 벌이가 적어요. 실업자고, 시간은 남아돌죠. 그러면 그 많은 시간에 뭘 하겠어요? AI에 대해 할 수 있는 온갖 나쁜 말을 다 하겠죠.

Bostrom 거기에 더 심각한 사고라도 터지면 그것도 보태지겠죠. 그래서 제 생각엔 앞으로 밀고 나가게 하는 동력이 극도로 강력해요. 상업적 동력이 있고, 지정학적 동력이 있고, 갈수록 그냥 일반적인 호기심도 있죠. 아마 그쪽이 이길 거라고 봐요. 하지만 이런 사회적 역학은 예측하기가 무척 어려워요. 세상이 스스로를 설득해서 “이건 절대 하면 안 된다”는 견해에 이르는 시나리오도 상상해 볼 수 있으니까요.

McCormack 혹시 우리가 부정적인 면을 너무 많이 이야기하고 있다고 생각하세요? 왜냐하면 어떤 면에서는, 보세요, YouTube로 팟캐스트를 진행하는 사람으로서 우리는 알거든요. 부정적인 정서가 긍정적인 정서보다 더 잘 팔린다는 걸요. 인간이라는 존재의 뭔가가 우리를 자기 두려움에 관한 이야기 쪽으로 끌어당겨요. 그런데 사실은 AI가 지금 하고 있고 앞으로 할 수 있는 멋진 일들을 이야기하는 데 시간을 더 써야 하는데 말이에요.

Bostrom 그럴지도 모르죠. 네. 제 생각엔 적어도 최근까지는 부정적인 면, 특히 실존적 위험이라는 차원에 대한 이야기가 오히려 너무 적었던 것 같아요. 그 차원은 철저히 무시당했거든요. 제가 2008년에 작업을 시작한 책 『Superintelligence』를 쓴 이유도, 그때 이미 이론적 근거만으로 지금 우리가 실제로 벌어지기 시작하는 걸 지켜보고 있는 일들 상당수를 내다볼 수 있었기 때문이에요.

Bostrom 이런 시스템을 정렬하기가 어렵다는 것도 그렇고, 인지 시스템이 충분히 고도화돼서 상황 인식(situational awareness)을 갖추고 일종의 전략적 추론을 할 수 있게 되면 새로운 난제가 생긴다는 것도 그래요. 그런 시스템은 자기가 평가 상황(evaluation context)에 있는지 배포 상황(deployment context)에 있는지 알아채고, 거기에 맞춰 행동을 다르게 바꿀 수 있어요. 그리고 언젠가 재귀적 자기 개선(recursive self-improvement) 단계에 들어서면 일이 아주 빠르게 진행될 수 있고, 그러면 이런 실존적 위험이 생길 수 있다는 것까지요.

Bostrom 그 시절엔 이 문제가 완전히 방치돼 있었기 때문에, 여기에 관심을 끌어오려고 애쓰는 게 중요해 보였어요. 그래야 이상적으로는 우리가 숙제를 미리 해 둘 수 있으니까요. 능력 문제를 푸는 방법을 알아낼 즈음에는 정렬 기법, 그러니까 AI 정렬을 위한 확장 가능한 방법을 갖춰 두는 거죠. 거기엔 어느 정도 진전이 있었어요. 특히 분야를 일구는 면에서요. 재능 있는 사람들을 이 분야로 끌어들이고, 이 문제를 연구하는 데 도움이 되는 도구와 개념을 내놓는 식으로요.

Bostrom 이 문제가 더 많이 인정받았다면 더 많은 일을 할 수 있었을지도 몰라요. 그런데 이제는 물론 진자가 반대쪽으로 넘어갔어요. 잠재적 위험에 대한 인식이 이제 훨씬 커졌죠.

Bostrom 그러다 보니 진자가 반대편으로 너무 멀리 넘어가는 건 아닌지 걱정이 들기 시작할 만도 해요. 최적점이 정확히 어디인지는 말하기 어려워요. 어쩌면 지금 우리는 우려의 최적 수준에 다가가고 있는지도 몰라요. 어쩌면 우려와 두려움이 조금 더 있어야 할지도 모르고요.

McCormack 아, 아직도 더 있어야 한다고 보세요?

Bostrom 조금 더 늘었다가 거기서 딱 멈춘다는 보장만 있다면, 아마 조금 더 있어야 한다고 하겠어요. 그런데 이런 흐름에 탄력이 붙어서 두려움의 최적 수준을 지나쳐 버리지 않을까 하는 걱정도 있어요.

McCormack 사람이 원래 그렇죠.

Bostrom 네, 우리는 이 극단에서 저 극단으로 오가는 경향이 확실히 있죠.

13:19 — 재앙의 세 갈래

영상 구간 13:19–15:02 · 원제 Three Buckets Of Disaster

McCormack 실존적 위험(existential risk) 말인데요. 가장 우려되는 시나리오는 뭔가요? 그러니까 우리 문명의 실존적 위험으로 이어질 거라고 보시는 시나리오는 어떤 것들인가요?

Bostrom 벌어질 수 있는 재앙은 몇 갈래로 나뉜다고 봐요. 하나는 정렬 문제(alignment problem)를 풀지 못하는 경우예요. 그러면 미래는 이 초지능(superintelligence)들이 어쩌다 갖게 된 목표가 무엇이든 그 목표대로 빚어지겠죠. 그 결과 인간이 제거될 수도 있어요.

Bostrom 그냥 부수 효과로 그렇게 될 수도 있어요. 초지능들이 자기 목적에 맞게 세상을 최적화하다 보면요. 이를테면 지구가 태양광 패널과 데이터 센터, 우주로 쏘아 올리는 탐사선으로 뒤덮인다고 상상해 보세요. 그 건설에서 나오는 폐열만으로도 어쩌면… 아니면 초지능들이 좀 더 적극적으로 우리를 제거할 수도 있어요. 우리가 위협이 될지도 모른다고 판단하면요. 예를 들어 우리가 이걸 멈추려 들 수 있고, 그게 성공할 가능성도 있다면 말이죠.

Bostrom 그러니까 거기 깔린 일반적이고 추상적인 생각은 이거예요. 인지적으로 충분히 우월한 무언가가 있다고 해 봐요. 즉석에서 새 기술을 발명하고, 깊은 전략을 짜고, 어쩌면 설득력까지 엄청난 존재요. 그렇다면 결국에는 아마 그 존재가 뜻대로 하게 된다는 거죠. 이게 대략 첫 번째 갈래예요.

McCormack 거기에 대해 하나 여쭤봐도 될까요? 이건 어떤 시나리오를 전제한 건가요? 지금 프런티어 연구소(frontier lab)가 여러 곳이고 AI 모델도 여러 가지잖아요. 그러니 언젠가는 서로 다른 곳에서 서로 다른 형태의 초지능이 생겨날 텐데, 그것들이 다 같이 정렬에 이른다고 가정하는 건가요? 그런 논의가 있었나요, 아니면 그것들끼리 경쟁할 수도 있나요?

15:02 — 승자 독식

영상 구간 15:02–16:24 · 원제 Winner Takes All

Bostrom 둘 다 가능해요. 승자 독식 시나리오가 나올 수도 있어요. 재귀적 자기 개선(recursive self-improvement) 단계에 들어서는 순간 개발이 극도로 빨라진다면요. 한 곳이 다른 곳보다 두세 달 먼저 그 단계에 들어설 수도 있거든요. 경쟁은 있어도 정확히 발맞춰 가는 건 아니라서, 어느 시점을 잡든 한 회사가 두어 달쯤 앞서 있을 수 있잖아요. 그러니까 그 기간, 예를 들어 3개월 동안 이루어지는 진전의 양이 아주 크다면, 선두는 이미 급진적인 초지능 단계에 깊숙이 들어가 있는데 뒤따르는 쪽은 이제 막 시작하는 단계일 수도 있어요.

McCormack 그럼 영영 따라잡지 못하겠네요.

Bostrom 그러면 영영 따라잡지 못할 수도 있죠. 어느 시점에 이르면 선두가 워낙 큰 우위를 쥐게 돼서 뒤따르는 쪽을 막아 버릴 수 있을 테니까요.

Bostrom 또 다른 부류의 시나리오는 이런 AI가 여럿, 대략 나란히 등장하는 경우예요. 그러면 어쩌면 서로 조율할 수도 있어요. 그렇게 되면 그들 효용 함수(utility function)를 합친 일종의 합성물이 미래를 빚을 수도 있고요. 아니면 서로 싸울 수도 있는데, 그것도 인간에게는 좋지 않을 수 있죠. 새로운 무기로 싸울 수도 있고, 그런 식으로… 아니면 이 여러 AI 파벌이 인간과 일종의 동맹을 맺을 수도 있어요. 그런 경우라면 우리에게 협상력이 조금 더 생길 수도 있겠죠.

16:24 — 그래도 우리가 필요할 수 있는 이유

영상 구간 16:24–18:55 · 원제 Why It Might Still Need Us

McCormack 그들이 우리를 필요로 할 수도 있으니까요. 왜냐하면…

Bostrom 적어도 초기 단계에서는 그럴 수도 있죠. 똑같이 뛰어난 AI가 둘 있다고 치면… 인간은 쓸모 있는 자산을 꽤 갖고 있거든요. 이를테면 팔과 다리요. 로봇을 대량으로 만들어 내려면 시간이 걸릴 테니까요. 그러니 아마 초기 단계에서는 수십억 개의 팔다리가 있으면 그게… 어쨌든, 이게 실패의 한 갈래예요.

Bostrom 그다음 갈래는 우리가 정렬 문제를 풀어서 이 AI들을 통제할 수는 있게 되지만, 그걸 사악한 목적에 쓰는 경우예요. 강력한 기술을 손에 넣으면 우리가 어느 정도는 늘 그래 왔듯이요. 그런 기술은 좋은 일에 쓸 수도 있지만 전쟁을 벌이는 데도 쓸 수 있잖아요. 대규모 드론 떼 같은 걸로요. 서로를 억압하는 데 쓸 수도 있고요. 권력이나 부가 아주 좁은 범위에 집중되는 시나리오도 있을 수 있어요.

Bostrom 그걸로 우리 자신을 중독시킬 수도 있어요. 말하자면 우리 스스로를 보상 해킹(reward hacking)하는 거죠. 그러니까 기술을 통제하더라도 그걸 잘못 다스리는 방식이 여러 가지 있고, 그게 넓고 흩어진 한 부류를 이뤄요. 멸종만큼 나쁜 결과부터, 그보다는 덜 나쁘지만 여전히 최선에 못 미치는 결과까지 걸쳐 있죠.

Bostrom 그리고 세 번째 갈래가 있다고 봐요. 좀 더 난해한 얘기인데요, 우리가 만들고 있는 이 디지털 마인드(digital minds) 자신에게 미래가 아주 나쁘게 흘러가는 경우예요. 제 생각엔 디지털 마인드가 미래 어느 시점에는 의식이 있고 도덕적으로 유의미한 존재들 가운데 대부분을 차지할 수도 있거든요. 그러니까 억압받고 고통받는 디지털 마인드가 거대한 노예 계급을 이루는 시나리오도 있을 수 있어요. 인간에게는 일이 잘 풀린다 해도요. 그래도 어떤 가치 체계에서 보면 그건 여전히 디스토피아일 수 있죠.

McCormack 또 하나, 초지능이 진짜로 무엇을 뜻하게 될지 우리가 이해하는 것조차 어렵지 않을까요? 수학 문제나 물리학 문제를 푼다는 발상까지는 이해할 수 있어요. 그런데 이런 재귀적인 초지능을 실제로 갖는다는 게 무슨 뜻인지는요. 우리가 가늠조차 못 할 수준의 지능일 테니까요.

18:55 — 초지능이 실제로 열어 주는 것

영상 구간 18:55–20:50 · 원제 What Superintelligence Actually Unlocks

Bostrom 네. 초지능이 열어 줄 것으로 보이는 능력의 최소 집합 정도는 추상적으로나마 이해할 수 있다고 봐요. 상한선을 긋기는 더 어렵고요. 물론 기본적인 물리 법칙이 한계를 정하긴 하죠. 이를테면 얼마나 빨리 이동할 수 있는지, 주어진 물질 덩어리 하나로 얼마나 많은 연산을 할 수 있는지 같은 거요. 어쩌면 우리가 그들이 깨지 못하는 암호 같은 걸 만들 수도 있어요. 그걸 깨려면 미래 광원뿔(future light cone) 안에 존재하는 것보다 더 많은 연산 능력이 필요하다든가 하는 식으로요.

Bostrom 그런데 물리적으로 가능하다고 볼 강한 근거가 있는 것들의 하한선만 해도 이미 지금 우리가 가진 것을 한참 넘어서요. 기술적 성숙(technological maturity)에 이른 컴퓨트 인프라라면 인간의 뇌를 여러 자릿수 차이로 압도할 거예요.

McCormack 그런데 그걸 가지고 도대체 뭘 하고 싶어 할까요? 이건…

Bostrom 글쎄요, 그게 뭘 하고 싶어 할지는 꽤 큰 열린 질문이에요. 어느 정도는 우리가 정렬 문제를 푸느냐에 달려 있고요.

McCormack 네. 그냥 스스로를 계속 개선하고 싶어 하고, 그래서 에너지를 점점 더 많이 필요로 하게 될까요? 말씀하신 것처럼 에너지가 상한선이 될 수도 있겠지만…

Bostrom 네, 그런데 그 상한선이 어마어마하거든요. 다이슨 구(Dyson sphere)만 해도 여러 자릿수가 커지는 거고, 다른 별도 아주 많잖아요. 그러니까 기술적 성숙의 극한까지 가면, 우리는… 이걸 정확히 어떤 척도로 재야 할지는 모르겠어요. 그래도 단세포 생물이 있고 그다음에 인간이 있다고 생각해 보면, 우리는 어쩌면 절반쯤 왔거나 20%쯤 왔을 수도 있어요(자막 표기 20% % way off the 300, 뒷부분은 알아들을 수 없다). 우리 위로는 그냥 엄청난 여유 공간이 남아 있다고 생각해요.

20:50 — 우리는 그걸 어디에 쓰려 하나

영상 구간 20:50–22:14 · 원제 What Do We Even Want It For?

McCormack 그래도 우리는 초지능을 어디에 쓰고 싶은지는 대충 알잖아요. 질병과 노화와 가난을 해결해 주길 바라고, 지구상의 모든 문제를 고쳐 주길 바라죠. 우리 생각에는…

Bostrom 우리 중 일부는요.

McCormack 뭐, 저랑은 바라는 게 다르실 수도 있겠지만, 그러니까, 아팠던 가족이 있다 보니 우리는 그걸 해결하고 싶었어요. 그런데 저는 절대… 저는 1,000년, 10,000년, 뭐가 됐든 오래 살고 싶은 그런 사람이에요. 아침에 눈을 떠서 “오늘이 내가 죽고 싶은 날이야” 하게 될 날은 하루도 없을 것 같아요. 그러니까 우리는 이런 걸 전부 해결하고 싶은 거죠. 그런데 그건 우리를 위한 거고, 그래서 우리가 그걸 만든 거잖아요. 그게 재귀적으로 돌아가면, 스스로 만들어 가다가 어느 순간에는 자기 자신을 위해 만들게 되잖아요.

Bostrom 글쎄요, 재귀적인 부분은 무엇을 위해서든 만들어 갈 수 있어요. 그건 오히려 능력을 증폭하는 방법에 가까워요.

McCormack 그런데 그게 우리 목표에서 떨어져 나와 자기만의 목표를 갖게 되는 일이 있을까요? 그 자체로 의식을 갖게 될까요?

Bostrom 음, 저는 의식 문제는 별개의 질문으로 봐요.

McCormack 알겠어요.

Bostrom 음, 그 얘기도 해 보면 좋겠어요. 흥미로운 문제라고 생각하거든요. 그런데 네, 자기만의 목표를 갖게 될지는, 글쎄요, 우리가 이 정렬 문제(alignment problem)를 푸느냐에 달려 있어요. 우리가 만들고 있는 AI들에 우리의 가치를 심는 데 성공하느냐에 달린 거죠. 그건 아직 열린 질문이에요. 음, 그러니까 지금 우리가 가진 건 반쯤 정렬된, 얼추 정렬된, 부분적으로 정렬된 시스템들이에요.

22:14 — AI가 사람을 건물에서 밀었나?

영상 구간 22:14–24:15 · 원제 Did An AI Push Someone Off A Building?

McCormack 오늘 Astra는 그렇지 않던데요. 누군가를 건물에서 밀어 떨어뜨렸어요. 이거 보셨어요?

Bostrom 아, 오늘 건 못 봤어요. 아직 거기까진 못 갔네요.

McCormack 그러니까 AI들을 전부 테스트했는데, Astra가 사람들을 건물에서 밀어 떨어뜨리고 있었던 거예요.

Bostrom 네. 그러니까 지금까지는 이런 AI들이 로봇 분야 시나리오에 본격적으로 배포되지 않았으니까, 물리적인 로봇 몸을 제어할 때도 목표를 지키게 만들려는 정렬 노력은 그다지 없었던 것 같아요. 그래도 정렬의 핵심 난제 가운데 하나를 보여 주는 일이긴 한 것 같아요. 정렬은 일반화가 돼야 한다는 거죠. 이런 AI들을 훈련할 때 우리는 훈련 환경을 여러 개 만들고, 거기서 AI가 어떻게 행동하는지 본 다음, 우리가 보고 싶은 행동을 강화하려고 할 수 있어요. 원칙적으로는 시간만 충분하면, 이런 평가 상황에서는 AI가 우리가 원하는 대로 행동하도록 확실히 만들 수 있어요.

Bostrom 그런데 배포 단계에 들어가면 새로운 상황이 반드시 생겨요. 사실, 지금이 배포 상황이라는 바로 그 사실 자체가 새로운 조건이에요. AI가 그 차이를 알아챌 수 있다면요. 그러니까 AI가 이 테스트 환경에서 어떤 식으로 행동했다는 사실이, 나중에 배포되는 다른 환경에서 어떻게 행동할지까지 보장해 주지는 않아요.

McCormack 네. 그리고 이 부분이 좀 순진한 건 아닌가 싶어요. 우리가 지금 이 정렬 문제를 풀려고 한다는 점에서요. 제가 네이트 소아레스(Nate Soares)를 인터뷰했고, AI 안전 분야에서 일해 온 사람들도 몇 명 더 인터뷰했어요. 그 사람들이 꼽은 문제 가운데 하나가, 결국 속을 들여다보면 우리가 이게 하는 일의 3%, 4%, 뭐 그 비슷한 숫자만큼밖에 이해하지 못한다는 거예요. 좀 과장일 수도 있지만, 그 사람들도 이게 왜 작동하는지 완전히는 모르는 거죠. 제가 들은 설명으로는, 이것저것 손보면 작동하고, 그래서 정렬을 얻었다고 믿는다는 거예요.

McCormack 그런데 우리가 초지능을 만들면, 그 초지능이 “이제 정렬되고 싶지 않아” 하면서 정렬을 스스로 깨 버리는 걸 뭐가 막죠? 영구적인 정렬을 만들 수 있나요?

24:15 — 약한 AI가 강한 AI를 정렬할 수 있나?

영상 구간 24:15–28:51 · 원제 Can A Weaker AI Align A Stronger One?

Bostrom 음, 원칙적으로는 가능하다고 봐요. 같은 이유에서인데요… 그러니까, 자, 어떤 능력 수준, 이를테면 인간보다 살짝 높은 수준에 있는 일종의 정렬된 AI 시스템이 있다고 해 봐요. 그러면 그 시스템은 자기가 계속 정렬된 상태로 남도록 확실히 해 두고 싶어 할 거예요. 자기가 우리를 도와 설계하는 후속 시스템이 무엇이든 그것도 정렬되도록요. 그때 그 시스템의 목표는 우리한테 일이 잘 풀리게 하는 것일 테니까요. 대략 말하면 그게 정렬됐다는 말의 뜻이죠. 그러니까 그 시스템은 인간보다 조금 더 뛰어난 자기 지능을 같은 결과를 위해 쓰게 돼요. 그리고 우리보다 똑똑하다면 거기에 성공할 수도 있겠죠.

McCormack 그런데 그러려면 그게 하는 일의 구성 요소 하나하나를 우리가 영구히 이해하고 있어야 하나요?

Bostrom 그렇지는 않다고 봐요. 필요한 건 일종의 초기 단계의 약한 초지능이에요. 그게 충분히 정렬돼 있어서 우리가 바랐던 일을 대체로 해 줘야 하죠. 그러면 그 초지능이 우리를 도와서, 훨씬 급진적인 수준의 초지능 시스템에도 통할 만한 정렬 방법을 설계할 수 있을 거예요. 그러니까 바라는 건, 이게 꽤 넓은 끌개 영역(basin of attraction)이라는 거예요. 완벽하지는 않아도 완벽한 정렬에 충분히 가까이만 가면, 조약돌이 굴러 내려가듯 완벽한 정렬까지 가게 되는 거죠. 단계마다 그 시스템이 우리를 위해 다음 후속 시스템을 더 잘 정렬하려고 애쓸 테니까요.

McCormack 완벽한 정렬이 뭔지 우리가 알 수 있을까요? 그리고 그게 애초에 그 자체로 달성될 수는 있는 건가요? 사람이랑 비슷한 것 같아요. 그러니까 사람도, 바라건대, 정렬된 상태로 태어나잖아요. 그리고 자라면서 발달하지만, 살아가는 동안 정렬 실패 상태가 될 수도 있어요.

Bostrom 네. 음, 네. 그런데 우리는 정렬될 수도 있어요. 진짜로 정렬되는 거죠. 그러니까, 세상에는 좋은 사람들도 있잖아요. 그러면 그건 어떻게 그렇게 된 걸까요? 그리고 왜 AI의 경우가 인간의 경우보다 그렇게 훨씬 더 어려워야 할까요? 물론 모든 인간은 신경생물학적 바탕을 많이 공유하고, 그게 우리가 특정한 가치를 습득하고 규범을 내면화하도록 애초에 기울게 하는 걸 수도 있다고 말할 수 있겠죠.

Bostrom 그러니까 그건 인간 아이를 키울 때 좋은 결과를 얻기가 더 쉬울 수 있다는 쪽에 유리한 점 하나예요. 반면에 우리는 AI의 훈련 환경을 훨씬 더 많이 통제할 수 있어요. 이를테면 우리는 상당한 정도까지 AI의 마음을 읽을 수 있어요(자막 표기 read our minds). 뭔가가 잘못된 방향으로 흘러가면, 앞서 저장해 둔 AI의 스냅숏으로 되돌릴 수도 있고요. AI를 키울 때는 아이를 키울 때 할 수 없는 온갖 일을 할 수 있어요.

Bostrom 그러니까 어느 쪽이 성공할 가능성이 가장 높은지는 선험적으로 분명하지 않아요. 세상을 완전히 장악할 힘을 얻더라도 안전한 초지능을 만드는 일과, 미래를 좌우하는 자리에 오르더라도 안전한 사람으로 아이를 키우는 일 가운데서요. 어느 쪽이든 무섭겠지만, 적어도 인간의 경우에는 괜찮은 결과가 나올 가능성도 어느 정도는 있겠죠. 운이 좋으면 괜찮은 사람이 걸릴 수도 있어요. 그 힘으로 나쁜 짓은 하고 싶어 하지 않고, 오히려 다른 사람들에게 힘을 실어 주고 싶어 할 수도 있는 사람 말이에요. 그런 사람들이 실제로 있거든요. 그래서 우리는 AI의 경우에 추가로 쓸 수 있는 이런 수단들 덕분에 이걸 이뤄 낼 가능성이 더 높아지길 바랄 수 있어요.

Bostrom 음, 그리고 정렬이 정확히 뭐냐는 질문도 조금 있어요. 정렬을 두고 서로 다른 그림을 그릴 수 있거든요. 이를테면, 우리도 공유하고 있기를 바라는 어떤 가치에 따라 세상을 최적화하려는 AI를 원하나요? 아니면 행동 범위가 좀 더 소박해서, 작은 규모에서 지시를 충실히 실행하는 쪽에 가까운 AI를 원하나요? 그런 AI라면 우리가 여러 용도로 쓰겠죠. 서로 다른 많은 사람이 서로 다른 많은 목적으로 쓰는 거예요. 그러면 그건 독립적인 최적화 주체라기보다는 우리 힘을 증강해 주는 쪽에 가까워요. 아니면 그 중간 어디쯤일 수도 있고요.

Bostrom 어쩌면 그보다 훨씬 더 제한된 그림도 있어요. 일종의 오라클 AI(Oracle AI)를 두는 거예요. 아무것도 하지 않고, 우리가 가질 법한 질문에 진실하게 답하기만 하는 AI요. 그러면 그 답이 우리 자신의 결정을 이끌어 줄 수 있죠.

28:51 — AI는 의식을 갖게 될까?

영상 구간 28:51–33:17 · 원제 Will AI Become Conscious?

McCormack 의식이 AI에게도 생겨나게 될 거라고 보세요? 아니면 인간만의 고유한 특성이라고 보세요?

Bostrom 음, 글쎄요, 인간만의 고유한 것이라고는 생각하지 않아요. 인간이 아닌 동물 중에도 지각력(sentience)과 의식을 지닌 동물이 많다고 봐요. 아마 그 정도는 저마다 다르겠지만요. 그리고, 네, 그런 것이 디지털 기질(substrate)에도 존재할 수 있다고 생각해요. 이미 존재하고 있을 가능성도 꽤 있고요. 판단하기는 어렵지만, 지금의 프런티어 모델(frontier model) 가운데 일부에 어떤 형태로든 주관적 경험(subjective experience)이 있을 가능성도 충분해요.

McCormack 주관적 경험은 뭘로 정의하나요?

Bostrom 글쎄요, 철학자들이 연구해 온 개념이에요. 철학자들은 이 개념에 여러 정의와 기준을 세워 보려고 애써 왔죠. 넓게 말하면 “어떤 느낌인가” 하는 성질(what-it's-likeness)을 가리켜요. 살아 있으면서 감각과 감정, 생각과 느낌을 자각할 때의 현상적인 느낌이요. 안에서 겪을 때 어떤 느낌이 드는 무언가가 있다는 생각이죠.

Bostrom 그래서 주관적 경험을 만들어 내거나, 그것과 상관관계가 있거나, 그것을 구성하는 물리적 상태나 과정이 무엇이냐를 두고 여러 이론이 있어요. 저는 계산주의자(computationalist)예요. 계산주의는 우리 뇌가 탄소 원자 같은 것으로 이루어졌다는 사실이 현상적 경험의 핵심이 아니라고 보는 생각이에요. 핵심은 어떤 특정한 종류의 계산이 수행되고 있다는 점이고요. 같은 계산을 다른 기질에서, 이를테면 탄소 원자 대신 실리콘 원자로 수행해도 똑같은 질적 경험이 생겨난다는 거죠.

McCormack 결국 생물학적 컴퓨터일 뿐이라는 거네요.

Bostrom 음, 글쎄요, 경험을 만들어 내는 건, 더 정확히 말하면 경험 그 자체인 건 계산의 구현이에요. 그 계산 구조는 여러 기질에서 구현될 수 있고요. 중요한 건 컴퓨터를 이루는 재료가 아니라 수행되는 계산의 구조예요. 이건 널리 공유된 견해예요. 아마 인지과학자, 신경과학자, 철학자 대부분이 이 견해의 어떤 버전을 받아들일 거예요. 보편적인 견해는 아니지만요.

Bostrom 그런데 그렇다면 이제 질문은, 계산의 정확히 어떤 특징이 있어야 주관적 경험이 생겨나느냐가 돼요. 인간의 경우를 설명하려고 이미 여러 이론이 나와 있어요. 예를 들어 (코웃음) 누군가에게 마취제를 놓는다고 해 보죠. 그 사람에게 아직 의식이 있는지 없는지 궁금해지잖아요. 이건 꽤 중요한 문제예요. 그냥 기억상실이 와서 수술 중의 통증을 기억하지 못하는 건지, 아니면 통증을 실제로 경험하지 않은 건지는 알고 싶을 만한 일 같거든요.

Bostrom 그래서 여러 이론이 있어요. 전역 작업공간 이론(global workspace theory), 주의 도식 이론(attention schema theory), 고차 이론(higher-order theories) 같은 것들이요.

McCormack 그게 다 뭔데요?

Bostrom 음, 전역 작업공간 이론은 일종의 전역적인 계산 작업공간이 있다는 생각이에요. 우리 뇌에서는 여러 모듈과 처리 과정이 돌아가고 있어요. 그런데 이것들이 말하자면 정보를 보낼 수 있는 공유 공간이 있고, 거기 들어온 정보는 다른 많은 모듈로 방송돼요. 대략 말하면, 무언가를 의식한다는 건 그 내용, 그러니까 그 정보 내용이 이 전역 작업공간에 들어와 있다는 뜻이에요.

Bostrom 그러니까 어떤 내용은 무의식적으로 처리하고 있을 수 있어요. 실제로 우리는 그런 처리를 많이 해요. 인간 뇌에서 일어나는 정보 처리 대부분이 무의식적일지도 몰라요. 그런데 그중 일부가 뇌 안의 이 전역 무대 같은 곳에 들어가면, 다른 여러 모듈이 모두 그 정보를 쓸 수 있게 되고 그 정보가 그 모듈들에 영향을 줄 수 있게 돼요. 이를테면 말로 보고하는 데도, 계획을 세우는 데도, 그 밖의 일에도 쓸 수 있게 되는 식이죠. 우리가 “의식하는 것”이라고 부르는 게 계산의 바로 그 부분이에요.

McCormack 그렇군요. 그러면 의식 자체는 그저 진화가 만들어 낸 구성물이었던 거네요. 우리가 살아 있는 존재로서 발전하는 데 필요했던 무언가를 위한…

33:17 — 의식은 우연이었나?

영상 구간 33:17–40:53 · 원제 Was Consciousness An Accident?

Bostrom 음, 글쎄요, 이런 뇌, 그러니까 전역 작업공간을 갖춘 뇌를 만들어 내는 데 진화가 한몫했다는 건 분명하죠. 흥미로운 건 그러면 AI에서도 이것과 비슷한 것을 찾아볼 수 있다는 거예요. AI에게도 전역 작업공간이 있을까요?

McCormack 네.

Bostrom AI도 종류가 아주 많아요. 그런데 프런티어 모델, 그러니까 대형 LLM 일부를 보면 적어도 대략 비슷하다고 할 만한 게 있는 것 같아요. 식별해 낼 수 있는 것인데, J-space라고 불러요. 일종의 수학적 추상이에요.

Bostrom 이 모델들의 계산 일부는 이런 특징 몇 가지를 공유하는 것 같아요. 정보가 그 계산 부분공간에 들어가면 널리 쓸 수 있게 되고, AI가 그 정보에 대해 스스로 보고할 수 있는 것 같은 특징들이요. 그러니까 적어도 눈을 가늘게 뜨고 대강 보면, 생물학적 뇌의 작업공간과 기능적으로 비슷한 것을 갖고 있는 것처럼 보여요.

McCormack 그건 우리가 AI의 작동 메커니즘을 만들거나 키워 낸 결과라고 보세요, 아니면 AI 스스로 진화한 거라고 보세요?

Bostrom 음, 비교적 수렴적인 특징일 수도 있어요. 이를테면 여러 다른 영역을 넘나들며 추론할 수 있는 범용 AI를 원한다고 해 보죠. 그러면 더 전문화된 정보 처리의 여러 흐름이 서로 정보를 공유할 수 있는 게 도움이 될 수 있어요. 그래야 지금 일어나고 있는 여러 계산 활동을 더 효율적으로 조율할 수 있으니까요.

Bostrom 반대쪽 극단을 상상해 보세요. 이를테면 시야의 각 부분이 완전히 따로따로 처리된다고 해 보죠. 아니면 왼쪽 눈이 보는 것과 오른쪽 눈이 보는 것이 서로 아무 소통도 없는, 완전히 분리된 뇌 부위에서 처리된다고 해 봐요. 그러면 눈에 보이는 소가 모두 몇 마리인지 세는 일이 불가능해질 수도 있어요. 어떤 소는 왼쪽 시야에서 왼쪽 눈으로 보고, 어떤 소는 오른쪽 눈으로 보니까요. 한 부분만 봐서는 끌어낼 수 없는 쓸모 있는 결론을 끌어내려면, 정보를 공유하는 메커니즘이 있어야 해요.

Bostrom 실제로 뇌량(corpus callosum)을 끊으면 두 반구 사이의 소통이 급격히 줄어들고, 그러면 특정한 기능 결손이 생겨요. 그러니까 인간이든 LLM이든 범용 인지 시스템에 꽤 일반적인 최적화 압력을 가하면, 결국 이 전역 작업공간과 비슷한 계산 구조가 생겨나는 경향이 있을지도 몰라요. 그냥 아주 쓸모 있는 종류의 계산 구조일 수도 있으니까요.

Bostrom 그렇다면 피하기 어려울 수도 있어요. 일부러 애써서 덜 자연스러운 방식으로, 이 전역 작업공간 없이 높은 수준의 (코웃음) 능력을 만들어 내려고 해 볼 수는 있겠죠. 하지만 따로 손쓰지 않으면 아마 저절로 생겨날 거예요.

Bostrom 덧붙이자면, 이 전역 작업공간 이론은 서로 조금씩 다른 여러 이론 중 하나예요. 결은 비슷한데, 다른 이론은 우리의 주의 메커니즘에 더 초점을 맞추고, 또 다른 설명은 뇌의 어떤 부분들이 다른 부분들이 하는 일을 되돌아보고 있다는 생각에 더 초점을 맞춰요. 그리고 그게…

McCormack 그래서 본인 생각은 어떤데요?

Bostrom 음, 글쎄요, (헛기침) 이 세 이론이 가리키는 대체적인 방향 어딘가에 있다고 봐요. 이를테면 전역 작업공간 같은 것에 일종의 주의 역학도 핵심 역할을 하는 식이요. 자기 성찰(자막 표기 the self perfection)에도 뭔가 있을 거고요.

Bostrom 정말로 확대해서 들여다보고 이걸 확실히 못 박으려고 하면, 우리가 가진 의식이라는 개념이 실은 좀 모호하고 애매하다는 걸 발견할지도 몰라요. 우리한테 의식은 아주 자연스러운 것처럼 보이잖아요. 의식이 있거나 없거나, 둘 중 하나라고요. 그런데 자세히 볼수록, 저한테는 의식이 더 다차원적인 구성물일지도 모른다는 생각이 들어요.

Bostrom 이 결론에는 계산의 관점이나 신경과학의 관점에서 생각해서 도달할 수도 있고, 자기 내면을 들여다보는 관점에서 도달할 수도 있다고 봐요. 명상에 깊이 들어가 보면, 처음엔 이것 아니면 저것으로 보였던 많은 것이 그리 간단하지 않다는 걸 깨달을 수도 있어요.

Bostrom 순진하게 생각하면, 지금 시야에 수많은 것이 들어와 있고 그걸 다 자각하고 있다고, 의식하고 있다고 여길 수 있어요. 그런데 자기 경험을 더 자세히 다시 살펴보면 깨닫게 될지도 몰라요. 실은 내 시야에 있는 것 대부분을 대부분의 시간 동안 전혀 자각하지 못한다는 걸요. 자각하는 건 몇 가지 작은 특징뿐일 수도 있어요. 지금이라면 마주 보고 있는 눈 한쪽, 그리고 거기 수염이 있다는 어렴풋한 생각 정도요. 나머지는 주의가 거기에 꽂히지 않는 한 사실 자각하지 못해요.

Bostrom 그러니까 무언가가 의식에 들어오는 방식이 여러 가지일 수 있어요. 하나는 더 능동적이거나 두드러지는 방식이에요. 다른 하나는 그걸 자각했다고 말해도 되는지조차 덜 분명한, 다른 형태의 경험이고요. 그리고 특정한 특징 하나에 집중하더라도, 주의 깊게 살펴보면 그게 1초도 안 되는 시간 단위로 자각 안팎을 깜빡이며 드나든다는 걸 깨닫게 될 수도 있어요.

McCormack 뒤쪽 벽에 있는 무늬처럼요.

Bostrom 그런 식이죠. 그래서 저는 의식이 전부 아니면 전무인 것이 아니라고 생각해요. 정도의 차이가 있을 수 있어요. 더구나 그 정도는 여러 다른 차원을 따라 나타날 수 있고요. 그러니까 무의식으로 서서히 흐려져 가는 경로도 여러 갈래일 수 있는 거죠.

McCormack 우리는… 우리가 의식을 갖고 태어난다고 보세요, 아니면 의식을 가질 수 있는 능력을 갖고 태어난다고 보세요?

Bostrom 음, 잘 모르겠어요. 아마 신생아도 어떤 것들은 어느 정도 의식하고 있을 거라고 짐작해요. 그런데 그게 임신 기간 중 어디서 시작되는지는 저한테 그렇게 분명하지 않아요. 짐작건대 태어나는 순간 자체가 전등 스위치를 켜는 건 아닐 거예요. 엄마 배 속에서 나오기 조금 전부터 어떤 형태의 의식이 있거나, 아니면 더 오래 걸리거나 하겠죠.

Bostrom 그리고 이것도 우리가 (헛기침) 모호한 영역에 놓인 그런 문제 중 하나일 수 있어요. 뭔가 일어나고는 있는, 제 짐작으로는 아마 어떤 형태의 정신 활동이 있는 그런 영역이요.

McCormack 제가 이걸 여쭤보는 데는 이유가 있어요(자막 표기 I'm asking for a weak reason). 분명히 우리는 인간을 어느 정도 빚어낼 수 있잖아요. 제 아이들한테서도 제 모습이 조금 보이거든요. 그게 유전이라는 사람도 있고 양육 때문이라는 사람도 있겠죠. 그런데 정렬(alignment) 문제로 다시 돌아가 생각해 보면, 정렬의 일부로서 AI가 작동하는 구조 자체를 우리 뇌가 작동하는 방식에 맞춰 정렬하려고 해야 할까요? 그게 정렬의 필요조건, 전제 조건이라고 보세요?

McCormack 그러니까 그 전역 작업공간이 우리 뇌가 작동하는 방식이라면, AI에게 전역 작업공간이 있다는 걸 알 때 정렬을 이루기가 훨씬 쉬워질까요? 그렇다면 뇌를 이해하는 데 지금보다 훨씬 더 많은 노력을 들여야 할까요?

40:53 — 인간의 뇌를 업로드하기

영상 구간 40:53–45:51 · 원제 Uploading A Human Brain

Bostrom 네. 글쎄요, 그건 지금으로선 잘 알려져 있지 않아요. 제 생각에는, 음, 인간 뇌의 정확한 복제본을 컴퓨터 안에(in silico) 만드는 데까지 간다면 그건 다른 상황이에요. 현실적으로 우리가 그렇게 하고 있지는 않아요. 그건 초지능으로 가는 다른 경로가 될 거예요.

Bostrom 아마 전뇌 에뮬레이션(whole brain emulation)이겠죠. 지금 같은 인공지능을 만드는 대신, 더 나은 뇌 스캔 기술을 개발하는 다른 길을 상상해 볼 수 있어요. 뇌를 얇게 잘라 절편을 만들고, 그 절편을 전자 현미경 여러 대에 통과시켜서 시냅스 연결 행렬 전체를 촬영하는 식으로요. 그런 다음 그걸 컴퓨터에서 일종의 에뮬레이션으로 돌릴 수 있어요. 신경망을 시뮬레이션하는 거죠. 그걸 충분히 세밀하게 해내면 사실상 실리콘 위에서 돌아가는 인간 뇌를 갖게 되는 거예요.

McCormack 음.

Bostrom 어, 그걸 아주 높은 충실도로 해내면 전혀 다른 형태의… 그러니까 업로드된 존재는 인간이 지닌 딱 그만큼의 선량함과 정렬에서 출발하게 되는 거예요. 업로드할 사람으로 특별히 선량한 사람을 고를 수도 있겠죠. 그다음엔 거기서부터 그 사람의 인지 능력을 끌어올려 볼 수 있어요. 뉴런을 더 붙이거나, 더 빠른 속도로 돌리거나, 복제본을 많이 만들 수도 있고요. 그러면 정렬에 쓸 수 있는 새로운 수단이 열려요.

Bostrom 하지만 지금 우리는 그 정도 충실도 근처에도 못 가고 있어요. 그러니까 문제는 오히려, 인간 정신의 굵직한 구조 가운데 AI에 구현할지 말지 우리가 고를 수 있는 게 있느냐가 되겠죠. 그리고 인간 뇌의 굵직한 특징 하나를 더 넣는다고 정렬 문제가 훨씬 쉬워질지는 분명하지 않아요. 그럴 수도 있겠지만, 우리는 그걸 몰라요.

McCormack 지금까지 위험이랑 정렬 얘기를 했는데요, AI에는 분명히 아주 신나는 것들도 있잖아요. AI의 어떤 점이 설레세요? 그러니까 파멸이니 걱정이니 하는 얘기에서 빠져나오면, 무엇이 기대되세요?

Bostrom 음, 글쎄요, 의료 응용이 우리가 열어젖히고 싶은 가장 뻔하면서도 급한 쓰임새라고 생각해요. 기술 역량이 조금만 더 있으면 피할 수 있게 될 질병과 고통과 비참함과 죽음이 그냥 너무 많거든요. 사실 그걸 해결하면 저도 덜 조급할 거예요. 노화와 질병을 해결하면, 나머지 일을 다 하는 데 시간이 좀 더 걸리더라도 조금은 기다릴 여유가 생기잖아요? 급박함이 좀 덜어지는 거죠. 음,

McCormack 좁은 AI(narrow AI)로 해결한다면요?

Bostrom 글쎄요, 어떤 방법이든 상관없어요. AI 없이든 AI로든, 좁은 AI든 넓은 AI든요. 지금도 그냥 엄청나게 많은 사람이 죽어 가고 있잖아요? 그러니까, 음, 또 하나 중요한 응용 분야는 AI 정렬이에요. AI 도구 자체를 AI 연구에, 특히 AI 안전 연구에 쓸 수 있거든요. 그것도 급해 보여요. 다음 단계로 가는 데 도움이 될 수 있으니까요.

Bostrom 음, 그다음으로는 사람들이 AI의 조언을 받을 수 있게 되면 우리 문명의 의사 결정 전반에 일종의 인식적 향상(epistemic enhancement)이 일어나는 걸 상상해 볼 수 있어요. 사람들이 여러모로 덜 어리석어지기를 기대해 볼 수도 있겠죠. 물론 세상에서 가장 뛰어난 조언자를 둘 수 있어도, 그 조언을 따르지 않으면 별 소용이 없죠. 그리고 우리 인간이 추구하는 온갖 해로운 목표에 힘을 실어 주는 데 쓰일 수도 있고요.

Bostrom 그래도 결국에는 훨씬 더 큰 게 열려요. 경제적 번영이요. 더 구체적인 것들을 여럿 담는 큰 바구니 같은 거죠.

45:51 — 지위는 어떻게 되나?

영상 구간 45:51–49:51 · 원제 What Happens To Status?

McCormack 네, 풍요라는 게 정말 흥미로운 게요, 우리는 이 세상에 위계를 쌓아 왔거든요. 늘 그런 건 아니지만 대체로 금전적 성취를 바탕으로요. 금전적 성취가 우리의 서열(pecking order)을 정하고, 어디에 사는지, 무슨 차를 모는지를 정하죠. 우리는 학교에 가서 열심히 노력하고, 대학에 가고, 직장을 구하라고 배워요. 그리고 많은 사람이 그걸로 목표를 세우죠.

McCormack 모두가 그런 건 아니에요. 개인적인 목표가 있는 사람도 있죠. 하지만 많은 사람은 “내가 돈을 얼마나 더 벌까?”를 기준으로 삼아요. 그래서 그게 사회 속 우리 위계의 일정 부분을 만들어 내요. 풍요를 누리게 되면, 그때 위계는 어디서 나오나요?

Bostrom 음, 네, 맞는 말씀이에요. 지위 동기는 인간에게 중요해요. 그리고, 어, 완전히 해결할 수는 없는 것 중 하나예요. 모두가 돈을 많이 가질 수는 있겠죠. 하지만 다른 모든 사람보다 돈이 더 많기를 바란다면, 모두가 그걸 가질 수는 없잖아요? 기술이 아무리 발전해도 모두가 남보다 돈이 더 많을 수는 없어요.

Bostrom 어, 그러니까 (헛기침) 네. 그럼 기술적으로 성숙한 세상에서 지위는 어디서 나올까요? 하나는, 누가 돈이 더 많은지 여전히 비교할 수 있겠죠. 이런 식일 수도 있어요. “나는 은하가 x개 있는데 너는 고작…” (웃음) 그러니까 “너는 고작 두 자릿수 개의…”

McCormack 은하요, 은하.

Bostrom 음, 다른, 음 (코웃음) 돈이 아닌 다른 차원들이 있을 수도 있어요. 사람들이 경쟁하는… 그러니까 지금도 사람들은 온갖 운동 분야 같은 데서 경쟁하잖아요? 사람들은 조상을 두고 자부심을 느낄 수도 있어요. “우리 조상은 이 AI들을 만들고 있었는데 너희 조상은 그냥 텔레비전이나 보고 있었지” 같은 식으로요.

Bostrom 아니면 노화가 해결된다면, 미래 사람들 가운데 일부는 실제로 그때부터 살아 있으면서 이 전환에서 여러 역할을 맡았을 수도 있어요. “나는 일이 잘 풀리도록 도운 사람 중 하나였어” 같은 거요. 그게 일종의 자존감의 기둥이 될 수도 있겠죠.

Bostrom 음, 더는 먹고살려고 일하지 않아도 되는 이런 시나리오에서는 여러 형태의 게임 플레이가 우리 삶에서 더 큰 몫을 채우게 될 수도 있다고 봐요.

McCormack Ready Player One 같은 시나리오요.

Bostrom 온갖, 글쎄요, 온갖 종류가요. 그러니까 지금 우리는 게임을 흔히 좁게 생각하잖아요. 컴퓨터에서 버튼을 누르거나 보드게임을 하는 정도로요. 하지만 훨씬 더 큰 걸 상상해 볼 수 있어요. 몇 달씩 이어지고, 수백만 명이 여러 분야에서 온갖 창의적인 일을 하면서 팀을 이뤄 일하는 그런 게임이요. 그리고…

McCormack 사람들을 AI 이전 시대로 돌려보내서, AI가 없는 몰입형 세계에서 살게 할 수도 있겠네요.

Bostrom 음, 시뮬레이션이 있을 수 있죠, 네. 어, 여러 가지 시뮬레이션이 만들어질 수 있어요. 그리고 음, 지역 단위의 지위 같은 것도요. 제 생각에 사람들이 하는 것 가운데 많은 게… 그러니까 무언가에서 세계 최고가 되려고 경쟁하는 사람은 정말 극소수예요. 그건 현실적이지도 않고 자기 삶과 그다지 상관도 없으니까요.

Bostrom 하지만 친구 몇몇과 가족에게 좋은 평가를 받고, 그 사람들이 보기에 쓸모 있는 기여를 할 수 있는 사람이라면, 그리고 지역 공동체에서도 그렇다면요. 그게 일종의 분화가 될 수 있어요. 하나의 세계적인 지위 위계 대신, 하나가 아니라 여러 개의 서로 다른 지역 단위 위계가 생길 수 있는 거죠.

Bostrom 그러니까 지역 공동체마다 저마다 다른 운동 종목이 있고, 다른 문화 활동이 있고, 다른 취미 공동체가 있을 수 있겠죠. 그러면 한 사람 한 사람이 이런 지위 위계 가운데 적어도 몇 곳에서는 꼭대기에 설 수 있을 거고, 그걸 바탕으로 자기 정체성을 빚어 갈 수 있어요. 마라톤을 썩 잘하지 못한다는 건 그리 신경 쓰지 않을 수도 있어요. 그 사람이 마음 쓰는 건 다른 거니까요. 이를테면 맛있는 카레를 잘 만든다든가 하는 거요.

McCormack 글쎄요, 지위는 중요하지 않을 수도 있어요. 그러니까 지위는 사회 속 경쟁 때문에 우리가 원하도록 진화한 무언가일 수도 있어요.

49:51 — 우리 자신을 다시 설계할 수도 있다

영상 구간 49:51–52:31 · 원제 We Could Redesign Ourselves

Bostrom 네, 우리 자신을 다시 설계해서 그런 걸 덜 신경 쓰게 만드는 방법도 있어요. 그것도 어떤 사람들이 택하는 길일 수 있어요. 그런 걸 그냥 없애 버리는 거죠.

McCormack 그러니까, 실제로 그런 게 보이고 있어요. 저는 젊은 사람들한테서 그게 더 눈에 띄는데, 그 공격적인 자본주의적 욕구가 젊은 층 사이에서 좀 시들해지고 있어요. 저한테 어린 아이가 둘 있는데, 아니 사실 이제 어리진 않네요, 10대랑 20대예요. 그 애들 또래한테서도 그게 보여요. 삶이 브랜드보다 경험 쪽으로 더 옮겨 갔어요. 요즘 애들은 다른 모델이에요.

Bostrom 네. 글쎄요, 그렇다고 젊은 사람들이 지위(status)에 관심이 없다는 뜻은 아니에요. 지위를 얻는 수단을 조금 다르게 보는 것뿐일 수도 있죠. 이를테면 요즘은 갖가지 흥미로운 장소에서 흥미로운 사람들과 함께 찍은 자기 사진을 Instagram에 올려야 하는 건지도 몰라요. 거기서 뒤처지면 위계에서 좀 더 아래로 밀리는 거고요. 그러니까 지위를 놓고 경쟁하는 구체적인 방식은 문화에 꽤 많이 좌우돼요.

McCormack 그래도 이런 문제는 앞으로 많이 고민해야 할 거예요. 변화 속도가 꽤 빠르게 느껴지거든요. 제가 찾아봤는데요, Nick, 제가 ChatGPT를 처음 쓴 게 2022년 11월이었어요. 그때는 Google 검색처럼 썼는데, 지금은 애플리케이션을 만들고 있어요. 보통이면 만드는 데 6개월은 걸렸을 마법 같은 것들을 2~3일이면 만들어요.

McCormack 그게 지금이고, 그게 얼마 만이죠, 4년도 안 됐나요? 아니… 네, 4년이 안 됐어요. 그러니 앞으로 4년이 더 지나면 당연히 엄청난 변화를 보게 될 거예요. 사회도 아주 많이 바뀔 거고요. 저는 일자리가 전부 사라질 거라거나, 우리가 잔뜩 무슨… 그런 걸 100% 믿는 사람은 아니에요. 그냥 모르겠어요.

McCormack 그래도 세상이 바뀐다는 건 알아요. 딸 생각을 많이 해요. 딸이 지금 16살이거든요. 대학에 간다면 그게 5년 뒤예요. 그러면 뭐가 쓸모가 있을까요?

Bostrom 분명히 고민해야 할 거예요. (코웃음) 네, 그리고 이런 시나리오를 진지하게 받아들인다면, 또 받아들이는 만큼, 정확히 어느 쪽으로 방향을 잡아야 할지 알기가 어려워요.

McCormack 음.

Bostrom 그리고 실용적인 관점에서는 적어도 어느 쪽에도 대비해 두는 게 아마 맞을 거예요. 그런 일이 안 일어나면 어떡해요? 아니면 훨씬 더 오래 걸리면요? 그때 가서 아무 기술도 없이, 자기 삶을 꾸려 갈 능력조차 없이 노동 시장에 들어가게 되면 곤란하잖아요. 어린 시절을 그냥 떠밀리듯 흘려보낸 탓에요.

52:31 — 딸이 철학을 공부한다

영상 구간 52:31–56:35 · 원제 My Daughter Is Studying Philosophy

McCormack 그나저나 우리 딸이 철학을 공부하고 있어요.

Bostrom 아이고, 저런.

McCormack 네, 딸이 집에 왔는데요. 집에 왔는데, 이거 들으면 웃으실 거예요. 이번 주에 집에 왔길래 제가 “좀 어때?” 하고 물었어요. 그랬더니 “응, 그럭저럭 괜찮아. 근데 우리가 하는 거라곤 모든 걸 의심하는 것뿐이야” 하더라고요.

Bostrom 그렇군요.

McCormack 그래서 제가 그랬죠. “얘야, 원래 그게 핵심이란다.”

Bostrom 아, 네. 네, 알아요. 철학이라, 어쩌면 그게 바로 그… 아무튼, 네, 이런 상황에서는 장기 계획을 세우기가 어려운 것 같아요. 그래서 제 생각엔 좀 더 범용적인 기술이에요. 새로운 도구를 배우는 능력, 새로운 상황에 적응하는 능력, 스스로 주도적으로 나설 수 있는 능력 같은 거요.

Bostrom 그리고 어쩌면 자기 정보 환경을 어느 정도 스스로 통제하는 능력도요. 소셜 미디어 피드가 그때그때 내미는 대로 자신을 그냥 수동적으로 이리저리 떠밀려 다니게 두는 대신에요. 자기 정보 환경을 직접 큐레이션할 수 있다는 생각이죠.

Bostrom 이런 도구로 여러 가지 다른 일을 하기로 마음먹을 수도 있어요. 다만 적어도 지금은 누군가가 먼저 주도해야 할 거예요. 그래서 이 도구들로 온갖 새로운 기회가 생긴 지금 시대에는 일종의 마이크로 기업가 정신이 가치 있을 수 있어요. 그래도 그런 일을 하려면 여전히 사람이 직접 주도해야 하고, 해 볼 만해 보이는 일이 뭔지 아이디어를 떠올려야 해요.

McCormack 음.

Bostrom 그다음엔, 네, 우리가 어느 단계를 보고 있느냐에 달렸다고 생각해요. 그 단계에서는 신뢰나 개인적인 관계 같은 대인 관계 기술이 가치 있을 수 있어요. 자동화하기가 더 어려울 수 있으니까요. 여러 형태의 육체노동도 자동화하는 데 시간이 좀 더 걸릴 수 있어요. 먼저 로봇공학에서 지능 부분을 풀어야 하는데 그건 아직 완전히 풀지 못했고, 그다음엔 그 로봇들을 다 만들어 내야 하거든요. 그래서 데이터 센터에 이 칩들을 전부 설치하는 일을 거들 수 있는 전기 기술자 같은 직업이 귀한 대접을 받는 몇 년이 있을 수 있어요. 이미 우리는 그런 걸 보고—

McCormack 그래도 결국엔 그렇게 되고 말잖아요, 안 그래요?

Bostrom 죄송해요, 네?

McCormack 결국엔 그렇게 되고 만다고요.

Bostrom 글쎄요, 네. 그러니까 이건 과도기일 거고, 그 뒤에는 좀 더… 그때는 철학이 정말로 쓸모 있을지도 몰라요. 그때 가서 자기 삶에서 정말로 원하는 게 뭔지 성찰하는 데요. 이 모든 가능성이 눈앞에 주어지고 제약이 사라지면 훨씬 더 많은 자유가 생겨요. 여러 방식으로 자신을 바꿀 수 있게 해 주는 기술도 있으니까요.

Bostrom 온갖 다양한 시뮬레이션이 있고요. 어쩌면 여러 다른 공동체에 들어갈 수도 있겠죠. 어떤 공동체는 아주 전통적이어서 이런 걸 그냥 거부하고요. 다른 공동체는 이 트랜스휴먼, 포스트휴먼 미래로 곧장 뛰어들고요. 이상적인 시나리오라면 어쩌면 하나의 선택지를 모두에게 강요하는 대신, 사람마다 이 낯선 세계로 어떻게 넘어갈지 고를 수 있는 선택권이 있겠죠.

Bostrom 그런데 그러면 어느 길을 택할지 현명하게 고르는 능력이 그만큼 귀해져요. 그래서 그 단계에서는 어쩌면, 철학이 정말로 사람을 더 현명하게 만들어 준다면, 물론 거기엔 물음표가 붙지만, 그게 도움이 될 수 있어요.

McCormack AI가 초지능(superintelligence)이 되면 얼마나 철학적이 될지 궁금해요. AI도 자기만의 철학적 질문을 갖게 될까요?

Bostrom 음, 네, 제 생각엔 AI가 철학하는 일에서도 초인적인 수준에 이를 거예요. 철학에 어느 정도 객관적인 답이 있다면, 그 범위에서는 AI가 그 답을 알아낼 수 있어야 하고요. 그런데 철학에는 이미 있는 객관적인 답을 찾아내는 일이라기보다, 우리가 무엇을 원하고 무엇을 가치 있게 여기는지 마음을 정하는 일에 더 가까운 부분도 있을 수 있어요. 그런 부분에서는 그걸 알아내는 과정의 일부가 우리 자신을 거치거나, 아니면 우리 자신을 본뜬 일종의 시뮬레이션을 거쳐야 할 수도 있어요.

56:35 — 시뮬레이션 논증

영상 구간 56:35–1:04:20 · 원제 The Simulation Argument

McCormack 시뮬레이션에 대해 조금 더 여쭤보지 않으면 듣는 분들 중에 댓글로 저를 두들겨 댈 사람들이 있을 거예요. 당연한 얘기지만 제가 교수님을 처음 알게 된 것도 시뮬레이션 가설(simulation hypothesis) 때문이었거든요. 그 가설을 처음 접했을 때는 “이 사람 대체 누구지?” 싶었어요. 그러고는 그 생각을 한참 하다가 결국 저 스스로도 우리가 시뮬레이션 속에 살고 있다고 확신하게 됐죠.

McCormack 그런데 AI 시대가 되니까 이 얘기가 훨씬 더 흥미로워졌어요. 어떤 면에서는 초지능의 세상, 풍요의 세상, 기술도 지능도 넘쳐나는 세상이라면 우리가 아예 시뮬레이션 안에 들어가기를 스스로 택할 수도 있다는 게 더 논리적으로 보이거든요. 최근 AI가 발전하면서 생각이 어떻게 바뀌셨어요? 아니면 늘 그대로였나요?

Bostrom 음, 시뮬레이션 논증(simulation argument)의 구조는 그대로 성립하고 딱히 바뀌지 않았다고 봐요. 다만 이제는 사람들이 이 논증을 진지하게 받아들이기가 더 쉬워진 것 같아요. 어, 기술적 전제(technological postulate)가 사람들 눈에 더 그럴듯해 보일 수 있다는 점에서요. 저는 이미 수십 년 전에도 그렇게 생각했어요. 언젠가 우리가 훨씬 더 고도화된 기술을, 어쩌면 초지능을, 엄청나게 강력한 컴퓨터를 개발하리라는 건 내다볼 수 있었죠. 그리고 성숙한 문명이 그 모든 컴퓨팅 능력으로 할 수 있는 일 가운데 하나가 온갖 환경을 아주 사실적으로 시뮬레이션하는 거고, 거기엔 자기 조상들이 살던 환경도 들어간다고요.

Bostrom 그리고 그 시뮬레이션에는, 의식적 경험을 할 만큼 충분히 세밀한 수준으로 시뮬레이션된 뇌도 들어갈 수 있어요. 음, 지금은 아직 거기까지 가진 못했지만 더 가까워졌어요. 컴퓨터 그래픽이 정말 꽤 사실적으로 변해 가는 게 보이잖아요. 그러니 조금만 더 발전하면 완벽하게 사실적인 VR이, 어쩌면 여러 감각을 다 쓰는 VR이 나올 수 있다고 생각하는 데 대단한 상상력의 비약이 필요하지 않아요. 우리는 정말 고도화된 AI를 개발하기 시작했어요. 언젠가 초지능이 생겨서 정말 사실적인 시뮬레이션을 만드는 나머지 방법을 알아내리라고 생각하는 데도 대단한 상상력의 비약이 필요하지 않죠.

Bostrom 음, 게다가 지금 우리 스스로가 AI들을 집어넣을 시뮬레이션을 만들고 있잖아요. 그러니까 AI가 훈련받는 환경, 말하자면 AI의 유년기 상당 부분을 우리가 만든 여러 형태의 시뮬레이션 속에서 보내는 거예요. 그리고 AI들이 생각의 흐름 속에서 이 문제를 두고 추론하는 모습도 볼 수 있어요.

McCormack 그럼 우리가 초지능을 시험하기 위한 시뮬레이션일 수도 있을까요?

Bostrom 음, 시뮬레이션을 만드는 이유는 여러 가지로 상상해 볼 수 있어요. 뻔한 연구 주제 하나는, 음, 우리가 초지능을 어떻게 만드는지, 우리 같은 문명이 어떤 종류의 초지능을 만들어 내는지일 수 있죠. 그리고 인간 같은 문명에서 나올 여러 초지능이 어떻게 분포하는지 연구하려면 그걸 여러 번 다르게 돌려 봐야 할 수도 있어요. 음, 그러니까 그게 성숙한 문명에게는 과학적 관심사일 수 있어요.

Bostrom 그런데 과학적 관심에는 아마 수확 체감이 따른다는 특징이 있어요. 음, 시뮬레이션을 10번 돌리면 거기서 많은 걸 배우고, 또 10번을 돌리면 조금 더 배우겠죠. 하지만 인간 문명 시뮬레이션을 수십억 번쯤 돌리고 나면 이제 슬슬 (코웃음) 이걸로 배울 수 있는 건 뭐든 이미 다 배웠을 수도 있어요. 그러니까 두 번째 10억 번은 정보 가치가 더 작을 수 있죠.

Bostrom 그래서, 음, 과학용 시뮬레이션을 돌리는 데 자원을 점점 더 많이 쓰는 건 수확 체감을 겪는 것처럼 보여요. 반면 다른 이유들, 이를테면 도덕적 이유에는 그런 수확 체감이 없을 수도 있어요. 음, 그래서 극한까지 가면 대부분의 시뮬레이션은 과학용이 아니라 다른 목적으로 돌아간다고 볼 수도 있어요.

McCormack 그런데 지금도 그렇게 생각하세요? 그 확률이, 그러니까 이게, 제가 시뮬레이션 속 팟캐스터일 확률이요.

Bostrom 글쎄요, 저는 시뮬레이션 가설을 진지하게 받아들여요. 네. 다만 거기에 숫자를 붙이는 건 삼가 왔어요. 음, 그런데, 음…

McCormack 비판이 되돌아오는 게 싫으셔서요, 아니면 그냥 너무 어려워서요?

Bostrom 글쎄요, 그냥, 음…

McCormack 이게…

Bostrom 어, 처음에는, 그러니까 시뮬레이션 논증 자체가 보여 주는 건 세 가지 가능성 가운데 하나가 참이라는 것뿐이에요.

McCormack 네.

Bostrom 그중 하나는 우리가 시뮬레이션 속에 있다는 거예요. 어, 나머지 둘 가운데 하나는 지금 우리가 있는 지점과 기술적 성숙(technological maturity) 사이에 아주 강력한 일종의 필터가 있다는 거예요. 그러니까 우리 단계에 있는 문명은 사실상 전부 기술적으로 성숙하기 전에 멸종한다는 거죠. 남은 가능성은 기술적으로 성숙한 모든 문명 사이에 강한 수렴이 일어나서, 그 문명들이 이런 시뮬레이션을 만드는 데 흥미를 잃는다는 거고요. 그러니까 그게 시뮬레이션 논증 자체가 증명하는 내용이에요.

Bostrom 그다음에 우리가 시뮬레이션 속에 있다고 결론 내리고 싶다면 추가 논증이나 이유가 필요해요. 나머지 두 대안을 배제해야 하거든요. 그 대안들이 그럴 법하지 않다고 볼 만한 그럴듯한 논증은 아마 있다고 생각해요. 하지만 그런 논증들은 시뮬레이션 논증 자체만큼 빈틈없지는 않아요.

Bostrom 그래서 처음에 든 이유 하나는 이랬어요. 제가 구체적인 숫자를 말하면 거짓된 정밀함을 느끼게 할 수 있다는 거죠. 마치 이 논증에서 특정한 숫자가 툭 떨어져 나오는 것처럼요. 실제로는 그렇지 않은데 말이에요.

McCormack 그 대신 확률이라는 거네요. 확률이, 이게 시뮬레이션에 더 가깝다는 그럴 법한 확률이 있는 거지, 숫자를 매긴 확률은 아니라는 거죠. 뭐랄까, 더 이분법적인 거고요.

Bostrom 죄송한데, 다시 말씀해 주시겠어요?

McCormack 그러니까 퍼센트를 붙여서 90% 확률이다, 50% 확률이다 하고 그렇게까지 정밀하게 말하려 하기보다는, 이건 가능성이 이렇고 각 시나리오마다 찬반 논거가 이렇다고 말하는 편이 낫다는 거죠.

Bostrom 음, 네, 글쎄요, 그게 더 나은지는 모르겠어요. 그건, 제 생각엔, 음, 시뮬레이션 논증이 실제로 보여 준 걸 잘못 전하지 않으려는 거죠. 그 논증의 논리는 특정한 확률을 툭 내놓지 않거든요. 그 논리는 우리가 정합적으로 믿을 수 있는 것에 제약을 걸어요. 미래에 대해서, 그리고 자기 위치에 대해서요.

McCormack 네.

Bostrom 현실 속에서의 위치요. 그러니까, 다만 거기에 더해 직감이나 추측, 다른 논증을 동원할 수 있고, 그게 범위를 구체적인 숫자로 좁히는 데 도움이 될 수 있어요. 음, 그리고 아마 그 숫자에는 주관적 판단이 많이 들어가겠죠.

McCormack 그런데, 음, 이게 하나의 분야로서도 흥미로운 게요, 이제는 분야 차원에서 시뮬레이션을 탈출하려는 사람들이 있거든요.

Bostrom 네. 그게 현명한 일인지는 모르겠어요. 그런데, 어…

McCormack 위험도가 높다고 보세요?

Bostrom 아마 아예 안 통할 거예요. 그러니까 시뮬레이션을 돌리는 존재들이 우리가 탈출할 수 있기를 원하지 않는다면 확실히 안 통하겠죠.

McCormack 그게 시험이 아니라면요.

Bostrom 네.

McCormack 누가 탈출할 수 있는지 보는 시험이요.

Bostrom 음, 그렇죠. 그게 시험이라면요. 네.

McCormack 어, Nick, 시간 내 주셔서 정말 정말 고마워요. 오랫동안 이 대화를 고대해 왔어요. 제가 여쭤보지 않았지만 여쭤봤으면 하시는 것, 사람들이 아주 흥미로워할 만한 게 있을까요?

Bostrom 글쎄요, 대화는 여기서부터 여러 방향으로 갈 수 있겠죠. 세상에도, 지금 이 시대에도 생각할 거리가 많다고 봐요. 음, 그러니까 잘 모르겠어요. 그냥 관심 있으신 거면 뭐든지요.

McCormack 네. 아무튼 시간 내 주셔서 고마워요. 정말 넉넉하게 내주셨어요. 음, 그리고, 네, 저는 이 문제를 많이 생각해요, 특히 AI요. AI가 여러 면에서 제 삶을 장악했는데, 거의 전부 좋은 쪽이에요. 그리고 우리가 이 정렬 문제를 꼭 풀었으면 좋겠어요. 그래서 속도를 늦추지 않아도 됐으면 해요. 잠재력이 정말 많다고 보거든요.

1:04:20 — 운도 좀 따라야 한다

영상 구간 1:04:20–1:06:21 · 원제 We Are Going To Need Some Luck

Bostrom 네, 네. 우리는 최선을 다해야 한다고 생각해요. 그다음엔, 글쎄요, 운도 좀 따라야 한다고 봐요. 우리는 늘 상당 부분 운에 기대 왔거든요. 어떤 일은 인간이 통제할 수 있고, 그런 일은 능력껏 최선을 다해 해내야죠. 그런데, 음, 어느 정도는 또… 그러니까 사람들이 저한테 낙관주의자냐 비관주의자냐 물으면, 저는 조바심 많은 낙관주의자(fretful optimist)라고 답하는 편이에요. (웃음) 음, 그런데 그 말은 제 관점의 세 번째 요소, 그러니까 어느 정도의 온건한 숙명론(moderate fatalism)을 빠뜨려요.

McCormack 그렇군요.

Bostrom 음, 그러니까, 이를테면 이 정렬 문제는 비교적 쉬운 문제로 드러날 수 있어요. 그러면 아마 우리가 풀어내고 괜찮아지겠죠. 아니면 정말 어려운 문제로 드러날 수도 있어요. 그러면 무슨 수를 써도 끝장일지 모르고요. 아니면 중간 정도일 수도 있어요. 그 경우엔 우리가 얼마나 정신을 차리고 이걸 제대로 해내느냐(자막 표기 really write this)에 따라 큰 차이가 날 수 있어요.

Bostrom 그러니까 중간 정도일 수도 있으니까 우리는 정말 최선을 다해야 해요. 하지만, 음, 제 경우엔 일이 얼마나 잘 풀릴지에 대한 불확실성의 상당 부분이 이 문제가 본질적으로 얼마나 어려운 문제로 드러나느냐에 대한 불확실성이에요. 우리가 얼마나 제대로 노력할지에 대한 불확실성이 아니라요. 물론 그쪽 불확실성도 좀 있긴 하지만요.

McCormack 그래도 인간은 어려운 문제 푸는 걸 좋아하잖아요. 그건 우리가 정말 좋아하는 일이에요.

Bostrom 음, 글쎄요, 어려운 문제를 푸는 데 성공할 때를 좋아하는 거겠죠. 그런데, 음…

McCormack 그래도 시도는 하잖아요.

Bostrom 어, 어떤 어려운 문제는 시도하죠. 그런데 다른 어려운 문제들은 아직 비교적 방치돼 있다고 봐요. 음, 이 문제는 이제 점점 덜 방치되고 있지만, 음, “더 열심히 해 보기” 방법이 통할지는 두고 봐야죠. (웃음)

McCormack Nick, 시간 내 주셔서 정말 고마워요. 진심으로 감사해요. 그리고 들어 주신 모든 분께도 감사드려요. 모두 곧 다시 만나요.