초지능(Super Intelligence) 시대, 내부자 위험으로서의 모델
지난 수십 년에 걸쳐 전통적인 소프트웨어 시스템이 경제 전반에 배포되는 동안, 우리에게는 동작을 특정 코드 경로까지 추적할 도구와 역량이 있었다.
그와 같은 기계론적 이해가 오늘날의 초지능 시스템에서는 우리 손에 잡히지 않는다. 이 시스템을 구동하는 프런티어 모델이 이제 전통적인 소프트웨어 시스템보다 더 유능한데도 그렇다. 우리는 모델의 동작과 출력이 훈련 데이터의 어떤 특정 입력에서, 또는 모델 가중치의 어떤 특정 구성에서 비롯됐는지 짚어 낼 수 없다. 그런데도 우리는 이 복잡한 에이전트형 시스템과 모델을 배포하고 있다. 이들에게 우리의 가장 민감한 데이터에 접근할 권한을 주고, 우리를 대신해 미션 크리티컬한 행동을 할 능력까지 주면서 말이다!
그래서 이제는 한발 물러서서 이 새로운 시대의 신뢰 아키텍처를 평가할 때다. 지능이 우리를 대신해 하는 일에 대한 책임을 우리는 결코 외주로 넘길 수 없다. 모델 제공사의 보증이 우리를 그 책임에서 벗어나게 해 주지는 않는다.
초지능을 중첩된 블랙박스의 묶음으로 취급하면서 그 추천과 답변과 행동을 그저 받아들이거나 거부하기만 할 수는 없다. 우리는 동작을 관측할 수 있고, 한계를 테스트할 수 있으며, 행동을 언제든 격리할 수 있는 격리된 시스템을 만들어야 한다.
다시 말해, 지능의 공급을 그 지능에 대한 권한과 분리해야 한다.
정렬(alignment)이라는 어려운 문제는 일단 제쳐 두고, 격리와 거버넌스에 대한 공학적 접근부터 시작해야 한다. 비결정적 모델을 견고하고 결정적인 시스템 설계, 사람의 통제, 믿을 수 있는 운영 절차로 둘러싸고, 기존 표준이 부족한 곳에는 업계 표준을 세워야 한다.
프런티어 폐쇄형 모델과 오픈 웨이트 모델을 내부자 위험처럼 다루는 것이 그런 시스템을 만드는 한 가지 방법이다. 모델이 반드시 악의적이어서가 아니라, 중요한 시스템에 접근할 수 있는 충분히 유능한 행위자라면 누구든 실수할 수 있고 침해당할 수 있으며, 격리와 통제의 아키텍처가 그 점을 감안해야 하기 때문이다.
좋은 소식은 우리가 기업 내부의 강력한 행위자를 다루는 법을 많이 배워 왔다는 점이다. 새로운 일이 아니다! 우리는 모범 사례를 확립했고 수십 년에 걸쳐 다듬어 왔다(신원 확립, 권한 제한, 활동 기록, 격리 경계 설정 등).
그리고 우리는 이제 이와 똑같은 원칙을 기업 내부의 초지능(SI)에 적용하기 시작했다. 그 첫걸음은 모델 CoT 투명성을 타협할 수 없는 조건으로 삼는 것이다. ‘뉴럴리즈(Neuralese)’는 모델의 추론이 불투명해도 된다는 정당화가 될 수 없다. 하지만 CoT 투명성만으로는 충분하지도 않고 믿을 만하지도 않다. 모델 출력 자체를 일관되게 충실하거나 투명하게 만드는 법을 우리가 아직 모르기 때문이다!
모델끼리 서로를 적대적으로 테스트하고 검증하게 할 수 있고, 또 그렇게 해야 한다. 하지만 그렇게 하면 결국 불투명한 오케스트레이션 계층 안의 불투명한 모델을 또 다른 불투명한 모델이 감시하는 상태가 될 수 있다. 본질적으로 중첩된 블랙박스다.
그렇기 때문에 모델이 무엇에 접근할 수 있고 어떤 행동을 할 수 있는지를 관장하는 통제는 모델 바깥에 있어야 한다. 이는 프로그램이 자신의 권한을 강제하는 메커니즘을 우회하거나 변조할 수 있어서는 안 된다는, 1970년대까지 거슬러 올라가는 정보 보안 원칙을 토대로 한다.
오늘날 이는 모델을, 그 작업을 오케스트레이션하는 하네스(harness)로부터, 그리고 모델이 할 수 있는 일을 정의하는 행동 공간(action space)으로부터 분리한다는 뜻이다. 통제와 안전장치를 외부화한다는 뜻이기도 하다.
따라서 우리는 이 시스템들을 관측 가능성의 원칙을 중심으로 설계해야 한다:
- 모델 다양성: 어떤 모델도 중요한 결과의 유일한 의존 대상이 되어서는 안 되며, 자기 작업을 스스로 검증할 책임을 져서도 안 된다.
- 모든 것을 관측하라: 의미 있는 모델 행동은 모두 변조할 수 없고 사람이 읽을 수 있는 증거를 남겨야 한다. 관측할 수 없다면 신뢰할 수 없다! 모델의 증언에 기대지 않고도 결과가 어떻게 달성됐는지 재현할 수 있어야 한다.
- 검증 가능성: 성공한 작업만이 아니라 실패, 공격, 에지 케이스, 시스템 변경 등을 포함해 시스템 전체를 지속적으로 테스트해야 한다.
- 독립적 통제: 조직은 모델이 무엇에 접근할 수 있고 어떤 행동을 할 수 있는지를 독립적으로 결정할 수 있어야 한다.
- 독립적 감사 가능성: 검증은 검증 대상인 지능과 독립적이어야 한다. 어떤 단일 모델도 시스템의 동작과, 그 동작이 원래 의도와 정렬되어 있는지 판단하는 데 필요한 증거를 둘 다 통제해서는 안 된다.
- 격리: 모델이 침해됐다고 가정하고 처음부터 격리해야 한다. 비상 브레이크라고 생각하면 된다. 권한을 부여받은 사람은 언제나 작업 도중의 모델을 일시 중지하거나 종료할 수 있어야 한다. 더 발전된 모델에는 우리가 표준으로 정해야 할, 더 발전된 격리 기술이 필요해질 것이다.
- 사고 공개: 이 시스템이 실제로 실패하거나 침해되면, 영향을 받은 이들에 대한 적시 공개와, 무엇이 잘못됐는지, 어떤 통제가 실패했는지, 재발을 어떻게 막을지를 공유하고 그 교훈을 업계 전반에 나누는 메커니즘이 필요하다. 여기에는 런타임에 에이전트의 동작을 바꾸는 구현 세부 사항도 포함되어야 한다.
가장 신뢰할 만한 초지능 시스템은 우리가 가장 신뢰하는 모델을 갖춘 시스템이 아닐 것이다. 우리가 모델을 가장 적게 신뢰해도 되도록 해 주는 시스템일 것이다.