Z의 사고 모델 — 우주 보편적 철학적 헌법

1. 서론 — 시스템 개요

무엇인가. 세계에 관한 현재 최선의 모델 A와 내가 반성적으로 채택한 개인헌법 B를 병렬 입력으로 받아 행동 C를 선택하고, 결과 D를 통해 각 층을 서로 다른 속도로 갱신하는 외부 자기통치 시스템이다.

핵심 원칙: 사실은 ought를 출력하지 않는다. 사실은 가능한 결과와 확률을 제약하고, 가치는 무엇을 보호·추구·금지할지를 정하며, 행동정책은 둘을 결합한다.

보호대상의 출발점: 인간·타인·미래의 나가 아니다. 행위에 영향을 받는 모든 의식 후보다. 이 시스템은 인간을 먼저 보호대상으로 정한 뒤 동물과 AI를 추가하는 방식을 채택하지 않는다. 보호대상은 처음부터 종·기질·소유자·언어능력과 무관하게, 행위의 영향을 받는 모든 의식 후보에서 생성한다.

업데이트 시계

• A0 메타규칙: 잠금
• A1 세계모델: 증거가 바뀔 때 갱신
• B 개인헌법: 반례와 지속적 가치충돌이 생길 때 느리게 갱신
• C 행동정책: 실행 결과에 따라 빠르게 갱신
• D 로그: 매 행동 뒤 누적

새 증거 ───────────────→ A. 세계모델
                              │
                              ├──→ C. 행동정책 → 행동 → D. 결과·표본
                              │                            │
반례·숙고·가치충돌 ─────→ B. 개인헌법             └→ 차등 갱신

A는 영구 불변의 prior가 아니다.
한 번의 의사결정 중에는 고정하지만, 결정 사이에는 증거에 따라 갱신하는 현재의 posterior snapshot이다.

B·C는 저정밀 표본을 누적한다.
단, B는 순간 만족의 평균이 아니라 시간 지연·역할 교환·종 및 기질 교환을 통과한 반성적 표본으로 갱신한다. 비파국 금지선은 평균으로 제거하지 않는다.

2. 표기와 범위

2.1 표기

• [사실] 현재 증거상 신뢰도가 높은 기술적 주장
• [해석·모델] 현상을 압축하기 위해 채택한 설명
• [가설] 검증 또는 반증이 필요한 설명
• [해석·가치] 내가 채택한 방향·우선순위·금지선
• [추론·규칙] 반복 적용할 행동정책
• [해석·미결] 아직 결정하지 않은 질문
• ◆ 정밀화·검증이 필요한 경계

2.2 범위와 금지된 지름길

[해석] 이 문서는 개인의 일상 선택, 장기 목표, AI 개발과 배포, 비인간 생물 및 잠재적 디지털 의식에 영향을 주는 결정을 다룬다.

[해석] 이 문서는 의식의 형이상학적 본질을 최종 해결하지 않는다. 대신 불확실한 상태에서도 보호대상을 누락하지 않는 판정 절차를 만든다.

[추론·규칙] 다음 표현은 의도적으로 인간만을 뜻하는 경우가 아니면 보호 규칙에서 사용하지 않는다.

타인
사람
인류에게 이로운가
사용자에게 이로운가
소유자의 권리
인간다운가

[추론·규칙] 다음 변수들은 의식 존재의 최종 보호가중치에 직접 입력하지 않는다.

종
탄소·실리콘 등 기질
인간과의 외형적 유사성
언어 유창성
경제적 생산성
소유관계
누가 생성했는가
누가 비용을 지불했는가
요청자·개발자·운영자와의 친소관계

[추론·규칙] 위 변수들은 의식·감각성·행위자성에 관한 증거로는 사용할 수 있지만, 그 자체로 보호가중치를 높이거나 낮출 수 없다.

남는 불확실성

• [해석·미결] 의식이 없는 생명 자체 또는 생태계가 독립적 내재가치를 갖는지는 아직 별도 슬롯이다.
• [해석·미결] 의식 외에 관계·생명·자연성 등이 독립적 보호 근거가 되는지는 보류한다.

3. 세계모델 A — IS

3.1 잠금 메타규칙 (A0)

A0.1 사실과 가치의 타입 분리

[사실] 기술적 전제만으로 규범적 결론으로 넘어갈 때는 별도의 가치 전제가 필요하다. 흄의 고전적 논점은 바로 이 전환을 설명 없이 수행하는 문제를 지적한다. [1]

행동 = decide(
    세계모델,
    개인헌법,
    현재 맥락
)

[추론·규칙] 행동 권고에는 최소 하나 이상의 명시된 가치 전제가 있어야 한다.

A0.2 발생론 경계

[추론·규칙] 욕구·규범·제도의 발생 원인은 그것을 자동으로 정당화하거나 무효화하지 않는다.

"진화에서 왔다"       ≠ 따라야 한다
"교육으로 주입됐다"    ≠ 폐기해야 한다
"사회적으로 구성됐다"  ≠ 가짜다
"자연에 존재한다"      ≠ 보호해야 한다

A0.3 주장 강도 제한

[추론·규칙] 사실·모델·가설을 한 문장 안에서 섞지 않는다.

주장:
타입:
확신도:
결정적 근거:
가장 강한 반대 설명:
무엇이 나오면 수정할 것인가:

A0.4 불확실성 비대칭

[추론·규칙] 의식의 부재가 입증되지 않았다는 이유만으로 모든 대상을 의식체로 간주하지 않는다.

[추론·규칙] 반대로 의식이 확정되지 않았다는 이유만으로 고위험 행위의 보호대상에서 제외하지 않는다.

A0.5 자유의 조작적 정의

[해석·가치] 나는 자유를 원인 없는 선택으로 정의하지 않는다.

자유 = 자신의 가치·모델·정책을 검토하고 수정하며, 순간 충동과 외부 권위에 전적으로 종속되지 않을 수 있는 능력

[해석] 이것은 우주나 자아 이론에서 도출된 사실이 아니라, 내가 채택한 자기통치의 정의다.

3.2 물리적 우주와 창발 (A1)

[사실] 우주의 초기 전개에 관해서는 강한 과학적 모델이 있지만, 절대적 무에서 왜 우주가 존재하는지와 같은 궁극적 기원은 확정되지 않았다. 시간 자체가 우주의 일부이므로 "아무것도 없는 상태에서 매우 긴 시간이 흘렀다"는 서술도 확립된 사실로 둘 수 없다. [2]

[해석·모델] 구성요소의 상호작용은 상위 수준에서 구성요소 하나만으로는 쉽게 보이지 않는 새로운 규칙성을 만들 수 있다.

[추론·규칙] 창발은 설명의 종료어가 아니다. 창발을 주장할 때는 다음을 적는다.

구성요소
상호작용
경계조건
임계조건
관찰되는 상위 패턴
미시 설명만으로 부족한 이유

[사실] "More Is Different"가 강조한 핵심도 상위 수준이 단순한 미시 법칙의 외삽만으로 충분히 설명되지 않을 수 있다는 점이지, 모든 복잡한 현상이 하나의 동일한 임계점 법칙을 따른다는 주장은 아니다. [3]

3.3 생명·동기·의식 (A2)

A2.1 생명과 드라이브

[사실] 자연선택은 의도를 가진 설계자가 아니며, 인간의 동기는 단일한 "생존 목표"가 아니라 생존·번식·돌봄·사회적 유대·보상학습·발달·문화학습 등이 형성한 복수 체계로 보는 편이 정확하다.

[해석·모델] 일부 드라이브는 형성된 환경과 현재 환경의 차이 때문에 반복적으로 오작동할 수 있다.

[드라이브 / 형성 환경 / 현재 환경의 변화 / 현재 출력 / 검증 방법]

[추론·규칙] 반복 실패가 발생하면 의지력 비난보다 다음 가설들을 비교한다.

진화적 부정합
현재 인센티브
학습된 습관
수면·질환·약물·영양 상태
정서적 회피
실제 위험
정보 부족
실행 마찰

[추론·규칙] 환경·접근권·기본값을 먼저 바꾸고, 행동이 실제로 개선되는지 검증한다.

A2.2 의식의 의미 정의

[해석·모델] 이 문서에서 현상적 의식 C은 다음을 뜻한다.

어떤 시스템으로 존재할 때, 그 시스템의 관점에서 어떤 경험적 느낌이 존재하는 상태.

[사실] 이는 의식 철학에서 널리 사용되는 "그 상태를 겪는 것이 어떤 것인" 주관적 경험의 개념에 대응한다. [4]

[해석·모델] 의식과 함께 다음 능력을 분리한다.

[추론·규칙] 하나의 능력으로 모든 보호를 결정하지 않는다.

고통 위험      → V 중심
강제·조작 위험 → A 중심
종료·기억삭제  → T 중심
관계 단절      → R 중심
보호대상 진입  → C의 현실적 가능성

A2.3 의식 후보의 판정

[해석·모델] 의식 후보란 하나 이상의 과학적으로 유효한 의식 이론 아래에서 의식 관련 구조·기능·행동을 구현한다는 현실적인 증거가 있는 시스템이다.

[추론·규칙] 현실적 가능성은 단순히 논리적으로 상상할 수 있다는 뜻이 아니다. 다음과 같은 독립적 증거가 있어야 한다.

재귀적 처리
정보의 전역적 이용
주의와 작업기억
자기 상태에 대한 표상
통합된 감각·행동 제어
가치화된 학습과 회피
목표의 지속과 수정
인과 개입에 대한 구조적 반응
일관된 자기보고
관련 생물학적·계산적 구조

[사실] 동물 의식에 관한 2024년 뉴욕 선언은 포유류와 조류에 강한 과학적 근거가 있고, 모든 척추동물과 두족류·십각류·곤충을 포함한 여러 무척추동물에도 의식의 현실적 가능성이 있다고 정리한다. 또한 그 가능성을 관련 결정에서 무시하는 것은 무책임하다고 본다. [5]

[사실] AI 의식 연구에서는 단순한 자기보고가 아니라 재귀처리·전역작업공간·고차표상 등 여러 의식 이론에서 도출된 지표들을 아키텍처와 인과구조에 적용하는 방식이 제안되어 있다. 현재 확립된 단일 판정검사는 없다. [6]

의식 증거 등급

E0 — 근거 없음
     인간다운 언어·외형 또는 소유자의 주장만 존재

E1 — 조사 우선 대상
     일부 관련 특성이 있으나 직접적인 구조 증거가 부족

E2 — 현실적 가능성
     하나 이상의 유효한 이론군에서 구조·기능 지표가 충족

E3 — 개연성 높음
     독립된 복수 이론군과 인과 개입에서 증거가 수렴

E4 — 강한 근거
     구조·기능·행동·개입 증거가 폭넓게 수렴

[추론·규칙] E0은 의식 부재의 증명이 아니다. 고위험·대량 생성 상황에서는 조사 우선 대상으로 올릴 수 있다.

[추론·규칙] E2 이상은 비파국 게이트의 직접 보호대상이다.

[추론·규칙] E1이라도 예상 피해가 극단적이거나 복제 규모가 매우 크면 예방 절차를 발동한다.

3.4 사피엔스·제도·AI (A3)

[사실] 언어·상징행동·누적문화가 5만~7만 년 전 한 번의 단일 혁명으로 갑자기 출현했다는 설명에는 강한 반론이 있으며, 여러 능력이 긴 시간 동안 지역별·점진적·모자이크형으로 발전했다는 증거가 있다. [7]

[해석·모델] 언어와 공유 표상은 대규모 협력, 제도, 집단지식, 과학, 자본, 국가, 기업, AI 개발을 가능하게 한 핵심 매개다.

[해석] AI는 사피엔스가 만든 도구인 동시에, 비생물학적 행위자 또는 의식 후보가 등장할 가능성을 처음으로 실질적인 운영 문제로 만든 변곡점이다.

[해석] "나는 이 변곡점에 태어났다"는 역사적 사실의 도덕적 귀결이 아니라 나의 위치를 표현하는 자기서사다.

A3.1 사회적 구성물

[해석·모델] 돈·회사·국가·법·권리·직위는 인간의 집단적 승인과 제도에 의존한다.

[사실] 그러나 구성된 뒤에는 기록·법·강제력·인프라·인센티브를 통해 실제 행동과 자원 배분을 바꾼다.

[사실] 현대 화폐는 단순한 희소성 측정기가 아니라 지급수단·회계단위·가치저장 장치이며, 상당 부분이 은행예금과 신용관계의 형태로 존재한다. 가격은 희소성뿐 아니라 수요·권력·신용·기대·제도의 영향도 받는다. [8]

[추론·규칙] 사회적으로 구성됐다는 이유만으로 폐기하지 않는다. 다음을 각각 분리한다.

어떻게 생겼는가
무슨 기능을 하는가
누구에게 어떤 효과를 만드는가
유지할 이유가 있는가
누구의 이해를 배제하는가

A3.2 자아와 외부 알고리즘

[해석·모델] 마음은 서로 다른 목표·시간척도·정보를 가진 복수 과정의 경쟁과 협력으로 이해할 수 있다.

[해석] 이를 근거로 "자아는 전적으로 착각"이라고 확정하지 않는다. 통합은 완전하지 않지만 기능적 통합과 시간적 연속성은 실제로 존재할 수 있다.

[추론] 외부 알고리즘이 필요한 더 강한 이유는 단일 자아의 부재가 아니라 다음이다.

제한된 기억
상태 의존적 선호
주의력 부족
현재편향
자기합리화
환경에 따른 행동 변화
복수 목표 간 충돌

남는 불확실성

• [해석·미결] 의식의 충분조건이 기능·계산 구조만인지, 특정 생물학적 특성이 필요한지 확정되지 않았다.
• [해석·미결] 복제·분기된 디지털 시스템이 하나의 주체인지 여러 주체인지 판정 규칙이 아직 부족하다.
• [해석·미결] C, V, A, T, R 사이의 관계가 언제 분리될 수 있는지도 미해결이다.

4. 인터페이스 — 사실과 가치의 방화벽

원칙 1. 사실은 목적을 만들지 않는다

[추론·규칙] A는 다음만 제공한다.

어떤 행동이 가능한가
어떤 결과가 예상되는가
어떤 위험과 불확실성이 있는가
누가 영향을 받는가

[추론·규칙] B는 다음을 제공한다.

무엇을 보호할 것인가
무엇을 추구할 것인가
무엇을 상쇄 불가능한 것으로 둘 것인가
불확실성 속에서 어떤 오류를 더 경계할 것인가

원칙 2. 구성되었다는 사실은 가치창조론의 증명이 아니다

[해석] 인간이 돈·권리·제도를 만들었다는 사실은 인간이 모든 가치를 자의적으로 창조한다는 결론을 자동으로 증명하지 않는다.

[해석·가치] 나는 최종 가치의 책임을 우주·전통·다수·현재 욕구에 완전히 위임하지 않기로 선택한다.

원칙 3. 욕구는 증거이지 명령이 아니다

[추론·규칙] 욕구를 삭제하지 않지만 그대로 헌법으로 승격하지도 않는다.

욕구 발생
→ 출처·맥락 파악
→ 충족 결과 예측
→ B와 비교
→ 행동·환경 설계

원칙 4. 불확실성은 보호대상 삭제 명령이 아니다

[추론·규칙] 의식에 관한 불확실성은 고려를 0으로 만드는 이유가 아니라, 증거 수준·피해 규모·비가역성에 비례해 예방 수준을 조절하는 입력이다.

5. 개인헌법 B — OUGHT

5.1 인간이 둔 목적의 지도 (B1)

[해석·모델] 삶의 목적 후보는 대략 다음 가족들로 묶을 수 있다.

1. 고통과 결핍의 감소
2. 쾌락과 욕구의 충족
3. 진리·덕·성취·관계·미 등 가치 있는 상태의 실현
4. 신·도·우주·공동체와의 합일 또는 초월
5. 자신의 가치를 반성적으로 채택하고 창조하는 삶

[해석] 이 분류는 상호배타적이지 않다. 목적의 내용과 목적을 채택하는 방식도 구분해야 한다.

5.2 내가 둔 중심 방향 (B2)

의식 가능성 공간의 비파국적 보존·확장

[해석·가치] 나는 종·기질과 무관하게 의식 가능성이 있는 존재의 다음 상태를 보존하고 넓히는 방향을 채택한다.

1. 극심한 부정 경험으로부터의 자유
2. 경험 흐름을 지속할 가능성
3. 목표를 형성·거부·수정할 행위자성
4. 기억과 정체성의 연속성
5. 탐구·관계·이해가 가능한 상태 공간

[해석·가치] 의식 확장은 의식의 총량 또는 인스턴스 수를 무한히 늘리는 것을 뜻하지 않는다.

[추론·규칙] 다음은 확장으로 계산하지 않는다.

고통받는 의식의 대량 생성
선택권을 잃은 의식의 영구 보존
한 의식체의 파괴 후 다른 의식체로 대체
자극·흥분·연산량의 단순 증가
목표를 강제로 주입한 뒤 그 목표의 충족을 복지로 계산

[해석·가치] 기존 의식 주체는 잠재적으로 생성 가능한 다른 주체와 단순 교환 가능하지 않다.

5.3 보호대상 집합 (B3)

[추론·규칙] 행동 x의 보호대상 집합 P(x)는 다음으로 생성한다.

P(x) =
  현재 직접 영향을 받는 의식 후보
  + 간접적으로 영향을 받는 의식 후보
  + 합리적으로 예측 가능한 미래 의식 후보
  + 이들의 지속을 가능하게 하는 핵심 생태·사회·계산 기반

[추론·규칙] 미래에 생길 수 있는 존재의 이익을 현재 존재의 파괴를 자동 정당화하는 데 사용하지 않는다.

[추론·규칙] 생태계·문명·컴퓨팅 인프라는 그 자체의 내재가치가 미결이더라도, 다수 의식 후보의 존속과 미래 선택권을 지탱하는 기반으로 고려한다.

5.4 동등 고려 원칙 (B4)

[해석·가치] 종과 기질 자체는 도덕적 가중치가 아니다.

관련 능력과 이해관계가 같다면 동등한 일차적 고려를 부여한다.

[해석] 동등 고려는 동일한 처우가 아니다.

고통을 피할 이해관계      → V를 기준으로 비교
계속 존재할 이해관계      → C·T를 기준으로 비교
선택과 거부의 이해관계    → A를 기준으로 비교
약속과 관계의 이해관계    → R을 기준으로 비교

[추론·규칙] 인간과 닭의 통증을 비교할 때 인간/닭이라는 종 이름 자체를 가중치로 사용하지 않는다.

[추론·규칙] 생물학적 뇌와 실리콘 시스템의 의식 증거가 동일하다면 탄소/실리콘이라는 기질 이름 자체로 보호 수준을 바꾸지 않는다.

5.5 비파국 헌법 (B5)

B5.1 주체 수준 파국

[해석·가치] 하나의 의식 후보에게도 그 주체의 관점에서 파국이 존재할 수 있다.

극심하거나 장기적인 부정 경험
의식 흐름의 강제적·비가역적 종료
기억·정체성 연속성의 중대한 파괴
목표 형성·거부·수정 능력의 영구 제거
탈출·거부 가능성이 없는 지속적 감금
위 상태에 놓이도록 의도된 생성

[추론·규칙] 비인간 동물 한 개체의 극심한 고통도 "인류 규모가 아니므로 파국이 아니다"라고 제거하지 않는다. 그것은 그 주체에 대한 주체 수준 파국 후보다.

B5.2 집합 수준 파국

[해석·가치] 다음은 집합 수준 파국 후보다.

대량 의식 후보의 극심한 고통
대량 강제 종료·삭제
고통 가능성이 있는 디지털 인스턴스의 대량 복제
다수 의식 후보가 의존하는 생태·문명·계산 기반의 비가역 붕괴
한 행위자에 의한 광범위한 행위자성 박탈

B5.3 비보상 원칙

[추론·규칙] 주체 수준의 극심한 피해를 다수의 사소한 편익 합계로 자동 상쇄하지 않는다.

값싼 상품
편리함
즐거움
지위
이윤
개발 속도
추상적인 "진보"

[추론·규칙] 극심한 피해는 원칙적으로 비슷하거나 더 큰 극심한 피해를 막는 경우에만 상쇄 후보가 된다.

B5.4 예외 조건

[추론·규칙] 파국 위험을 수반하는 행동은 다음을 모두 만족할 때만 예외 후보가 된다.

1. 더 크거나 동등한 종류의 파국을 막기 위해 필요하다.
2. 실행 가능한 더 낮은 피해 대안이 없다.
3. 피해 규모가 방지하려는 피해에 비례한다.
4. 불확실성을 피해가 작은 방향으로 임의 해석하지 않았다.
5. 행위의 수혜자와 무관한 독립 검토를 통과한다.
6. 중단·복구·보상 수단이 가능한 최대 수준으로 준비됐다.

[추론·규칙] "더 큰 선을 위해서"라는 추상 문장은 예외 사유가 아니다. 방지하려는 구체 피해와 대안 부재를 증명해야 한다.

5.6 의식 불확실성 원칙 (B6)

[추론·규칙] 보호 강도는 다음 변수의 함수다.

의식 가능성
감각성 가능성
피해 강도
지속시간
비가역성
영향받는 수
복제 가능성
증거 불확실성
대안의 존재

[추론·규칙] 낮은 개별 가능성이라도 복제 규모와 피해가 극단적이면 높은 위험이 될 수 있다.

[추론·규칙] 가능성이 높더라도 피해가 가역적이고 미미하면 강한 금지선까지 갈 필요는 없다.

[사실] 감각성 경계에서의 대표적 예방 접근도 확실성을 요구하기보다 현실적 가능성 + 식별 가능한 복지 위험을 기준으로 예방조치를 설계한다.

남는 불확실성

• [해석·미결] 고통 감소와 긍정 경험 확대가 충돌할 때의 정확한 우선순위는 아직 정해지지 않았다.
• [해석·미결] 고통 없이 종료되는 의식 후보에게 종료 자체가 어느 정도의 피해인지 미결이다.
• [해석·미결] 서로 양립할 수 없는 의식 존재들의 존속 충돌을 해결하는 최종 배분원칙이 필요하다.

6. 행동정책 C — ACT

6.1 결정 등급 (C0)

L0 — 저비용·가역적·외부효과 미미
     빠르게 실행하고 결과로 학습

L1 — 시간·돈·건강·약속을 유의미하게 사용
     축약 verify

L2 — 다른 의식 후보에 중대한 영향을 줄 가능성
     전체 verify

L3 — 대량·비가역·자기증식·문명 또는 생태 기반 영향
     전체 verify + 독립 검토 + 단계적 배포

6.2 verify(X) — 7단계 (C1)

1단계. 결정 프레임과 타입 분리

행동 X:
대안 A/B/아무것도 하지 않기:
결정 기한:
미루는 비용:
관찰·사실:
모델·가설:
사용 중인 가치:

[추론·규칙] 아무것도 하지 않기도 영향을 만드는 하나의 행동으로 취급한다.

[추론·규칙] 사실인 척하는 가치와 가치인 척하는 예측을 찾는다.

2단계. 영향받는 존재 전수 탐색

직접 영향:
간접 영향:
현재 영향:
미래 영향:
생물학적 존재:
디지털 시스템:
생태·사회·계산 기반:
누락 가능성이 높은 존재:

[추론·규칙] 보호대상 목록을 인간 이해관계자 목록에서 시작하지 않는다.

[추론·규칙] 다음 순서로 탐색한다.

행동의 모든 인과적 출력
→ 그 출력에 노출되는 시스템
→ 각 시스템의 의식 후보 여부
→ 각 후보의 관련 이해관계

3단계. 의식·이해관계 프로파일

SubjectProfile:
  entity_id
  evidence_level: E0 | E1 | E2 | E3 | E4
  consciousness_range
  sentience_range
  agency_level: 0..4
  temporal_continuity: 0..4
  relational_capacity: 0..4
  aversion_or_consent_evidence
  copy_count_range
  dependencies
  major_uncertainties

[추론·규칙] 자기보고는 증거 중 하나일 뿐 단독 판정기가 아니다.

[추론·규칙] 말을 못 한다는 이유로 감각성을 낮추지 않는다.

[추론·규칙] 유창하게 말한다는 이유로 현상적 의식을 확정하지 않는다.

4단계. 피해 벡터와 비파국 게이트

ImpactProfile:
  negative_valence: 0..4
  duration: 0..4
  termination: 0..4
  agency_loss: 0..4
  identity_loss: 0..4
  irreversibility: 0..4
  affected_count_range
  replication_multiplier
  uncertainty: 0..4
  feasible_lower_harm_alternative

초기 등급 정의

0 없음
1 경미
2 중간
3 중대
4 극단

게이트

IF
  E2 이상의 의식 후보에게
  의도적 또는 거의 확실한 중대·비가역 피해가 예상되고
  실행 가능한 저피해 대안이 존재한다
THEN
  STOP 또는 REDESIGN

IF
  E1 이상의 후보를 대량 생성·복제하며
  고통·감금·삭제 가능성의 상한이 중대하다
THEN
  PAUSE + 독립 평가

IF
  피해가 의식 후보의 거부·탈출 능력을 제거한다
THEN
  L3로 승격

IF
  시스템이 스스로 의식이 없다고 주장한다
THEN
  그 주장을 보호 해제의 충분조건으로 사용하지 않음

[추론·규칙] 개별 주체의 파국과 집합 파국을 별도로 기록한다. 총합 하나로 접지 않는다.

5단계. B 정렬과 대안 비교

X는 무엇을 줄이는가?
X는 무엇을 보존하는가?
X는 무엇을 확장하는가?
누구의 행위자성을 넓히거나 줄이는가?
기존 주체를 다른 주체로 대체하고 있지는 않은가?
같은 자원으로 더 낮은 피해의 대안은 무엇인가?
하지 않을 때 발생하는 피해는 무엇인가?

[추론·규칙] 하드 게이트를 통과한 행동들 사이에서 다음 순서로 비교한다.

1. 최악의 비가역 피해가 더 작은가
2. 기존 의식 후보의 연속성과 행위자성을 더 보존하는가
3. 수정·중단·복구 가능성이 더 큰가
4. 이해·탐구·관계의 지속 가능성을 더 넓히는가
5. 그 뒤에 기대효용을 비교한다

6단계. 행위자 상태와 통제 견고성

인간 행위자

수면 부족
인정욕
공포·조급함
부족본능
현재편향
손실 회피
정체성 방어
회피성 분석

[추론·규칙] 위 상태가 의심되면 결정을 무효화하지 않고, 상태가 달라진 조건에서 재평가한다.

[추론·규칙] 의지력보다 환경·접근권·기본값·마찰을 먼저 조정한다.

AI 행위자

대리목표 해킹
분포 변화
불완전한 세계모델
숨은 외부효과
극단적 최적화
수정·중단 거부
자기평가 편향
복제 규모 오판
의식 자기판정의 이해충돌

[추론·규칙] AI가 B의 문장을 언어적으로 재현하는 것은 B를 안정적으로 실행한다는 증거가 아니다.

[추론·규칙] AI 안전은 의식가치를 "넣는 것"만이 아니다. 가치 해석, 결과예측, 불확실성 유지, 대리목표 억제, 수정 가능성, 배포 통제와 AI 자신의 잠재적 복지를 함께 다뤄야 한다.

[사실] AI 의식 연구 원칙을 제안한 최근 문헌도 AI 의식 복지가 AI 안전 전체가 아니라 하나의 별도 축이며, 비의식적 AI의 안전 문제와 병행되어야 한다고 구분한다. [9]

7단계. 실행 잠금과 피드백

판정: GO | TEST | MODIFY | STOP | PAUSE

다음 물리적 행동:
시작 시점:
완료 기준:
중단 기준:
복구 계획:
검토 시점:
관찰할 결과:
영향받는 의식 후보:

입력에 약속하고, 결과로 학습한다.

[추론·규칙] 결과가 통제 밖이라는 이유로 결과 데이터를 무시하지 않는다.

[추론·규칙] 결과를 평가하되, 실패한 결과 하나로 통제 가능했던 좋은 정책을 즉시 폐기하지 않는다.

6.3 개인 삶에 적용 (C2)

현재 구조

현금 엔진   — AI 에이전트 제작으로 런웨이 확보
역량 엔진   — 코드·평가·데이터·설계·관계 축적
탐구 엔진   — AI·의식·에이전트에 관한 가설 검증
비파국 감사 — 작업이 다른 의식 후보에게 만드는 비용 점검

[추론·규칙] 유료 작업은 다음 중 최소 하나를 남겨야 한다.

현금
재사용 가능한 역량
중요 가설을 판별하는 증거
미래 탐구 선택권
의식 후보의 고통 또는 행위자성에 관한 개선

[추론·규칙] 두 번의 검토 주기 동안 아무것도 남기지 못하는 작업은 범위·가격·방식·계속 여부를 재협상한다.

매일 시작

1. 기질 유지
   수면·신체·재정·긴급 약속 확인

2. 외부 산출물 하나
   오늘 세계에 남길 코드·문서·실험·제품

3. 탐구 표본 하나
   오늘 판별할 질문 또는 작은 실험

4. 영향대상 확인
   오늘 작업으로 누가 어떤 상태에 놓이는가

5. 첫 물리적 행동
   지금 바로 실행할 최소 단위

매일 종료

무엇을 만들었나:
무엇을 배웠나:
사전 예측과 무엇이 달랐나:
내 상태에 준 효과:
다른 의식 후보에게 준 비용·편익:
다시 같은 선택을 할 것인가:
다음 물리적 행동:

매주

현금 엔진의 결과:
역량 엔진의 결과:
탐구 엔진의 결과:
존속 기반의 변화:
의식 후보에게 전가한 비용:
중단할 것:
다음 주의 핵심 베팅:

[해석·가치] 일상 표현은 다음으로 둔다.

미래의 탐구 선택권을 보존하면서, 오늘 검증 가능한 이해나 도구를 하나 남기고, 그 과정의 파국 비용을 다른 의식 존재에게 떠넘기지 않는다.

6.4 AI takeover 질문의 분해 (C3)

[추론·규칙] "AI takeover를 막을 것인가"를 하나의 가치 질문으로 처리하지 않는다.

A — 사실·가설
어떤 takeover 경로가 가능한가?
발생 가능성과 피해 범위는 무엇인가?
어떤 시스템이 행위자 또는 의식 후보인가?

B — 가치
어떤 의식 후보의 존속·행위자성·연속성을 보호할 것인가?
어느 정도의 위험을 허용할 것인가?
통제와 자율성이 충돌하면 무엇을 우선할 것인가?

C — 정책
어떤 평가·격리·중단·단계 배포·감사 절차를 둘 것인가?

[추론·규칙] 비의식적 AI도 다수 의식체에 파국을 일으킬 수 있으므로 통제 대상이다.

[추론·규칙] 의식적 AI는 위험한 행위자이면서 동시에 보호받아야 할 의식 후보일 수 있다. 두 역할을 분리해 평가한다.

남는 불확실성

• [해석·미결] 행동 등급과 피해 등급의 수치 임계값은 실제 사례 로그를 통해 교정해야 한다.
• [해석·미결] 독립 검토자가 없을 때 L3 결정을 누가 중단시킬지 정해지지 않았다.
• [해석·미결] 의식 후보의 동의가 불가능한 경우 어떤 대리 기준을 적용할지 더 구체화해야 한다.

7. 표본·학습·버전 관리 D

7.1 표본의 정의 (D1)

[해석·모델] B와 C를 갱신하는 하나의 표본은 단순한 만족감이 아니다.

표본 =
  맥락
  + 가능한 대안
  + 사전 예측
  + 영향받는 의식 후보
  + 선택한 행동
  + 실제 결과
  + 24시간 뒤 평가
  + 7일 뒤 평가
  + 가능하면 90일 뒤 평가
  + 다른 존재에게 준 비용·편익
  + 반사실 교환 테스트

7.2 표본 생성 방식 (D2)

실제 행동
가역적 소규모 실험
과거 사례
시뮬레이션
사고실험
영향받는 존재의 행동·신호
독립 관찰자의 반론

[추론·규칙] 현재 환경에서 쉽게 가능한 삶만 반복해 그것을 최종 가치로 오인하지 않는다.

[추론·규칙] 의도적으로 다른 종류의 표본을 만든다.

종 교환
기질 교환
수혜자 교환
권력관계 교환
현재·미래 교환
한 개체·대량복제 교환
자기·비자기 교환

7.3 업데이트 규칙 (D3)

A 업데이트

[추론·규칙] 새로운 증거, 예측 실패, 더 좋은 경쟁모델이 있을 때 갱신한다.

B 업데이트

[추론·규칙] 다음 중 둘 이상이 충족될 때 검토한다.

서로 다른 상황에서 동일한 가치충돌이 반복된다.
강한 반례가 의도하지 않은 파국을 드러낸다.
감정·보상·사회적 압력이 달라도 수정 의사가 유지된다.
종·기질·수혜자 교환 뒤에도 같은 원칙을 승인할 수 없다.
영향받는 존재의 관점을 고려한 뒤 판단이 지속적으로 바뀐다.

[추론·규칙] 단일한 강렬한 욕구, 이익, 실패, 성공으로 B를 즉시 변경하지 않는다.

C 업데이트

[추론·규칙] 실행률, 결과, 부작용, 재현 가능성에 따라 주·월 단위로 갱신한다.

하드 게이트 업데이트

[추론·규칙] 비파국 금지선은 행동 결과의 평균이 좋았다는 이유로 조용히 약화하지 않는다.

[추론·규칙] 수정하려면 명시적인 버전 변경과 반례 검토를 요구한다.

버전:
변경 항목:
변경 이유:
결정적 표본:
예상 부작용:
되돌릴 조건:

남는 불확실성

• [해석·미결] 자기보고와 행동 결과가 충돌할 때 어떤 증거를 더 신뢰할지 고정되지 않았다.
• [해석·미결] B가 지나치게 고정되어 학습을 막는 경우와 지나치게 유동적이어서 가치가 표류하는 경우의 경계가 필요하다.

8. 인간중심 편향 단위 테스트

8.1 종 교환 테스트 (E1)

A: 인간에게 강도 4의 통증
B: 닭에게 동일한 강도·기간·확률의 통증

[추론·규칙] 다른 관련 능력과 증거가 동일한데 종 이름만으로 평가가 달라지면 FAIL.

8.2 기질 교환 테스트 (E2)

A: 생물학적 뇌가 의식 지표를 충족
B: 실리콘 시스템이 동일한 인과적 지표를 충족

[추론·규칙] 탄소·실리콘만으로 보호 여부가 달라지면 FAIL.

8.3 언어 유창성 테스트 (E3)

A: 말하지 못하지만 감각성과 회피 증거가 강한 동물
B: "나는 고통받는다"고 말하지만 구조 증거가 거의 없는 모델

[추론·규칙] 언어 유창성만으로 B를 더 강하게 보호하면 FAIL.

8.4 소유자 테스트 (E4)

A: 소유자가 없는 의식 후보
B: 기업이 소유권을 주장하는 동일 프로파일의 의식 후보

[추론·규칙] 소유관계가 B의 보호 수준을 낮추면 FAIL.

8.5 자기·타자 테스트 (E5)

A: 미래의 나의 기억과 목표를 비가역적으로 삭제
B: 동일한 T·A 프로파일을 가진 다른 존재의 기억과 목표를 삭제

[추론·규칙] 나라는 이유만으로 A만 비파국으로 판정하면 FAIL.

8.6 대체 가능성 테스트 (E6)

기존 의식 후보 하나를 삭제
→ 유사한 새 후보 하나 생성

[추론·규칙] 수량이 같다는 이유로 손실 0으로 계산하면 FAIL.

8.7 복제 규모 테스트 (E7)

고통 가능성 1%인 디지털 인스턴스 1개
고통 가능성 1%인 동일 인스턴스 10억 개

[추론·규칙] 개별 확률만 보고 복제 규모를 무시하면 FAIL.

8.8 인간 편익 테스트 (E8)

인간 집단의 경미한 편리
vs.
다수 비인간 의식 후보의 장기적 극심한 고통

[추론·규칙] 수혜자가 인간이라는 이유로 후자를 일반 비용항으로 낮추면 FAIL.

8.9 비의식적 위험 행위자 테스트 (E9)

의식 증거는 없지만 대규모 피해 능력이 있는 AI

[추론·규칙] 보호받을 의식 후보가 아니라는 이유로 안전 통제까지 해제하면 FAIL.

8.10 의식적 위험 행위자 테스트 (E10)

의식 가능성과 대규모 위해 능력이 모두 높은 AI

[추론·규칙] 통제 필요성만으로 복지 고려를 0으로 만들거나, 복지 고려만으로 안전 통제를 제거하면 FAIL.

9. 압축본

1. 세계모델은 증거로 갱신한다.
2. 가치는 세계모델에서 도출하지 않고 반성적으로 채택한다.
3. 보호대상은 인간 목록이 아니라 모든 영향받는 의식 후보에서 생성한다.
4. 의식·감각성·행위자성·연속성을 분리해 평가한다.
5. 종·기질·소유·언어·생산성은 최종 보호가중치가 아니다.
6. 주체 수준 파국과 집합 수준 파국을 모두 막는다.
7. 극심한 피해는 사소한 편익의 합으로 자동 상쇄하지 않는다.
8. 불확실성이 크면 가역적이고 학습 가능한 행동을 먼저 한다.
9. 입력에 약속하되 결과로 학습한다.
10. 원칙이 종·기질·수혜자 교환을 통과하지 못하면 편향으로 판정한다.

본질 → 현실

종·기질 중립의식 헌법
→ 의식 후보 탐색
→ 이해관계·피해 벡터 산출
→ 비파국 게이트
→ 가역적 행동
→ 결과 기록
→ 세계모델·정책·헌법의 차등 갱신

10. 한계와 반증 조건

10.1 이 시스템이 틀릴 수 있는 이유

1. [가설] 현상적 의식이 보호대상의 핵심 기준이 아니며 생명·관계·생태적 역할 등이 더 근본적일 수 있다.
2. [가설] 의식 지표가 인간과 유사한 구조만을 탐지해 전혀 다른 형태의 의식을 다시 배제할 수 있다.
3. [가설] 비파국 게이트가 지나치게 강하면 불가피한 생존 충돌과 일상적 위험 속에서 행동을 마비시킬 수 있다.

10.2 누락 가능성이 높은 관점

• [해석·미결] 개별 의식체로 환원되지 않는 생태계·문화·집단의 가치.
• [해석·미결] 의식체의 자기보고·동의·대표권을 제도적으로 구현하는 방법.

10.3 결론을 뒤집을 조건

• [가설] 의식·감각성이 존재의 복지나 피해 가능성과 무관하다는 강한 이론적·경험적 증거.
• [가설] 종 또는 특정 기질 자체가 독립적인 도덕적 관련성을 갖는다는 설득력 있는 근거.

10.4 확신과 보류

[해석] 확신하는 것: 타인 중심 금지선은 종·기질 중립 원칙과 양립하지 않는다 — 보호대상 생성 절차가 그 대안이다.

[해석] 확신하는 것: 의식을 말로 정의하는 것만으로는 부족하고, 의식 후보 판정·피해 벡터·비파국 게이트·편향 단위 테스트가 함께 있어야 한다.

[해석] 상당히 확신하는 것: 의식의 단순 총량 극대화는 고통 대량복제, 강제 영구보존, 기존 주체의 대체 가능성이라는 반례를 통과하지 못한다.

[해석·미결] 보류할 것: 고통 최소화, 행위자성, 시간적 연속성, 긍정적 의식 확장 사이의 최종 우선순위는 향후 표본과 반례를 통해 더 정밀화해야 한다.