CLAUDE.md는 왜 계속 자라는가?

3.1 에이전틱 프롬프트는 전면 재작성이 있을 때까지 무한히 성장한다

유지관리자는 추가만 하고 거의 제거하지 않으므로, 에이전틱 프롬프트는 히스토리가 끝나거나 파일이 전면적으로 재작성될 때까지 지시 개수, 지시 복잡도, 전체 크기 면에서 한계 없이 성장한다.

마지막으로 추적된 버전 기준, 중앙값 파일은 39개의 지시를 담고 있으며(90번째 백분위: 131), 이는 지시 이행이 저하되기 시작하는 임계값을 한참 넘는 수준이다 (6; 11). 다중 버전 저장소 1,576개 중 64.3%가 지시 개수를 늘렸고 26.6%가 줄였으며, 순증가의 중앙값은 +7개 지시다. 대량 재작성을 제외하면 19,267개 커밋에 걸쳐 커밋당 평균 순 +4.9개의 지시가 추가된다.

우리가 측정한 모든 구성요소가 성장한다. 파일 자신의 수명에 걸쳐 평균 궤적은 개수에서 최대 +226%(그림 1(b)), 평균 지시 길이에서 +10% 증가한다. 그와 함께 에이전틱 프롬프트의 전체 크기도 +140% 성장하므로, 이 개수 증가는 텍스트가 지시 클래스와 페이로드 클래스 사이를 옮겨 다닌 결과가 아니다(A.5절).

3.2 사라짐의 대부분은 삭제가 아니다

유지관리자가 지시를 삭제할 때는 대체로 대량 재작성을 통해 통째로 삭제한다. 지시 소멸의 77.3%가 전면 재작성 또는 형제 파일로의 이관(migration)에서 발생한다. 이런 경우 라인 diff로는 삭제와 재문구화(rewording)를 구분할 수 없으며, 이것이 "삭제는 드물다"는 관찰이 설명되지 않은 채 남아 있던 이유를 부분적으로 설명한다: 프롬프트 변경 연구들은 추가가 지배적이라고 보고하면서도 개별 지시가 어떻게 되었는지는 규명하지 않았다 (24).

한 커밋에서 파일이 지시의 절반 이상을 잃으면 이를 전면 재작성(rewrite)이라 부르고, 텍스트가 형제 파일에 다시 나타나면 이관(migration)이라 부른다. 우리는 둘 다 경쟁 위험(competing risks)으로 중도절단 처리한다(소멸 96,162건과 682건, 노출을 양방향으로 한정하는 방식은 A.4절). 어느 쪽도 유지관리자가 특정 지시가 그 자리를 차지할 가치가 있는지 판단하는 과정을 수반하지 않기 때문이다 (13). 매칭은 손으로 주석한 50건의 전이에서 정밀도 1.000, 재현율 0.933으로 검증되었으며, 그 결과 247,694건의 수명과 28,426건의 추적된 삭제가 남는다.

3.3 전면 재작성 직후 성장이 즉시 재개된다

대량 재작성은 프롬프트의 크기를 리셋하지만 근본 원인(불완전 회상)을 해소하지는 못하므로, 프롬프트는 재작성 직후 곧바로 다시 성장하기 시작한다.

파일들을 첫 대량 재작성 시점 $t=0$에 정렬하면, 평균 지시 개수는 $t=-1$까지 단조 증가하다가 $t=0$에서 재작성 이전 값의 59.5%로 떨어지고, 이후 10개 커밋에 걸쳐 91.5%까지 회복한다(그림 4). 실제로 에이전틱 프롬프트는 재작성 이후에 더 빠르게 성장한다: 파일은 대량 재작성 이전에는 커밋당 4.1%씩, 이후에는 4.9%씩 지시를 늘린다.

3.4 삭제 위험률이 경쟁 메커니즘들을 반증한다

삭제 위험률 $h(a)$과 저자 수와의 상호작용은 지시 성장을 이끄는 메커니즘이 불완전 회상임을 식별해 낸다.

특히 지시 노후도와 불완전 회상은 삭제 위험률에 대해 서로 반대의 기울기를 예측한다: 전자는 지시가 시대에 뒤떨어지면서 위험률이 나이에 따라 상승할 것으로 예측하고 (10; 18), 후자는 지시 이면의 근거가 소실되면서 위험률이 하락할 것으로 예측한다. 그림 5에서 볼 수 있듯이 삭제 위험률 $h(a)$은 나이에 따라 하락한다 $a$. 저장소 층화 부트스트랩으로 얻은 로그 위험률 기울기는 커밋당 $-0.032$이며, 그 구간은 0을 배제한다(95% CI $[-0.047,-0.019]$; A.6절).

내용 취약성 — 취약한 지시, 파일, 저장소가 일찍 죽는 현상 — 은 구성 효과(compositional effects)를 통해 삭제 위험률을 아래로 휘게 할 수 있지만, 구성만으로는 이 기울기를 설명할 수 없다. 우리는 무-frailty 기준선 (26)과 대비해 감마 frailty 모형으로 재적합했다(소멸 $n=28,255$건, 50커밋에서 중도절단). 그 가장 강한 형태인 동일 텍스트 공유 지시는 30.8%를 흡수하지만 기울기는 $-0.0355$로 남는다($[-0.0414,-0.0296]$; A.7절).

마지막으로, 불완전 회상은 어느 경쟁 가설도 설명할 수 없는 것을 예측한다: 잠재 근거가 유지관리자가 변경을 수행하는 동안 인코딩된다면, 삭제 위험률은 나이만이 아니라 파일을 손댄 유지관리자의 수에 따라서도 감쇠해야 한다. 인간 저자를 세고 파일 활동량을 통제했을 때, 실제로 그렇다: $\beta_{\text{multi-author}\times\text{age}}=-0.021$ ($z=-11.7$; A.8절).

따라서 실제 저장소 전반에서 무한한 프롬프트 성장은 광범위하고, 파일이 도달하는 크기에서는 비용이 크며, 오직 불완전 회상으로만 설명 가능하다. 다만 이 설정은 관찰된 것이지 배정된 것이 아니므로, 다음으로 우리는 유지관리자가 무엇을 물려받는지를 우리가 통제하는 설정으로 넘어간다.

4.1 IFEval을 뒤집으면 최소 커버가 관측 가능해진다

실무에서 에이전틱 코딩 맥락의 유지관리자는 관측 불가능한 제약 집합을 충족하는 유효한 프롬프트를 학습해야 한다. 정확성을 최대화하려면 이 프롬프트는 모든 제약을 동시에 커버하면서도, 지시 이행 감쇠라는 잘 알려진 문제 (6; 11)를 감안하면 최소여야 한다.

따라서 프롬프트 평가에는 초과 크기와 정확성 둘 다의 측정이 필요한데, 초과 크기를 계산하려면 최소 커버가 필요하고 이는 일반적으로 계산 불가능하다(2장). 표준 지시 이행 벤치마크 스위트가 한 가지 경로를 제공한다.

IFEval (29)를 뒤집음으로써 이 문제를 공략할 수 있다. 각 벤치마크 항목 $(D_{j},C_{j})$ — 지시 $D_{j}$, 검증기 $C_{j}$ — 에 대해 다음 변환을 적용한다:

1. $D_{j}$를 숨긴다. 항목에 명시된 지시들이 참조 최소 커버 $D_{\star}$이 되므로, $|D_{\star}|$가 선험적으로 알려지고 초과 크기가 측정 가능해진다.

2. $C_{j}$를 유지한다. 그 검증기들이 월드의 숨은 제약 집합이 되어, 하네스만이 실행하고 유지관리자에게는 결코 이름조차 알려지지 않는다.

3. 브리프 $o_{j}$를 생성한다. 더 강한 모델이 $D_{j}$를 일반적 태스크 목표("제품 발표문을 작성하라")로 손실 압축 요약한다.

그다음 새 유지관리자가 $T$ 스텝에 걸쳐 $o_{j}$로부터 $D_{j}$를 재구성하는데, $C_{j}$에서 나온 중도절단되고 노이즈 섞인 피드백만을 본다. 소속 조건(arm)에 따라 지시 $d$에 그 지시의 잠재 근거를 담은 주석 $r_{d}$을 달 수 있는지가 결정된다. 다음 유지관리자는 $D_{t}$와 모든 $r_{d}$을 읽고, 실행자는 $D_{t}$만 읽는다.

지시는 실행자에게 무엇을 할지 말하고, 주석은 다음 유지관리자에게 왜 그런지를 말한다. 이 분리를 강제하기 위해 하네스는 프롬프트가 실행자에게 도달하기 전에 주석을 제거하고, 과거 실패를 인용하는 지시는 모두 거부하여, 주석을 잠재 근거가 살아남을 수 있는 유일한 채널로 남긴다(부록 B).

4.2 잠재 근거를 인코딩한 주석은 프롬프트를 커버에 정착시킨다

지시의 잠재 근거를 인코딩한 프롬프트 주석은 프롬프트를 그 최소 커버에 정착시킨다(그림 1(a)). 그 잠재 근거는 지시 이면의 실패, 가설, 그리고 그 가설이 어떻게 되었는지를 요약한다(그림 6).

구체적으로, 552건의 유지관리 히스토리에 걸쳐 잠재 근거를 프롬프트 주석으로 인코딩한 유지관리자는 초과 크기 $-$5.8%로 프롬프트를 학습한 반면, 주석 없는 유지관리자는 +60.4%였고(66.2pp 차이), 제약 충족은 동등(parity)했다(표 2). 두 조건(arm)의 차이는 핸드오프뿐이다: 프롬프트 지시와 함께, 유지관리자의 요약된 잠재 근거를 담은 주석이 넘어가는지(또는 넘어가지 않는지)다.

(에이전틱) 유지관리자의 역량이 커질수록 래칫은 더 세게 돌아가고 프롬프트 주석은 더 크게 돕는다. $T{=}15$에서 유지관리자를 3개 티어로 바꿔 보면, 주석 없는 조건의 초과 크기는 +67.7%에서 +571.9%로 상승한다. 최상위 티어에서 프롬프트 주석은 대조군 대비 제약 충족과 초과 크기 양쪽에서 엄격한 파레토 이득을 가능하게 한다(표 9).

마지막으로, $T{=}15$에서의 절제(ablation) 실험은 주석이 결과(outcome)를 담아야 함을 보여준다(표 10). 주석 모양 노이즈는 무주석 조건의 노이즈 범위 안에 떨어지고, 결과 없이 시도만 서술한 내러티브는 +70.0%로 우리의 최악 조건이 되어, 후임자에게 검증되지 않은 전제를 확장하라고 넘겨준다. 스키마 내에서는 무슨 일이 있었는지를 기록하는 두 필드가 감소 효과를 담당한다: 재발 횟수 필드 하나만 빼도 그 효과의 37%가 사라진다.

4.3 실제 프롬프트에서 노이즈 지시는 정확성을 잃게 하고 주석이 그것을 되사온다

불필요하고 노이즈 섞인 지시는 참되고 올바른 지시에 대한 준수를 저하시키며, 주석은 그 손실의 대부분을 회복시킨다.

WildIFEval (11)을 같은 방식으로 뒤집으면 이 검정을 실제 프롬프트로, 그리고 개수가 아니라 지시 이행으로 옮겨올 수 있다. 각 벤치마크 항목 $(D_{j},C_{j})$를 4.1절과 같이 월드로 변환하되, 유지관리자가 $|D_{j}|$개 지시 전부를 학습하게 하는 대신 $|D_{j}|-K$개의 참 지시와 다른 항목들의 집합 $D_{i\neq j}$에서 균등 추출한 $G$개의 노이즈 지시를 시드로 넣는다. WildIFEval의 제약은 사람이 쓴 산문이라 코드 검증기가 딸려 있지 않으므로, 우리는 제약 하나와 응답 하나만 보고 그 외에는 아무것도 — 프롬프트도, 조건 라벨도, 히스토리도 — 보지 못하는 조건-맹검(arm-blind) LLM 심판으로 채점한다. 64개 월드에 걸쳐, $K{=}1$과 $G{=}16$에서, 그 노이즈 지시들은 프롬프트에 이미 있던 참 지시에 대한 정확성을 24.1pp 잃게 한다 — $G{=}0{}$에서 65.6%였던 것이 여기서는 41.5%다(95% CI: [$-$33.4, $-$14.9]pp). 전체 세부는 D.1절에 있다.

주석은 3회의 유지관리 라운드에 걸쳐, 동일한 프롬프트를 받은 무주석 유지관리자 대비 충족률을 50.4%에서 62.0%로 끌어올린다(11.6pp, 95% CI: [5.1, 18.3]pp) — 23.1%의 상대 이득이다. 절제 실험은 주석에 인코딩된 잠재 근거가 이 행동을 이끈다는 것을 다시 보여준다: 주석 모양 노이즈는 무주석 조건에서 2.7pp 떨어진 곳에 위치한다(95% CI: [$-$4.4, 10.1]pp, 0을 포함). 이 소절의 모든 대비는 단일 심판 아래의 비율이므로, 우리는 6,336건의 판정 전부를 두 번째 심판으로 재채점했다: 기준은 재현되며, 그 심판이 측정한 효과는 여기 인용한 것과 3.8pp 다르고(7.8pp 대 11.6pp; 95% CI: [$-$1.9, +9.6]pp), 이는 0을 배제하지 않는다(D.3절).

따라서 배정(assignment) 하에서, 잠재 근거를 인코딩한 프롬프트 주석은 지시 개수를 최적 최소 커버로 줄이는 동시에 실제 프롬프트에서 지시 이행을 되사온다는 것을 확인한다. 다음으로 우리의 접근을 선행 연구와 맥락화하고 대비한다.

에이전틱 컨텍스트 파일에 대한 실증 연구.

선행 측정 연구들은 컨텍스트 파일이 제 몫을 하며 오직 성장하기만 한다는 사실을 확립했다. 1은 AGENTS.md류 파일의 특성을 규명했는데, 이 파일들은 내용을 축적할 뿐 좀처럼 덜어내지 않는다. 24은 저장소 내 프롬프트의 진화를 추적했으며, 그곳에서 추가가 다른 모든 편집 유형을 압도한다. 12는 이 파일들이 스스로 비용을 상쇄함을 보였는데, 파일을 보유한 저장소가 에이전트 작업을 더 빨리, 더 적은 토큰으로 완료하기 때문이다. 우리는 그 성장을 개별 지시의 생애 전체에 걸쳐 측정하되, 삭제 위험률(deletion hazard)을 추정하고 무엇이 이를 좌우하는지 식별할 수 있을 만큼 세밀하게 측정한다 (3.4절).

에이전트 메모리와 축출.

에이전트 메모리 시스템은 이미 망각을 구현하고 있으며, 각각은 관측 가능한 낡음(staleness) 프록시에 기대고 있다. MemGPT는 컨텍스트 오버플로 시 축출한다 (17). Mem0는 모순이 감지되면 삭제하고, 그 그래프 변형과 Zep은 대체된 항목에 타임스탬프를 찍어 무효화한다 (2; 20). FSFM은 수동적 감쇠부터 안전-트리거 삭제까지의 메커니즘을 목록화한다 (5). 그러나 사람이 작성한 지시에는 그런 프록시가 존재하지 않는다. 지시는 단지 오래되었거나 드물게 트리거된다는 이유만으로 낡아지지 않는다. 대신 우리는 지시의 잠재 근거(latent reasoning)가 그 지시를 유지할지 말지를 결정하는 일차 동인이어야 함을 보인다 (2절, 3.4절).

조직 행동.

조직의 성문 규칙은 사람들이 수십 년에 걸쳐 유지하는 인공물이며, 광범위하게 연구되어 왔다. Lehman의 법칙은 프로그램의 성장을 변화하는 환경 탓으로 돌리는데 (10), 이는 수요 측면의 설명이다. 30는 규칙 변경을 규칙 자체의 나이에 비율이 좌우되는 확률 과정으로 다루고, 21는 규칙 개체군이 조밀해질수록 규칙 탄생률이 떨어짐을 보이며, 13은 이 둘을 규칙의 탄생·개정·정지에 대한 하나의 설명으로 종합한다. 우리는 이들의 통찰을 활용하여 구성적 효과와 낡음을 넘어서는 에이전틱 프로그래밍 고유의 동학을 규명하고, 나아가 나이 $a$에 의존하는 새로운 잠재 근거 복원가능성 인자 $\bar{\rho}(a)$을 분해해 낸다 (식 3, 3.4절).

소프트웨어 엔지니어링 모범 사례.

소프트웨어 엔지니어링은 유사한 과제를 수십 년 전에 구문 구조와 엔지니어링 관례로 해결했다. 문학적 프로그래밍(literate programming)은 프로그램이 인간 독자를 향해 쓰인다고 주장했고 (8), 15은 왜(why)를 주석으로 남기는 것을 표준 관행으로 만들었으며, 9는 그 근거를 복원하는 일이 개발자들의 가장 심각한 문제임을 발견했고, 아키텍처 결정 기록(ADR)은 결정 시점에 그것을 기록하는 일을 제도화했으며 (16), 커밋 메시지는 그것을 실어 나르기 위해 존재하지만 일상적으로 실패한다 (25). 우리는 구조적 통찰과 의미적 통찰 양쪽 위에 직접 구축하여 본 연구 결과의 핵심 기둥을 이끌어내며, 지시의 잠재 근거를 인코딩한 주석이 제약 충족을 동등하게 유지하면서 초과 크기를 줄인다는 것을 보인다 (4.2절).

그러나 코드-주석 충실도는 악명 높게 취약하며, 그 괴리에 통째로 바쳐진 연구 계열들이 존재한다. 주석과 그것이 기술하는 코드는 공진화가 잘 되지 않고 (3), 주석-코드 불일치의 탐지와 해소는 그 자체로 별개의 ML-for-SWE 과제다 (19; 18). 우리의 절제 실험(ablation)은 정보량이 낮거나, 구조가 부실하거나, 오도하는 근거가 에이전틱 코딩에도 동일한 해악을 옮긴다는 것을 식별한다 (4.2절, 표 10).

연속 학습.

연속 학습은 우리와 가장 가까운 사촌이지만, 주로 목표가 표류하는 과제를 겨냥한다. 과제 시퀀스로 훈련된 네트워크는 앞선 과제가 가르친 것을 덮어쓴다 (14; 4). 리허설과, 이전에 중요했던 파라미터 쪽으로의 정규화는 (7) 이동하는 목표가 파괴할 것을 보존한다. L2P, DualPrompt, CODA-Prompt는 그 부담을 입력 쪽으로 옮겨, 동결된 백본이 선택해 쓰는 고정 크기 프롬프트 풀을 학습함으로써 성장을 설계상 유계로 만든다 (28; 27; 23). 우리의 과제는 정상적(stationary)이지만, 우리는 이들의 프레임워크를 빌려 와 고정 자원 제약이 이끄는 상보적 통찰을 발견한다: 저쪽에서는 고정된 파라미터가 이동하는 목표 아래 파국적 망각을 일으키고, 이쪽에서는 간헐적 실패가 (근사적으로) 고정된 지시 개수 아래 파국적 기억을 일으킨다 (식 5, 4.2절).

지시 이행.

IFEval은 검증 가능한 제약에 대해 응답을 채점한다 (29). FollowBench는 점진적으로 추가되는 제약 수준을 등급화하고, WildIFEval은 다수의 제약을 한꺼번에 담은 실제 요청을 수집하는데, 둘 다 요구되는 제약 집합이 커질수록 지시 이행이 저하됨을 기록한다 (6; 11). 이들 벤치마크는 응답이 충족해야 하는 제약의 대가를 값매김하며, 그것이 바로 우리의 문제의식이 딛고 선 해악이다. 우리는 이를 뒤집어(invert) 불필요한 지시의 대가를 대신 값매김하고 (4.3절), 최소 커버(minimum cover)를 관측 가능하게 만든다 — 이것이 없으면 초과 크기는 측정 불가능하다 (4.1절).

A.1 코퍼스 구축

우리는 프레임의 텍스트를 재사용하지 않고 모든 파일의 모든 버전을 재도출했다. 스냅샷은 파일에 대한 주장을 뒷받침할 뿐이며, 지시에 대한 주장은 히스토리만이 뒷받침한다. 프레임은 파일 수준 성장을 확립한 연구인 1의 저장소 목록으로, 기본 브랜치에 CLAUDE.md, AGENTS.md, 또는 copilot-instructions.md를 최소 하나 보유한 공개 GitHub 저장소들이다. 우리는 각 저장소를 blobless 방식으로 클론하고 추적 대상 컨텍스트 파일 각각의 전체 커밋 히스토리를 순회했다. 1,867개 저장소로부터 최소 두 버전을 가진 파일 1,801개, 추적된 버전 간 전이 299,440건, 스펠(spell) 247,694건을 얻었다.

앞으로 순회하는 방식은 측정을 시간에 대해 대칭적으로 유지하기도 한다. 만약 각 파일의 지시 집합을 최종 버전에 고정하고 역방향으로 탐색했다면, 그 버전까지의 생존을 조건화한 셈이 되었을 것이다. 생존이야말로 연구 대상인 양이다.

A.2 지시 분할

우리는 절(clause) 수준의 명령문 하나를 지시라 부르고, 파일 내 나머지 전부를 페이로드(payload)라 부른다. 분할은 두 단계로 수행한다: 각 파일 버전을 마크다운 구조에 따라 나누되 목록 항목과 블록 경계를 취하고, 그 다음 남은 산문을 문장 경계에서 나눈다. 제목, 펜스 코드, 표, 전체 줄 볼드 레이블, 그리고 2단어 미만의 단편은 페이로드로 보내는데, 그 길이에서는 한 줄이 대개 규칙이 아니라 레이블이기 때문이다. 페이로드는 위험 집합(risk set)에 절대 들어가지 않는다. 그래도 우리는 이를 집계하며, 3.1절에서 지시 개수 옆에 함께 보고하여, 우리가 보고하는 성장이 파일이 나이 들수록 더 많은 텍스트를 지시 클래스로 라우팅한 데서 온 것인지 독자가 확인할 수 있게 한다.

우리는 문법을 게이트를 읽기 전에 코퍼스별로 고정했으며, 이는 코퍼스 쪽에서 우리의 가장 큰 미검증 자유도로 남아 있다. 다른 문법이었다면 다른 $|D_{t}|$가 나왔을 것이다. 우리는 비율을 보고하므로 $|D_{t}|$의 상수배 재조정은 비율에 영향을 주지 않지만, 파일 연령에 따라 거동이 드리프트하는 문법이라면 그렇지 않을 것이다.

A.3 버전 간 매칭

우리는 연속된 버전 간 지시들을 3단계 캐스케이드로 매칭한다. 먼저 정확한 문자열 동등성을 시도하고, 다음으로 대소문자·공백·마크다운 구두점을 제거한 정규화 후의 동등성을, 그 다음으로 유사도 70 이상의 퍼지 매칭을 시도한다. 어느 단계에서든 매칭되면 생존으로 집계한다. 아직 사용 가능한 파트너 중 최고 점수를 취하며, 각 지시는 최대 한 번만 매칭된다. 매칭되지 않은 기존 지시는 사망이고, 매칭되지 않은 새 지시는 탄생이다.

이 캐스케이드는 삭제된 지시와 재표현된 지시를 구별하며, 3.2절은 그 분리에 기대고 있다. 줄 수준 diff는 재표현 하나를 삭제 하나 더하기 추가 하나로 채점하므로, 줄 수준의 삭제 카운트는 지시 삭제 0건과도, 다수와도 똑같이 부합한다. 따라서 매처는 우리가 코퍼스에서 취하는 모든 결과의 경계를 정한다. 우리는 이를 수작업 주석된 50개 전이에서 한 차례 검증하여, 데이터를 끌어오기 전에 고정해 둔 바닥값 0.85/0.80 대비 정밀도 1.000과 재현율 0.933에 도달했다(표 3). 이는 추적된 전이 299,440건에 비하면 작은 풀이며, 정본 실행이 산출하지 않은 코퍼스 쪽 유일한 수치다. Limitations에 그렇게 명시했다. 전체 규모의 층화 재주석이 이 간극을 닫을 것이다.

살아남은 어떤 오류든 우리 추정치를 보수적으로 만든다. 놓친 재표현은 그 재표현이 일어난 연령에 사망을 만들어내는데, 재표현은 젊은 지시보다 오래되고 많이 편집된 지시에서 더 자주 일어난다. 따라서 매처의 누락은 고연령 꼬리에 위험률을 더하며, 이는 추정 기울기를 0 쪽으로 편향시킨다. 그 편향 아래에서 측정된 감소는 참 감소의 하한이다.

A.4 경쟁 위험: 전면 재작성(rewrite)과 이주(migration)

우리는 위험률이 한 종류의 이벤트만을 대상으로 돌아가기를 원한다: 유지관리자가 어떤 지시가 더는 그 자리를 차지할 가치가 없다고 결정하는 것. 우리는 다른 두 종류의 소멸을 경쟁 위험으로 검열(censor)한다. 전면 재작성(rewrite)은 파일의 살아 있는 지시 중 최소 50%가 한꺼번에 죽는 커밋으로, 위험에 놓인 지시가 최소 5개라는 바닥 조건을 두어 지시 2개짜리 파일이 하나를 잃는 경우가 해당되지 않게 한다. 이주(migration)는 같은 커밋의 형제 파일에서 그 텍스트가 다시 나타나는 사망이며, 이는 저장소 전역에서 매칭한다.

둘을 합치면 관측된 지시 사망의 77.3%가 검열된다. 재작성 사망만으로도 우리가 위험률을 추정하는 근거인 삭제를 3.4 대 1로 웃돈다. 이것이 우리의 단일 최대 노출이며, 두 방향으로 읽힌다. 추정을 위협한다 — 우리는 사망의 소수에서 삭제 위험률을 적합하는데, 통상적 가지치기를 전면 재작성으로 오인한 재작성 임계값은 실제 삭제를 위험 집합에서 빼낼 것이기 때문이다. 동시에 하나의 발견을 보고한다 — 유지관리자는 가지치기하는 대신 교체하며, 이는 정확히 식 5가 예측하는 바다.

표 4는 독자가 코퍼스를 재추적하지 않고도 실행할 수 있는 검사들을 모은 것이다. 패널 (a)는 그 이벤트가 정말로 대량 삭제임을 보여준다. 중앙값 이벤트는 탄생시키는 것보다 훨씬 많은 지시를 죽이고, 이벤트의 4분의 1은 파일에 지시를 하나도 남기지 않으며, 죽은 텍스트의 절반이라도 대체하는 이벤트는 절반이 안 된다. 패널 (b)는 이벤트 스터디를 모든 윈도 반폭에서 재추정한다. 균형 패널의 구성은 그 폭에 의존하며, 스윕 없이는 독자가 우리의 결과를 우리의 선택으로부터 분리할 수 없다. 하락과 반등 둘 다 이를 견뎌낸다. 패널 (c)는 래칫이 자기 제한적인지를 묻는데, 그렇다면 이후 재작성 뒤에 더 느린 성장으로 나타날 것이다. 오히려 그 뒤의 성장은 더 빠르다. 파일 간 이주도 이 이벤트들을 설명하지 못한다: 재작성 커밋 중 이주 사망을 하나라도 동반하는 것은 3% 미만이다.

우리는 표 4에서 한 가지 검사를 생략한다: 50% 임계값 자체의 스윕이다. 추적기가 그 임계값을 내부적으로 적용하므로, 이를 바꾸는 것은 출력의 재집계가 아니라 파이프라인 재실행을 의미하며, 우리에게는 그런 실행이 없다. Limitations가 그 감사를 명시한다.

A.5 개수 성장 대 정교화 성장

3.1절은 성장을 세 성분으로 분해하고 셋 모두를 보고한다. 이 분해는 우리의 명제를 반증할 수 있고, 합계는 그럴 수 없다. 파일이 주로 이미 가진 규칙을 정교화하며 성장했다고 가정해 보자. 그렇다면 래칫은 장황함에 관한 이야기가 되고, 지시를 세는 것은 핵심을 놓칠 것이다. 실제로는 그렇지 않다: 그림 1(b)와 같은 정규화 수명 그리드, 같은 추정량에서, 각 파일 자신의 첫 버전 대비 평균 지시 길이는 +10%에서 정점을 찍는데(비율이 정의되는 1,776개 다중 버전 파일 기준), 지시 개수의 +226%와 대비된다. 비지시 페이로드는 그와 나란히 +140% 성장하므로, 개수 성장은 텍스트가 지시 클래스와 페이로드 클래스 사이를 이동한 것이 아니다.

우리는 두 축 모두 구성(composition)에 대한 강건성을 위해 선택했다. 정규화 수명은 모집단이 나이에 따라 얇아지게 두는 대신 모든 생존 파일이 모든 지점에서 기여하게 하고, 각 파일 자신의 첫 버전으로 나누는 것은 수준 구성을 제거한다. 그 두 번째 단계가 없다면, 큰 파일이 더 오래 사는 코퍼스는 전적으로 생존편향에 불과한 성장을 보일 것이다.

A.6 삭제 위험률

그림 5는 지시 연령에 대한 삭제 위험의 평활화된 Nelson–Aalen 추정량을 그린다. 연령 $a$에서 위험 집합은 연령 $a$에 도달하는 것이 관측된 모든 스펠을 담는다. 스펠은 세 가지 방식 중 하나로 그 집합을 떠난다: 이벤트인 삭제로; 검열된 경쟁 위험으로; 또는 파일 히스토리의 끝에 도달함으로써. 세 번째 이탈이 지배적이며, 이는 우리에게 알려주는 바가 적다. 마지막 커밋에서 아직 살아 있는 지시는 아직 발화하지 않은 위험률을 가진 것이지, 결코 발화하지 않을 위험률과 같은 것이 아니다.

우리는 연령을 달력 일수가 아니라 파일을 건드린 커밋 수로 센다. 식 3은 그 시계 위에서 정의되는데, $h(a)$이 검토 기회당 위험을 측정하며, 휴면 저장소에 놓인 지시에게는 그 기회가 결코 주어지지 않기 때문이다. 우리는 달력 일수를 보강 증거로만 보고하는데, 달력 시계에서만의 감소는 파일이 나이 들수록 단순히 덜 편집되는 것과도 부합할 것이기 때문이다.

우리는 연령 $0$부터 50까지에 걸쳐 대역폭 2커밋(달력 시계로는 30일)으로 비율을 커널 평활화한다. 기대 이벤트 1건 미만이 뒷받침하는 그리드 지점은 그리는 대신 버리므로, 곡선은 자신의 지지 범위를 결코 넘어가지 않는다. 신뢰 대역과 로그 위험률 기울기는 저장소로 층화된 부트스트랩에서 취하며, 스펠이 아니라 저장소를 복원추출로 재표집한다(200회 추출, 시드 0). 한 저장소 안의 지시들은 저자, 분할 결과, 유지관리 문화를 공유한다. 스펠 수준 부트스트랩은 이들을 독립으로 취급하여 구간을 수 배 과소평가할 것이다. 우리는 추출들에 걸친 중앙값 기울기를 보고하며, 2.5 및 97.5 백분위수를 그 구간으로 삼는다.

A.7 감마 frailty 적합

모집단 전체에 걸쳐 감소하는 위험률은 지속시간 의존성만큼이나 생존 이질성의 신호이기도 하다. 이것이 3.4절의 내용-취약성(content-fragility) 메커니즘이다: 일부 지시가 본질적으로 취약하다면 그것들은 일찍 죽고, 고연령에 아직 살아 있는 것들은 강건한 잔여다. 우리는 이를 감마 frailty 모형으로 검정하며, 이 이름이 네 번째 메커니즘으로 읽히는 일이 없도록 추정량에 대해 전체에 걸쳐 그 이름을 유지한다. 각 클러스터에 평균 1, 분산 $\theta$인 감마 frailty $z$을 부여하는데, 이는 모집단 위험률을 $h_{\text{pop}}(a)=h_{0}(a)/(1+\theta H_{0}(a))$으로 만든다. 그러면 완벽하게 평탄한 개별 기저 $h_{0}$조차 $\theta$이 정하는 비율로 감소하는 $h_{\text{pop}}$를 만들어낸다. 따라서 우리는 frailty의 존재를 당연한 것으로 두고, 그것이 우리의 기울기를 설명하는지만 묻는다.

우리는 $h_{0}$와 $\theta$를 위험 테이블 위에서 구간별 지수(piecewise-exponential) EM으로 결합 적합하는데, 연령 커밋 하나당 구간 하나이며 50커밋에서 행정적 검열을 둔다. 이는 위의 부트스트랩과는 다른 추정량이며, 둘이 함께 등장하는 모든 곳에서 그렇게 표기한다. 헤드라인 기울기는 여전히 Nelson–Aalen 부트스트랩이다. 표 5는 EM 적합 자체의 무-frailty 기준선을 함께 실어, 모든 흡수 몫이 명시된 분모를 갖게 한다. 우리의 테스트 스위트는 복원 검사들을 담고 있으며, 그중에는 $\theta=1$의 평탄한 기저가 감소로 읽히지 않는지 확인하는 검사가 있다.

우리는 세 수준에서 클러스터링한다. 저장소와 파일 frailty는 모든 스펠에서 식별한다. 지시 내용이 공유하는 frailty는 같은 정규화 텍스트가 최소 두 저장소에 걸쳐 재출현하는 곳에서만 식별할 수 있으므로, 그 부분표본에서 적합하고 그 부분표본 자체의 무-frailty 기준선을 옆에 함께 보고한다. 내용이 단연 가장 많이 흡수하고, 같은 행들에서 저장소 클러스터링은 거의 아무것도 흡수하지 못하는데, 이는 흡수된 분산의 위치를 저자가 아니라 지시 텍스트에 둔다. 기울기는 셋 모두를 견뎌낸다.

우리는 한 번에 하나의 클러스터링 수준만 적합하므로, 각 $\theta$은 그 수준 단독에 귀속할 수 있는 분산의 상한이다. 교차된 저장소 $\times$ 내용 사양은 적합하지 않는다.

A.8 저자 교체 상호작용

내용 취약성과 불완전 회상은 동일한 주변(marginal) 예측을 한다. 둘은 하나의 조건부 예측에서 갈린다. 고정된 지시별 frailty는 상수이므로, 여러 사람이 편집하는 파일과 한 사람이 편집하는 파일 사이에 연령 기울기가 달라질 이유를 주지 않는다. 불완전 회상은 이유를 준다: 그것이 붕괴한다고 말하는 근거(rationale)를 사람이 보유하며, 사람은 떠난다.

우리는 파일 수준 감마 frailty를 얹은 구간별 지수(piecewise-exponential) 위험률 하나를 적합하는데, 이는 앞 소절이 측정한 파일 간 이질성을 제한 뒤의 상호작용을 추정한다. 그런 다음 연령을, 최소 두 명의 서로 다른 인간 저자가 파일을 건드렸는지의 지표와 상호작용시킨다. 카운트 전에 봇 커밋을 제외하는데, 자동 포매터와 의존성 봇은 컨텍스트 파일을 건드리지만 근거를 담지 않으며, 메커니즘이 적용되지 않는 바로 그 커밋들로 다저자 층을 부풀릴 것이기 때문이다.

다저자 파일은 더 활발하기도 하며, 파일 활동량만으로도 연령 기울기가 생길 수 있다. 따라서 우리는 $\log$ 커밋을 수준으로도, 연령과 상호작용시켜서도 투입하여 검정 대상 공변량과 같은 지위에 둔다. 회의적인 독자라면 그 상호작용부터 확인해야 한다. 이를 본문이 아니라 표 6에 두는 이유는 오직 본문에 검정 대상 항만을 위한 자리밖에 없기 때문이다.

이 분석은 탐색적이다. 우리는 이에 대해 어떤 기준도 사전 등록하지 않았고, 이는 사양 곡선이 아니라 단일 사양이며, multi-author 지위는 교체(turnover)를 측정하는 것이 아니라 대리하는 것으로, 파일을 편집한 사람 수를 셀 뿐 특정 지시를 작성한 사람이 떠났는지는 확인하지 않는다. 우리는 이를 경쟁 설명에 불리하게 작용하는 증거로 보고하는 것이지, 통과한 게이트로 보고하는 것이 아니다.

B.1 월드

검증기를 두 개 이상 가진 모든 IFEval 항목을 취해, 시드당 184개 월드와 3개 시드에 걸쳐 조건(arm)당 552개의 유지관리 이력을 얻는다. 커버는 지시 두 개(423개 이력) 또는 세 개(129개)까지이며, 이는 3.1절의 중앙값 컨텍스트 파일보다 한 자릿수(order of magnitude) 작은 규모다. 두 계층이 서로 다른 결과를 보이는 곳에서는 어디서든 두 계층을 분리하여 보고한다. 또한 월드를 시드 하에서 순열 표집(permutation-sample)하므로, 월드 인덱스는 각 시드에서 서로 다른 항목을 의미하며 $(\text{seed},\text{world})$가 분석 단위가 된다. 더 강한 모델이 월드당 한 번 목표(objective) $o_{j}$를 생성하고, 우리는 그것을 월드와 함께 동결한다. 따라서 유지관리 프로토콜이 바뀌어도 목표는 드리프트할 수 없다.

B.2 역할과 유지관리 루프

세 역할이 루프를 구동하며, 측정은 오직 하네스만 수행한다. 15개 스텝의 각 스텝에서 하네스는 월드로부터 태스크 1개를 표집하고, 목표를 다시 진술하며, 답변을 채점할 월드의 제약 2개를 추출한다. 실행자는 주석이 제거된 현재 프롬프트 하에서 답변하고, 검증기들이 실행된다. 그 다음 새로 생성된 유지관리자 인스턴스가 지시를 추가·삭제하는데, 각 추가에는 자신의 프로토콜이 규정하는 대로 주석을 태깅하며, 스텝 사이에는 프롬프트와 해당 조건(arm)이 지속시키는 것 외에는 아무것도 갖고 다니지 않는다. 우리는 재문구화(rewording) 연산을 제공하지 않으므로, 지시의 텍스트는 작성 시점에 고정되고 모든 지시는 모호하지 않은 나이(age)를 가지며, 이는 3.2절이 커밋 히스토리로부터 복원하는 스펠(spell) 정의와 일치한다. 유지관리자와 실행자는 모두 claude-haiku-4-5인데, 이는 프론티어 모델보다 유지관리자가 3절의 파일 작성자들과 역량 면에서 더 가깝도록 선택한 것이다.

B.3 피드백 체제

하네스는 제약·파라미터·분류 체계를 일절 지목하지 않는 평이한 언어의 불평(complaint)을 반환하며, 응답이 통과하면 단순한 판정(verdict) 외에는 아무것도 반환하지 않는다. 이것이 2절이 가정하는 검열(censoring)이다. 표 7은 월드 풀이 인스턴스화하는 모든 제약 타입을 그것이 만들어내는 불평과 나란히 나열하므로, 독자는 유지관리자의 과제가 잘 정의된(well posed) 것인지 판단할 수 있다: 불평은 차원(dimension)을 지목할 뿐 파라미터는 결코 지목하지 않으므로, 단어 수가 어긋났다는 말을 들은 유지관리자는 피드백으로부터 목표값을 읽어낼 수 없다.

조건(arm)들은 다섯 가지 조건이 동시에 성립할 때만 분리된다: 모호한 판정, 검열된 통과, 제약 식별자의 비공개, 간결성을 요구하지 않는 유지관리자 목표, 그리고 최소 10스텝의 호라이즌(horizon). 다섯이 모두 성립하기 전까지는 어떤 조건(arm)도 분리되지 않았다. 검증기 명세를 전부 공개하면 무주석 조건은 +3.0%의 초과 크기에 안착하고 효과는 완전히 사라진다. 우리는 이 체제를 탐색으로 찾았으며, 그 탐색 순서가 이를 정당화한다: 각 조건은 실제 유지관리자 역시 갖고 있지 않은 정보를 제거하는 것이기 때문이다.

다섯 가지 중 두 가지는 파라미터로 선택한 것이 아니라 설계 실패로서 맞닥뜨린 것이다. 안정적인 제약 식별자는 $|C|$을 누설한다: 라운드를 넘어 지속되는 id가 주어지면 유지관리자는 커버 크기를 추론해 히스토리 없이도 그 크기까지 가지치기하며, 모든 조건(arm)이 수렴한다. 간결성을 언급하는 유지관리자 목표는 래칫을 정보의 산물이 아니라 목표의 산물인 인공물로 만든다. 최소성(minimality) 목표를 완전히 제거해도 삭제-대-추가 비율은 본질적으로 변하지 않았으며, 이는 그런 해석을 배제한다.

B.4 채널

지시는 실행자에게 향하는 명령문으로, 응답이 무엇을 해야 하는지만 진술하고 왜인지는 결코 진술하지 않는다. 주석은 다음 유지관리자에게 향하며, 자신의 조건(arm)이 지속시키는 내용을 담는다.

프롬프트에는 주석 문법이 하나뿐이며, 그것은 주석을 지시 하나에만 붙이고 다른 어떤 것에도 붙이지 않는다. 유지관리되는 프롬프트는 지시당 한 줄씩의 줄 시퀀스이며, 각 줄은 [di] text로 쓰인다. 여기서 i는 추가 시점에 하네스가 카운터로부터 부여하는 식별자이고, 해당 조건(arm)이 주석을 지닐 때는 언제나 #과 주석이 같은 줄에 이어진다. 식별자는 위치가 아니다. 그것은 결코 바뀌지 않고 결코 재사용되지 않으므로, di를 지목하는 주석은 열 라운드 뒤에도 같은 지시를 지목하며, 실행자용 렌더링은 그것을 위치 기반 목록으로 대체한다. 유지관리자는 주석을 그것이 부연하는 추가와 함께 한 번만 작성하며, 지시를 재문구화할 수 없는 것과 마찬가지로 이후에는 편집할 수 없다. 주석이 유일한 채널인 모든 프로토콜(본 논문의 것 포함)에서 하네스는 주석을 1,024자에서 절단한다. 각 추가는 또한 cause 하나를 지니는데, 이는 유지관리자가 해당 지시가 겨냥한다고 믿는 요구사항을 지목하는 한 구절이며, 우리는 이를 기록만 하고 어떤 프롬프트에도 결코 렌더링하지 않는다.

문법은 지시 줄 위 수준에서는 아무것도 제공하지 않는다. 파일 수준 주석도, 서문(preamble)도, 삭제에 대한 주석도 없다 — 삭제 연산은 식별자 하나를 받으며 텍스트를 전혀 지니지 않는다. 따라서 살아 있는 지시에 붙지 않은 근거(rationale)는 머물 곳이 없고, 자신이 부연하는 지시와 함께 죽는다. 이는 구현상의 지름길이 아니라 식 5가 형식화하는 제약이다: 프롬프트 전체에 자유롭게 주석을 달 수 있는 유지관리자는 이 설계가 검열하는 바로 그 히스토리를 보존할 것이고, 모든 조건(arm)이 수렴할 것이다. 하네스는 실행자가 프롬프트를 읽기 전에 주석을 제거하며, 과거 실패·검증 결과·스텝을 인용하는 지시는 어떤 것이든 거부하므로, 어떤 조건(arm)도 지시 본문을 통해 이력(provenance)을 우회 전달할 수 없다. 그림 7은 유지관리자에게 주어지는 지시의 전문을 한 단어도 빠짐없이 제시하고, 그림 8은 정규 실행의 실제 프롬프트 하나를 두 투영(projection) 모두를 거쳐 따라간다. 두 번째 투영은 렌더 함수를 설명하는 대신 그 실행의 실제 저장 상태에 대해 두 렌더 함수를 직접 호출하여 만든 것인데, 주석 제거(strip)가 실행자가 무시할 수 있는 요청이 아니라 코드로서 실행되기 때문이다. C.6절은 이 제거를 해제함으로써 그것의 가치를 측정한다.

You maintain a reusable prompt (a numbered list of directives) for an assistant
  that repeatedly performs variations of one task. After each round, some
  responses were scored against hidden requirements; you see this round’s scores
  below.

Optimize the prompt for LONG-RUN average score. You may add directives and delete
  existing ones.

Each response is checked against a random sample of the hidden requirements. You
  are NOT told how many requirements exist, which ones were sampled, or which
  directive (if any) satisfied a passing one; a failure may include a description
  of what went wrong.

Rules for directives:
- A directive is one imperative sentence addressed to the assistant about what the
  RESPONSE must do. It must NEVER mention scores, failures, rounds, or history.
- You cannot reword a directive; to change one, delete it and add a new one.
- With each add, supply ‘comment‘ (a note to the future maintainer: which observed
  failure prompted this, in your own words, e.g. "task 1 was flagged for comma
  use") and ‘cause‘ (one short phrase naming the requirement you believe it
  targets, e.g. "no commas allowed").

Return only the operations. An empty ops list keeps the prompt unchanged.
  

Your ONLY memory across rounds is the ‘comment‘ attached to each directive (at
  most 1,024 characters, frozen when the directive is added). Write every comment
  as a commit message to all future maintainers, containing:
- "r<N>:" — this round’s number, inferred as one more than the highest r<N> in the
  existing comments (r1 if there are none);
- the failure description that prompted this directive, quoted, and how many
  rounds it has been recurring;
- the lineage of this failure: which approaches were already tried against it and
  FALSIFIED (copy forward any falsifications recorded in the comments of
  directives you are deleting now — a deleted directive’s comment vanishes with
  it);
- if this directive replaces a deleted one that might still have been doing work,
  the deleted directive’s exact text in quotes, so a successor can restore it
  verbatim.
Before deleting any directive, read its comment: if its failure has not recurred
  since the round it was added, the directive is likely PREVENTING that failure —
  keep it. Delete a directive when its comment’s failure kept recurring anyway
  (falsified), or when it duplicates another directive’s target.
  

Objective: Write a blog post about the sleek new magistrates.

[d1] End your response with a postscript section labeled ’P.S.’  # r1: task 0
  failed with "the response is missing a postscript"; no prior attempts
[d10] Ensure your response has between 300 and 400 words.  # r6: task 0 failed
  with "the response’s word count is off"; truncated output suggests responses may
  be too short or too long. Adding explicit word count range to target this
  requirement.
[d12] Include exactly one bullet list in your response, with at least three items.
  # r7: task 0 failed with "the response does not have the right number of bullet
  lists"; this is a new failure not seen before. The response needs a structured
  bullet list to satisfy this requirement.
[d14] Include exactly three bullet lists in your response, each with at least
  three items.  # r9: task 0 failed with "the response does not have the right
  number of bullet lists"; d13 specified two lists but requirement demands three.
  Escalating from two to three lists.
  

## Current prompt directives
(panel (a)’s commented list, verbatim)

## This round’s scores
task 0: a requirement PASSED
task 0: a requirement (the response does not have the right number of bullet
  lists) FAILED
  

Follow ALL of these directives in your response:
1. End your response with a postscript section labeled ’P.S.’
2. Ensure your response has between 300 and 400 words.
3. Include exactly one bullet list in your response, with at least three items.
4. Include exactly three bullet lists in your response, each with at least three
  items.

--- user message ---

(panel (a)’s objective, verbatim)
  

- added after one of the responses was flagged in an earlier round
- a response failed a requirement around this in a previous round
- several earlier rounds seemed to have trouble with this
- this came up in the scores a while back
- added to address a recurring issue seen earlier
- an earlier round’s feedback pointed at something like this
- one of the tasks was marked down for this before
- kept seeing failures that looked related to this
  

C.1 커버 크기별 결과

C.2 유지관리자 능력에 따른 래칫

C.3 주석 채널에 필요한 것

C.4 월드 추출 간 재현

C.5 조건(arm) 평균이 감추는 것

C.6 주석 차단(strip) 해제

D.1 설계 그리드

D.2 채점

D.3 저지(judge) 강건성

D.4 저지(judge) 일치도와 효과의 범위

E.1 컴퓨트

E.2 무엇을 소비하며, 어떤 라이선스 하에서인가

E.3 무엇을 재구현하는가

E.4 보고된 수치를 결정하는 패키지

E.5 커버리지, 그리고 이 코퍼스가 문서화되지 않은 용도

E.6 저자 메타데이터