1986년 항공기 정비 표준(ASD-STE100)이 AI 슬롭을 고치는가 — 직접 테스트

원본은 YouTube 영상이며 URL 미제공 — 자동 자막 전사만으로 완역함(부분 추출). ASR 오인식은 문맥으로 교정했고, 불확실한 표기는 (표기 불확실)로 표시.

들어가며 (Intro)

434페이지짜리 문서였다. 나는 그걸 파헤쳐서 규칙들을 끄집어냈고, 내 모델에게 먹였고, 지금까지 아무도 실제로 해보지 않았던 테스트를 돌렸다. 자, 여기 그 결과가 있다. 하지만 먼저, 이야기부터.

이 이야기의 시작 (How this started)

이 이야기가 곧 이 영상이 존재하는 이유이기도 하니까. 며칠 전, 어떤 포스트가 바이럴을 탔다. Joe Gristle(표기 불확실)이라는 계정이 아주 평범한 말로 이렇게 물었다.

"How do I make AI write technical documentation that doesn't sound like AI?"
(AI가 쓴 티가 안 나는 기술 문서를 AI로 어떻게 쓰게 하죠?)

이 질문이 200만 뷰를 넘겼다. 그러자 Vox(표기 불확실)라는 작가가 이를 받아서 더 날카로운 지적을 했다. 그는 이렇게 말했다.

"Stop telling Claude, no em dashes. Stop banning the word delve."
(Claude한테 "em dash 쓰지 마"라고 그만 말해라. "delve"라는 단어를 금지하는 것도 그만둬라.)

이건 두더지 잡기(whack-a-mole)이고, 그 게임에서 당신은 진다. 왜냐하면 모델은 애초에 그 단어들을 일부러 고른 게 아니기 때문이다. 당신이 모델에게 글쓰기 시스템(writing system)을 준 적이 없는 것이다. 그래서 모델은 인터넷의 평균값으로 기본 설정되고, 인터넷의 평균값이 바로 슬롭(slop)이다. 그가 내놓은 해법은 1946년에 나온 조지 오웰의 명료한 글쓰기 6원칙이었다. 그런데 그다음, 자기소개(bio)에 "chief agent officer"라고 적어둔 Mike Husteller(표기 불확실)라는 사람이 더 나은 답을 인용 트윗으로 달았다. 모델에게 그냥 항상 ASD-STE100 Simplified Technical English를 쓰라고 지시하라는 것. 실제로 출판된 국제 표준이다. 항공기 정비사가 수리 매뉴얼을 잘못 읽는 일이 없도록 만들어진 53개의 규칙과 900단어 사전 — 잘못 읽힌 수리 매뉴얼은 사람을 죽이기 때문이다. 그리고 그 순간 나는 토끼굴로 굴러떨어졌다. 이 전체를 판가름하는 성질이 딱 하나 있으니, 끝까지 이걸 염두에 두시라. 중요한 규칙들은 기계로 검사 가능(machine checkable)하다. 멍청한 스크립트 하나가 검증할 수 있고, 어떤 취향(taste)도 필요 없다.

슬롭이란 무엇인가 (What slop is)

고치기 전에, 병에 대해 정확해져야 한다. "AI 같은 느낌"은 감정이지 정의가 아니다. 그리고 감정은 고칠 수 없다. 그래서 내가 제일 먼저 한 일은 슬롭을 기계적으로 못 박아 보는 것이었다. 그리고 내가 계속 마주친 모든 것은 여섯 가지 습관으로 수렴한다. 당신도 전부 이미 아는 것들이다.

• 하나, 동의어 돌려쓰기(synonym rotation). 텍스트가 같은 대상을 한 문단 안에서 세 가지 이름으로 부른다. the user, the customer, the client. 이 셋이 같은 한 사람인지 끝내 확신할 수 없다.
• 둘, 헤징(hedging). 조동사가 켜켜이 쌓여 결국 아무 일도 일어나지 않는다. "It's important to note that this may potentially help to improve."(이것이 잠재적으로 개선에 도움이 될 수도 있다는 점을 언급하는 것이 중요합니다.) 동사가 다섯 개인데 하는 일은 0이다.
• 셋, 명사로 얼어붙은 동사. "analyze" 대신 "perform an analysis of", "help" 대신 "provides assistance". 문법학자들이 명사화(nominalization)라고 부르는 것이다. 당신이 알아야 할 전부는, 이게 문장을 더 길고 더 약하게 만든다는 사실뿐이다.
• 넷, 마케팅 형용사. Seamless, robust, powerful, cutting edge. 품질을 보여주는 대신 품질을 주장하는 단어들.
• 다섯, 이어 붙인 만연체(run-on sentences). 네 개의 아이디어를 em dash와 세미콜론으로 꿰매 붙인다. 네 개의 문장이어야 할 것들을.
• 여섯, 물렁하고 수다스러운 구동사(phrasal verbs). Spin up, reach out, dive into.

자, 이 목록이 왜 중요한가. 이 여섯 개 하나하나가 전부 구체적이고 이름 붙일 수 있는 동작이다. 그리고 이름 붙일 수 있는 것은, 금지할 수도 있다. 이 목록을 붙잡고 있어라. 곧 규칙 하나하나에 대조해 볼 것이다.

STE란 무엇인가 (What STE is)

그래서 이 항공기 표준이란 뭔가? 나는 당연히 1970년대 후반에 살아보지 않았다. 그러니 이건 내 조사가 들려주는 대로의 이야기다. 그 시절 유럽 항공우주 산업에는 치명적인 문제가 있었다. 정비 매뉴얼은 영어로 쓰였는데, 전 세계에서 그걸 읽는 정비사 대부분은 영어 원어민이 아니었다. 그리고 항공기에서 지시문 하나를 잘못 읽으면 장례식이 된다. 그래서 업계는 영어의 계약 버전을 만들었다. 스타일 가이드가 아니라 명세(specification)다. 첫 발행은 1986년. 현행 버전인 issue 9는 2025년 1월에 나왔고, 공식 사이트에서 무료로 내려받을 수 있다. 전체 문서는 434페이지다. 솔직히 말하면, 나는 앉아서 한 페이지 한 페이지를 다 읽지는 않았다. 파고들어서 중요한 부분들만 캐냈다(mined out). 규칙, 사전, 그리고 그 뒤에 깔린 논리. 시간이 꽤 걸렸지만, 당신은 이 문서를 열어볼 필요가 영영 없을 것이다. 문서는 두 부분으로 되어 있다. 1부는 절차(procedures). 2부가 나를 진짜로 놀라게 한 부분이다. 약 900개의 승인 단어(approved words) 사전인데, 모든 단어가 정확히 하나의 의미와 하나의 문법적 역할만 부여받는다. STE에서 "fall"은 오직 중력에 의해 아래로 움직인다는 뜻이다. 감소한다(decrease)는 뜻으로 쓰는 것은 허용되지 않는다. 영어가 하나의 아이디어에 다섯 개의 단어를 주는 곳에서, STE는 하나만 남기고 목록을 죽인다. 당신에게 주어지는 건 "start"다. begin, commence, initiate, originate는 못 쓴다. 방금 무슨 일이 일어났는지 보라. 동의어 돌려쓰기 — 슬롭 습관 1번 — 이 설계 단계에서 이미 죽었다. 그리고 이 물건이 제 우리를 탈출했음을 말해주는 숫자를 하나 더 찾았다. 오늘날 이 표준을 요청하는 사람의 64%가 항공우주·방위 산업 바깥에 있다.

규칙 대 규칙 (Rule by rule)

이제 슬롭 목록이 규칙 하나하나에 의해 처형되는 걸 보라. 이 매핑이 조사 중 나를 벌떡 일으켜 앉힌 부분이다.

• 동의어 돌려쓰기 — 규칙 1.11이 죽인다. 하나의 사물에 하나의 이름, 더하기 일물일의(one-meaning) 사전.
• 헤징 더미 — 규칙 3.4가 죽인다. 복잡한 동사 구문 금지.
• 얼어붙은 동사 — 규칙 3.7이 죽인다. 행동에는 명사가 아니라 동사를 써라. "Perform an analysis"(분석을 수행하다)는 불법이다. "Analyze"(분석하라)가 법이다.
• 마케팅 형용사 — 그냥 사전에 없다. "Seamless"는 승인 단어가 아니다. 말할 수가 없다.
• 만연체 — 하드캡이 죽인다. 규칙 5.1, 지시문은 최대 20단어. 규칙 6.3, 서술문은 25단어. 그리고 세미콜론은 아예 금지다.
• 구동사 — 규칙 9.3이 죽인다. 패널은 "remove"(제거)하는 것이다. "take it off"(떼어내다)라고 하지 않는다.

그리고 여기 결정타가 있다. STE는 애초에 AI를 위해 설계된 것이 아니다. 40년 전, 스트레스 상태의 인간 독자를 위해 모호함(ambiguity)을 제거하려고 설계됐다. AI 슬롭이란 그저 자세만 좋은 모호함이다. 항공우주 산업은 40년에 걸쳐 치료제를 만들어냈다 — 단지 다른 환자를 위해서였을 뿐.

적용 전후 (Before and after)

장난감 예제 말고, 진짜를 읽어드리겠다. 같은 모델, 같은 작업. 캐싱 라이브러리 README의 도입부를 써라. 먼저 글쓰기 시스템 없이 기본값으로 뽑은 것.

"Traditionally, caches miss constantly in LLM workloads because users rarely phrase the same question identically."
(전통적으로, LLM 워크로드에서 캐시는 끊임없이 미스가 난다. 사용자가 같은 질문을 똑같이 표현하는 일이 드물기 때문이다.)

이건 em dash가 날아드는, 한 호흡짜리 긴 문장이고, 끝은 이렇게 닫힌다.

"designed to slot into your existing stack with minimal friction and no lock-in."
(최소한의 마찰과 락인 없이 기존 스택에 끼워 넣을 수 있도록 설계되었다.)

트렌치코트를 입은 마케팅 문구 네 개. 이제 같은 모델에 표준을 로드한 버전.

"A normal cache matches requests by exact text. A small change in wording then causes a cache miss. FluxCache compares the meaning of a new prompt with the prompts already in the cache."
(보통의 캐시는 요청을 정확한 텍스트로 매칭한다. 그래서 표현이 조금만 달라져도 캐시 미스가 난다. FluxCache는 새 프롬프트의 의미를 캐시에 이미 있는 프롬프트들과 비교한다.)

(FluxCache는 표기 불확실.) 짧은 문장, 능동태, 문장당 아이디어 하나, 해독할 것이 전혀 없다. 그리고 내가 가장 좋아한 결과는 에러 메시지였다. 기본 버전은 헤징하고 패딩한다.

"You have exceeded the limit. This ensures fair access for all users."
(한도를 초과하셨습니다. 이는 모든 사용자의 공정한 접근을 보장하기 위함입니다.)

STE 버전은 같은 내용을 41% 더 적은 단어로 말했고, 내 검사기에서 완벽한 0점을 받았다. 그것이 삭제한 모든 것은 슬롭이었다. 그것이 삭제한 것 중 정보는 하나도 없었다. 잘라낸 것과 잃은 것 사이의 간격 — 그게 이 게임의 전부다.

인간 대상 증거 (The human evidence)

자, 통제 영어(controlled English)가 인간 독자에게 실제로 효과가 있는가, 아니면 그냥 내가 우연히 좋아하는 미학인가? 나는 연구들을 파헤쳤고, 진짜 증거가 있다. 증거를 약화시키는 부분까지 포함해서 있는 그대로 전달하겠다. 내가 찾은 가장 강력한 연구는 1996년 Chervak, Drury & Ouellette(표기 불확실)의 것이다. 이들은 항공기 정비 기술자 175명에게 실제 정비 작업카드(workcards)를 주었다. 일부는 일반 영어로, 일부는 단순화 영어로. 이해도가 76%에서 86%로 올랐다. 그리고 비원어민 — 이 표준이 바로 그들을 위해 만들어진 사람들 — 의 경우 69에서 87로 올랐다. 이 말을 잘 들어보라. 제약이 고전하던 독자들을 원어민 수준까지 끌어올린 것이다. Microsoft Research는 2007년에 더 큰 연구를 돌렸다. 520개 문장을 중국어, 프랑스어, 네덜란드어, 아랍어로 번역했다. 통제 버전이 모든 언어에서 일반 버전을 이겼고, 그것이 운일 확률은 1000분의 1 미만이다. 그리고 그들의 데이터에서 단일 규칙으로 가장 효과적이었던 것은 화려하고 격식 차린 표현을 잘라내는 것 — 거의 문자 그대로 안티슬롭(anti-slop)의 정의다. 이제 정직해질 차례. 그 번역 개선 효과는 실재했지만 작았다. 4점 척도에서 0.1점대(tenths of a point, 표기 불확실) 수준. Airbus 연구(추정)는 과도한 단순화가 오히려 역효과를 내서 독자를 느리게 만들 수 있다는 것도 발견했다. 짧다고 항상 명확한 건 아니다. 그리고 여기 있는 모든 연구는 이해(understanding)를 측정한 것이지 기억(memory)이 아니다. STE 텍스트가 더 잘 기억된다는 걸 보인 사람은 아무도 없다. 더 잘 이해된다는 것만 보였다. 그러니 명료함을 위해 써라. 마법까지 기대하지는 마라.

실험 (The test)

그런데 방금 말한 모든 것에는 구멍이 있다. 저 증거 전부는 항공기 매뉴얼과 인간 필자에 관한 것이다. 이 표준을 AI 출력물에 테스트해 본 사람은 아무도 없었다. 그 바이럴 주장은 유추에 의한 추측이었다. 그래서 내가 직접 돌렸다. 셋업을 평이하게 설명하면: 개발자가 실제로 하는 여섯 가지 글쓰기 작업 — README, 풀 리퀘스트 설명, API 문서, 에러 메시지, 시작 가이드(getting-started guide), 그리고 지원 중단 공지(deprecation notice). 각각을 네 가지 방식으로 생성했다. 아무것도 없는 베이스라인, 지금 다들 쓰고 있는 금지 단어 목록(banned-words list), 오웰의 6원칙, 그리고 내 STE 스킬. 그다음 린터(linter)를 하나 짰다. 기계적인 것들을 세는 작은 스크립트다. 문장당 단어 수, 세미콜론, 수동태, 구동사, 마케팅 형용사. 점수는 100단어당 위반 수이고, 낮을수록 깨끗하다.

Claude에서의 결과: 베이스라인 4.36. 금지 단어 목록 4.21 — 3% 개선이다. 3. 오웰의 규칙 2.48, 43% 감소. ASD Simplified Technical English 1.12, 74% 감소. 베이스라인 슬롭의 3분의 1 이하다. 그리고 그 데이터에 이 실험 전체에서 가장 뼈아픈 숫자가 묻혀 있다. 금지 단어 목록은 em dash를 실제로 죽였다. 6개에서 1개로 — 당신이 시킨 게 바로 그거니까. 그런데 전체 슬롭은 거의 움직이지 않았다. em dash를 금지했더니, em dash 없는 슬롭 문단을 얻은 것이다. 그 데이터 포인트 하나에 이 실수 전체가 들어 있다.

하지만 모델 하나의 결과는 결과가 아니다. 그래서 전체를 GPT-5.5에서 다시 돌렸다. 여기가 정직한 부분이다. STE는 여전히 슬롭을 절반으로 잘랐다. 마이너스 50%. 그러니 핵심 발견은 유지된다. 그런데 GPT에서는 금지 목록이 실제로 먹혔다. 마이너스 40%. 그리고 오웰이 거기서는 STE와 동률이었다. 그러니까 그 잔인한 3%라는 숫자는 Claude의 별난 버릇(Claude quirk)이었지 자연법칙이 아니었다. 두 모델은 슬롭을 흘리는 방식조차 다르다. Claude의 슬롭은 화려하다: em dash, seamless, 긴 만연체. 반면 GPT의 슬롭은 조용하다: 그저 너무 길고 너무 수동태인 깔끔한 문장들. 같은 병, 다른 증상. 두 모델 모두에서 살아남는 발견은 더 좁고 더 진실하다. 모델에게 진짜 글쓰기 시스템을 주면, 슬롭이 절반 이상 떨어진다. 매번, 내가 시도한 모든 모델에서. STE는 최고이거나 최고 동률이었다. 단어를 하나씩 금지하는 것은 옳은 아이디어의 가장 신뢰할 수 없는 버전일 뿐이다.

중요한 주의 사항 하나. 내 린터는 표준 전체가 아니다. STE를 유지관리하는 사람들은 어떤 소프트웨어도 완전한 준수(full compliance)를 인증할 수 없다고 분명히 말한다. 일부 규칙은 문장이 말이 되는지 인간이 판단해야 한다. 그리고 그들이 실제로 옳다. 하지만 그 판단 규칙들은 슬롭 규칙이 아니다. 슬롭은 기계적인 부분이다. 그리고 기계적인 부분은 스크립트로 100% 검사 가능하다. 이 아이디어는 새것도 아니다. 내가 찾은 바로는, Boeing은 대략 1990년부터 350개 규칙 파서를 갖춘 simplified English 검사기를 출하해 왔다. 기계 검사 글쓰기는 이미 해결된, 지루한, 실전 검증된 분야다. 우리는 그걸 새 문제에 겨눴을 뿐이다.

실제 사용법 (How I use it)

그럼 나는 이걸 실제로 어떻게 쓰나? 434페이지를 모델에 붙여넣는 방식은 아니다. 이 표준은 저작권이 있고, 사전 900단어는 아무 소득 없이 컨텍스트만 태울 것이다. 증류(distill)하는 것이다. 나는 두 가지 모드를 가진 작은 스킬 파일을 만들었다. Strict 모드는 절차와 에러 메시지용이다. 잘못 읽는 것에 비용이 따르는 모든 곳. 여기엔 전체 규칙과 하드 길이 제한이 들어간다. STE-flavored 모드는 일반 산문용이다. 문장 규율, 문단 규율, 구동사 금지 습관은 유지하되 사전 봉쇄(dictionary lockdown)는 버린다. 블로그 글에 필요한 건 표현의 폭이지 인격 이식이 아니니까. 그리고 어떤 똑똑한 사람들은 그것조차 과하다고 생각한다. 한 엔지니어는 스레드에 이렇게 답했다.

"ASD-STE100 is a bit too much. I wrote a tiny Orwell rule set instead. 90% of the benefit."
(ASD-STE100은 좀 과하다. 나는 대신 아주 작은 오웰 규칙 세트를 썼다. 이득의 90%는 나온다.)

그리고 그 말은 틀리지 않았다. 그게 진짜 교훈이다. 표준은 선택지 중 하나다. 짧고 검사 가능한 규칙 세트 — 그게 제품이다. 그리고 이 제품이 사실 caveman([추정]: 이 채널/커뮤니티의 간결 통신 룰셋)이다. 이미 두어 달 전에 구현되었고 사람들이 채택해서 쓰고 있다. 하지만 이 주의 사항은 새겨두라: STE는 슬롭의 형식(form)을 고치지, 실질(substance)을 고치지 않는다. 린터는 공허한 문단을 깨끗하고, 자신감 있고, 구두점 잘 찍힌 공허한 문단으로 바꿀 수 있다. 그것을 참으로 만들 수는 없다. 슬롭은 한 벌의 코트를 걸친 두 개의 문제다: 나쁜 글쓰기, 그리고 할 말이 없음. 이건 첫 번째만 고친다.

평결 (The verdict)

그래서 평결. 1986년 항공기 정비 표준이 AI 슬롭의 형식을 치료하는가? 그렇다. 내가 테스트한 그 무엇보다 잘하며, 그 이유는 우연이 아니다. 슬롭은 모호함이고, STE는 모호함을 정조준한 40년의 엔지니어링이다. 하지만 이것이 당신의 글을 좋게 만들어주지는 않는다. 슬롭이 아니게(unsloppy) 만들어줄 뿐이다. 그리고 목소리(voice)가 필요한 것에는 절대 가까이 가져가지 마라. 마케팅 카피를 STE에 돌리는 것은 시에 토크 렌치 규격을 들이대는 짓이다. 보이지 않는 명료함이 일의 전부인 곳에만 써라. 문서, 풀 리퀘스트, 에러 메시지, 에이전트 출력 — 그리고 그 외에는 어디에도 쓰지 마라. 그리고 솔직히, 표준 자체가 교훈도 아니다. 교훈은 그 스레드가 지적했고 내 숫자가 뒷받침하는 것이다. delve를 하나씩, 영원히 금지하는 것으로는 AI 글쓰기를 고치지 못한다. 블랙리스트 대신 모델이 스스로를 대조해 검사할 수 있는 시스템을 주는 것으로 고친다. 모델은 블랙리스트를 언제나 우회(route around)할 것이다. 오웰은 시스템이다. STE는 더 엄격하고 역시 테스트 가능한 시스템이다. 10줄짜리 오웰 설정(10-line Orwell config)은 더 작은 시스템이다. 하나를 골라라, 출력물이 통과해야 하는 테스트로 만들어라, 그리고 두더지 잡기를 그만둬라. 필자를 제약하면 독자가 자유로워진다. 항공우주 산업은 우리 대부분이 태어나기 전에 그걸 알아냈다. 스킬, 린터, 그리고 이 영상의 모든 숫자는 아래에 링크되어 있다. 이건 이 채널의 첫 번째 영상이기도 하다. 이런 종류의 테스트를 더 보고 싶다면, 뭘 해야 할지 아실 것이다. 다음 영상에서 만나자.