KEPLER · ESSAY & EVIDENCE
절대 거절하지 않는 컴파일러
무엇을 만들지는 정했어도, 무엇이면 성공인지는 빠뜨릴 수 있다. AI에게 일을 맡길 때 구별해야 할 두 가지다.
신뢰도 B. 역사 인용과 연구 수치는 대체로 맞는다. 학습 효과의 인과관계와 아동의 언어 경험·문맥창 비교에는 한계가 있다.
읽기 전에
유창한 답도 의도를 놓칠 수 있다
지시에서 빠진 조건은 문법 오류가 아니다. 문장이 자연스럽거나 코드가 실행된다는 이유만으로, 요청자가 원하는 결과까지 얻었다고 판단할 수 없다.
실행의 조건과 성공의 조건을 구별한다
실행 검증은 프로그램이 정해진 규칙과 테스트를 통과하는지 확인한다. 의도 검증은 그 규칙과 테스트가 실제 업무의 목적을 표현하는지 확인한다. 성공 기준이 빠져 있으면 테스트가 모두 통과해도 잘못된 일을 할 수 있다.
Dijkstra도 EWD667에서 형식 언어의 오류 검사가 발전해도 기계는 무의미한 지시를 수행할 수 있다고 지적했다. 컴파일러의 엄격함은 작업 목적을 이해한다는 뜻이 아니다.
저자의 제안과 월별 집계 예시는 Executive Summary에 있다. 인용·통계의 적용 범위는 팩트체크에서 구별한다.
Executive Summary
초안이 쉬워져도 목적을 정하는 일은 남는다
Hammond는 AI가 그럴듯한 초안을 만들어도 작업의 목적까지 대신 결정하지는 못한다고 주장한다. 맥락 파일과 누적된 규칙만으로 매번 다른 의도를 전달하기 어렵다는 경험에서 다음 제안을 내놓는다.
- 요청하기 전에 전달할 결론을 정한다.
- 원하는 결과의 예시를 준다.
- 한 개념에는 같은 이름을 쓴다.
- 아직 결정하지 못한 부분을 밝힌다.
관리 경험이 AI 지시에 유리하다는 설명과 지시문 작성이 사고 훈련을 대신할 수 있다는 견해는 저자의 해석이다. 이 글이 그 인과관계를 입증한 것은 아니다.
제목의 “아니라고 말하지 않는다”는 비유다. 모델이 거절하거나 질문할 수 없다는 기술적 사실로 읽으면 틀린다. Anthropic의 공식 문서도 도구로 부족한 정보를 찾는 방식과 행동을 제한하는 지시를 설명한다.
월별 집계에서는 시간대도 성공 기준이다
월별 주문 집계를 가정하면 두 검사의 차이가 드러난다. 컴파일러가 받아들이는 코드라도 업무에서 쓰는 달의 경계를 잘못 잡을 수 있다.
| 컴파일러·테스트가 검사하는 것 | 작업 책임자가 정해야 하는 것 |
|---|---|
| 컴파일러는 문법·타입과 같은 언어 규칙을 검사한다. | 집계 기간과 시간대, 주문의 포함 조건을 정한다. |
| 테스트는 주어진 입력에서 기대한 출력이 나오는지 확인한다. | 그 기대 출력이 실제 정산 원칙과 맞는지 판단한다. |
한국 시각과 UTC는 월의 경계가 다르다. 어느 시간대를 쓸지 정한 뒤 경계 시각을 테스트해야 정산 기준을 검사할 수 있다. 월 경계 테스트가 통과해도 환불 처리까지 올바르다는 증거는 아니다.
결과로 확인할 수 있는 지시문
아래 양식은 Anthropic의 명확한 지시·맥락·예시 권고를 월별 집계에 적용한 제안이다. 합격 조건과 판단 권한을 드러내는 항목을 더했다.
- 목표
- 2026년 10월의 유효 주문 매출을 계산해 월말 정산용 표를 만든다.
- 독자와 맥락
- 재무 담당자가 원장과 대조한다. 월 경계는 Asia/Seoul로 계산한다.
- 관찰 가능한 합격 조건
- 포함된 주문 금액의 합계가 총계와 일치한다. 제외한 주문의 건수와 이유를 제시한다.
- 예시와 반례
- UTC 2026-09-30 15:30은 한국 시각으로 2026-10-01 00:30이다. 이 주문을 10월에 포함한다. UTC 날짜만 보고 9월로 분류하면 실패다.
- 모르는 점
- 환불을 발생한 달에 차감할지, 원주문의 달에 반영할지는 아직 정하지 않았다.
- 추론을 허용할 결정과 질문할 결정
- 열 이름과 표시 형식은 작업자가 결정한다. 근거 문서에도 없는 환불 귀속월처럼 합계가 달라지는 기준은 질문한다.
이 양식의 효과는 실제 산출물로 판정해야 한다. 문장을 상세히 썼다는 사실만으로 작업의 성공이나 학습 효과가 입증되지는 않는다.
근거와 한계
팩트체크
인용과 수치는 대체로 정확하다. 문맥창 비교와 글쓰기의 교육 효과에 관한 결론은 근거보다 강하다.
B는 근거의 상당 부분이 확인되지만 주요 결론에 범위 보정이 필요한 글이라는 뜻이다.
판정: 사실 = 수치·인용이 출처와 일치한다. 부분사실 = 조건이나 적용 범위를 보정해야 한다. 불확실 = 독립 검증이나 인과 근거가 부족하다. 거짓 = 명시한 조건에서 반증된다. 표현 보정은 비유를 기술 사실로 읽을 때 필요한 한정이다. 권고·철학적 해석은 사실 판정과 구별한다. 변동하는 제품 사양의 기준일은 2026-10-24다.
통계는 영국 학부생 표본에 한정된다
HEPI 보고서의 94%는 맞는 수치다. Savanta가 2025년 12월 영국 전일제 학부생 1,054명에게 물었다. 2026-03-12에 보고서를 발행했다. 과제와 관련해 개념 설명이나 아이디어 정리의 도움을 받는 행위도 포함한다. 생성문을 과제에 그대로 넣었다는 응답은 12%다. 세계 학생 전체나 부정행위 비율로 확대할 수 없다.
음성 입력의 2.93배는 스마트폰 전사 속도다
Ruan 연구진의 2018년 실험은 iPhone 6 Plus에서 짧은 문장을 옮겨 적는 과제였다. 영어 입력 속도는 음성 153 WPM, 터치 키보드 52 WPM이었다. 이상적인 실험실 조건에서 얻은 결과다. 머릿속 생각을 조직해 프롬프트를 만드는 속도나 데스크톱 키보드 대비 생산성은 이 수치로 알 수 없다.
직접 프롬프트 실험에서는 품질 우열이 정해지지 않았다
2026-07-21 CUI 논문은 40명이 글과 이미지를 만드는 과제를 다뤘다. 첫 프롬프트 작성 시간은 타이핑 129.78초, 음성 86.12초였다. 첫 프롬프트 길이는 유의한 차이가 없었다. 음성 조건에서는 후속 프롬프트가 더 길고 입력 횟수가 많았다. 주관적 결과 품질 차이가 유의하지 않았다는 사실은 두 방식의 동등성을 증명하지 않는다. 연구진도 이 한계를 명시했다.
백만 토큰과 아동의 누적 언어 경험은 다른 양이다
BabyLM 논문은 13세까지의 언어 노출을 1억 단어 미만으로 소개한다. 비교 상대는 모델의 사전학습 자료량이다. Anthropic은 문맥창을 응답을 만들 때 참조하는 작업 기억으로 정의한다. 평생 누적 입력을 한 번의 문맥창과 나눠 얻은 배율은 공유 이해의 격차를 측정하지 못한다. 긴 문맥에서 정확도와 회수율이 떨어질 수 있다는 별도 경고는 공식 문서와 일치한다.
Warstadt 외 · BabyLM · 2023 · 1~2쪽 · Anthropic · Context windows
100만 토큰 근사치는 현행 대표 사양과 맞는다
2026-10-24 공식 사양에서 Claude의 대표 모델은 100만 토큰 문맥창을 제공한다. GPT-6 Astra는 1,050,000토큰이다. Gemini 4 Argon은 입력·추론·출력을 합쳐 1,048,576토큰을 쓴다. 공급사마다 입력과 출력의 별도 제한은 다르다. 이 정도 크기의 문맥창이 존재한다는 사실과 그 안의 정보를 얼마나 잘 활용하는지는 별개다.
Anthropic · Context windows · OpenAI · GPT-6 Astra 사양 · Google · Gemini 4 Argon · 2026-10-16 갱신
거절하지 않는 컴파일러는 비유로 읽어야 한다
원문도 모델이 명확화 질문을 할 수 있다고 인정한다. 제목은 모호함이 오류로 드러나지 않고 그럴듯한 결과가 되는 위험을 강조한 비유다. OpenAI는 안전상 거절을 API의 별도 응답으로 처리한다. 추론 모델의 명확화 질문도 공식 문서에 명시한다. 이런 기능이 사용자의 숨은 전제를 모두 찾아 준다는 보장은 없다.
OpenAI · Structured model outputs · Refusals · OpenAI · Reasoning best practices · 모호한 과제
공유 맥락은 직접 쓴 지시문보다 넓다
도구를 연결한 모델은 웹이나 파일에서 정보를 가져올 수 있다. 이미지·오디오·영상도 입력이 될 수 있다. 사용자가 이번 지시문에 직접 적지 않은 정보까지 활용하는 경로가 존재한다. 실제 제약은 모델에 전달되지도 않고 접근할 수도 없는 정보다. Clark와 Brennan의 공통 기반 이론과 Polanyi의 암묵지 논의만으로 이 기술적 접근 경로를 배제할 수는 없다.
OpenAI · Using tools · Google · Gemini 업데이트 · 2024-05-14 · Clark·Brennan · 1991 · 127~129쪽 · University of Chicago Press · The Tacit Dimension
오래된 파일의 위험과 검증 불가능은 다르다
정적 파일에 낡은 사실이 남는 위험은 있다. 파일 내용과 실제 저장소를 비교하는 도구가 있으면 불일치를 찾을 수 있다. Anthropic의 지침도 도구로 누락 정보를 찾는 방법을 다룬다. 규칙 파일만으로 의도가 전달됐다고 볼 수는 없지만, 파일의 한계를 언제나 인간의 새 설명으로만 해결해야 한다는 결론도 나오지 않는다.
관리자의 우위는 수업 사례에서 나온 해석이다
Mollick은 2026-01-27에 Executive MBA 수강생이 4일 동안 AI로 창업 시제품을 만든 수업을 소개했다. 관리 경험이 도움이 됐다는 해석은 그 기록에 있다. 관리자와 비관리자를 같은 조건에서 비교한 실험은 아니다. 직업 경력이 AI 활용 능력을 얼마나 높이는지, 엔지니어가 다른 집단보다 유리한지는 이 사례로 추정할 수 없다.
브리프가 초안의 사고 훈련을 대체하는지는 열려 있다
Chiang의 운동 비유와 Mollick의 직접 초안 쓰기는 각각 논평과 개인 작업 방식이다. Mollick은 조사에 AI의 도움을 받는 예외도 적었다. Cruz의 구술시험도 선행 읽기와 에세이가 있는 수업에서 이뤄졌다. 미네소타대 교육자들의 반론은 이 결합을 지적한다. 이런 사례만으로 글쓰기, 브리프 작성, 구술 중 무엇이 사고력을 더 키우는지 분리할 수 없다.
Ted Chiang · The New Yorker · 2024-08-31 · Ethan Mollick · 2025-07-07 · Daniel Emery·Jessa Wood · University of Minnesota
회사 정책과 프롬프트 권고의 인용은 맞다
Clay는 2026-08-19 정책 글에서 AI 초안 작성을 허용하면서 문장의 책임을 작성자에게 뒀다. 긴 문서를 읽는 사람의 시간도 비용으로 다뤘다. Anthropic은 목표를 명확히 쓰고 예시를 제시하라고 권한다. 정책의 존재와 공급사의 권고는 확인되는 사실이다. 특정 작성법이 모든 과제에서 더 낫다는 비교 실험은 아니다.
Sophie Alpert · Clay · 2026-08-19 · Anthropic · Prompting best practices
지휘관 의도는 목적과 최종 상태를 전달하는 원칙이다
DINFOS의 Army 항목은 2019년 ADP 6-0을 근거로 목적과 원하는 최종 상태를 명확히 전달하라고 설명한다. 계획과 달라져도 부하가 판단할 기준을 남긴다는 취지다. 이를 AI 작업에 적용하는 것은 유용할 수 있는 비유다. 군 교리가 AI 프롬프트의 효과를 입증한 것은 아니다.
역사 인용은 정확하지만 시대 전체의 법칙은 아니다
1954년 FORTRAN 보고서의 낙관적 전망과 Backus의 1978년 반성은 원문에 있다. 1981년 The Last One 소개의 전망도 실재한다. Hopper의 1980년 구술사와 Dijkstra의 1975·1978년 기록도 인용 취지와 맞는다. 다만 몇 사례로 모든 추상화 단계가 같은 약속을 했다고 일반화할 수는 없다. Hopper의 1986년 발언은 Yale의 2015년 재인용이라는 출처 층위가 남는다.
IBM · FORTRAN 예비 보고서 · 1954 · 2쪽 · John Backus · 1978 · PDF 5쪽 · David Tebbutt · Personal Computer World · 1981-02 · Grace Hopper·Angeline Pantages · 구술사 · 1980 · 11쪽 · Dijkstra · EWD498 · 1975 · Dijkstra · EWD667 · 1978 · Yale News · 2015-12-09
고전과 게시물은 비유의 출처를 뒷받침한다
Pascal의 편지는 1656-12-04의 제16편에 해당한다. Karpathy의 게시 시각은 2023-01-24 UTC다. 『파이드로스』에서 글과 그림의 침묵을 비교하는 대목도 존재한다. 이 기록들은 발언의 귀속을 뒷받침한다. 글쓰기의 교육 효과나 모델의 한계를 측정하지는 않는다.
Pascal · Provincial Letters · 제16편 · 1656-12-04 · Andrej Karpathy · X · 2023-01-24 UTC · Plato · Phaedrus · Benjamin Jowett 번역
Cruz의 NYT 기고문은 제목·저자·2026-09-29 발행일과 앞부분이 확인된다. 45분 구술시험은 대학 교육자들의 반론에도 기록돼 있다. 수강생 ‘절반 이상’이라는 수치는 독립 확인 범위 밖에 있다. Joe Cruz · The New York Times · 2026-09-29
원문
The Compiler That Never Says No — Kepler에서 읽기
Eddie Hammond · Kepler · 2026-10-06
원본 링크·인용
핵심 근거를 직접 읽으려면
- Dijkstra — On the foolishness of “natural language programming” (1978)
- IBM — FORTRAN 예비 보고서 (1954)
- John Backus — The History of FORTRAN I, II, and III (1978)
- Anthropic — Prompting best practices
- Anthropic — Context windows
- Warstadt 외 — BabyLM Challenge (2023)
- Stephenson·Armstrong — Student Generative AI Survey 2026
- Ruan 외 — 스마트폰의 음성·터치키보드 전사 실험 (2018)
- Rathore 외 — 생성형 AI 과제에서 음성·타이핑 비교 (2026)
- Sophie Alpert — Why Clay Has an AI Writing Policy (2026)
각 판정 아래에는 해당 근거와 확인 범위를 함께 표시했다. 공급사의 제품 문서는 변경될 수 있다.
기타
용어와 범위
- 브리프
- 목표·맥락·제약·성공 기준을 전달하는 짧은 작업 지시문.
- 문맥창
- 응답을 생성할 때 한꺼번에 참조할 수 있는 입력과 출력의 범위. 모델이 사전학습에서 읽은 자료의 총량과 다르다.
- 통계적 비유의
- 설정한 검정에서 차이를 뒷받침할 충분한 증거를 얻지 못했다는 뜻. 두 조건이 같다는 증명은 아니다.
이 페이지는 칼럼의 요약, 근거 검토와 실무 적용안을 담았다. 전문 번역은 포함하지 않는다.