LLM 능력 이해의 간극은 두 집단이 아니라 깔때기다

Andrej Karpathy @karpathy · X 장문 게시물 · 2026-10-11 19:12 UTC 수정 · 원문

LLM 능력에 대한 공통 이해에 생긴 이 간극이 넓어지고 있어서, 4월에 올린 이 트윗을 먼지 털어 다시 꺼낸다. 이제는 “서로 말이 엇갈리는 두 집단의 사람들”이라기보다 가파른 깔때기에 가깝다.

• 냅킨 계산으로 대략 60억 명(인구의 약 75%)은 LLM을 거의 접해 보지도 못했다.
• 약 10억~20억 명(약 20%)은 ChatGPT 같은 무료 등급 제품을 가볍게, 가끔 쓰는 사용자다. 이 집단이 보는 건 어설픈 챗봇이고, 이들은 그것을 더 나은 Google 검색이나 글쓰기 보조 도구, 아니면 기타 등등쯤으로 여긴다. 어쩌면 에이전트가 비행기 표 예약을 시도해 줄지도 모른다. 기술 업계 밖에 있는 내 친구 중에는 그게 자기한테는 별 쓸모가 없다고 (내 보기엔 일리 있게) 말하는 이들이 있다. 수학·코드 밖의 많은 전문가조차 이 층에 있다. 예를 들어 임원이나 그 밖의 많은 직무에 있는 사람들은 많은 시간을 다른 사람과 이야기하며 보내기 때문에, 무슨 일이 벌어지는지 머리로는 이해해도 그건 여전히 전해 들은 것이고 조금 추상적이다.
• 이제 수학·코드에서 프런티어급 LLM을 전문적으로 쓰는 경우에 이른다. 대략 2,000만 명(0.2%)은 예전엔 자기들이 몇 주/몇 달은 걸려야 했던 크고 복잡한 프로젝트를 이제 에이전트가 프롬프트 하나로 끝낼 수 있다는 걸 직접 본다. 앱 만들기, 앱 베끼기, 앱 번역하기, 바이너리에서 앱 디컴파일하기... 이 모든 일이 아주 빠르게, 그리고 최근에 벌어졌다 — 1년이 채 안 된 시점까지만 해도 나는 외워 둔 컴퓨터 코드 명령어를 코드 편집기에 한 글자씩 입력하고, 이따금 Tab을 눌러 코드 한 토막을 자동 완성하며 손으로 직접 코드를 쓰고 있었다.
• 그리고 마지막으로, 프런티어급 시스템에 내부에서 접근할 수 있는 약 5,000명(약 0.00006%)에 이른다. 바깥세상은 그 프리뷰를 봤다. 수천 개의 에이전트가 떼를 지어 몇 주에 걸쳐 초대형 소프트웨어 프로젝트에서 협업하는 모습이다: 제로데이를 찍어 내고, 기계의 속도로 사이버 공격과 방어를 벌이고, 새로운 과학을 발견하고, 수학의 최전선을 앞으로 민다. 업계 최고 전문가들이 해도 몇 년은 걸렸을 일들이다. 그사이 사람의 검토와 이해는 뒤처지기 시작했다. 예를 들어 사람들은 여러 달 전에 있었던 OpenAI-HF 사건의 “고고학”에 아직도 매달려 있다. 수학자들은 최전선 수학을 다룬 그 원고 722편을 한동안 붙잡고 들여다보게 될지도 모른다.

깔때기를 좌우하는 것은 여러 요인의 조합이다:

1. 효과는 야심, 문제 크기, 시간 지평에 비례해 커진다. 한 문단짜리 답으로 끝나는 질문은 시스템에 거의 부하를 주지 않는다. 정말로 마음 쓰는 크고 어려운 문제가 저수지처럼 고여 있어야 한다. 깔때기의 소비자 / 전문가 차원은 이 측면이 좌우한다.
2. 시스템의 들쭉날쭉함(이에 대해서는 따로 많이 썼다). 능력은 디지털이고, 검증 가능하고, 경제적 가치가 큰 분야에서 정점을 찍는다. 이는 LLM 능력이 수익 잠재력을 보고 선별한 환경 혼합 위에서 검증 가능한 보상을 쓰는 강화학습으로 생겨나기 때문이다. 깔때기의 분야(예: 수학·코드) 차원은 주로 이 측면이 좌우한다.
3. 접근. 무료 등급, 유료 등급, 내부.

그러니까 이게 지금 이 순간의 기묘함이다. 일반 대중은 대부분 이 시스템들과 상호작용해 본 적이 없다. 해 봤다 해도 그건 어설픈 챗봇처럼 보인다. 전문가 대다수는 여전히 소폭의 향상만 본다. 그리고 전문가 가운데 아주 작은 일부는 곡선이 수직으로 치솟는 현기증을 겪고 있다. 그리고 이 모든 일이 동시에 벌어지고 있다.