소형 모델의
시대가 왔다

소형 모델의 시대가 왔다

2026년 8월 26일

지난 몇 주 동안 나는 gpt-5.6-luna를 이것저것 시험해 봤다. 이 모델은 놀라울 정도로 유능하고 빠르며 영리하다. 나는 이 모델이 약 100 tps를 내면서 내 코드베이스와 이메일, 지식 베이스를 거침없이 누비는 모습을 자주 본다.

물론 Luna에서 가장 큰 요인은 비용이다. 꽤 복잡한 조사 작업 몇 개를 돌려 봤는데, 큰 금액을 쓰기가 오히려 어려웠다. 수천 개 이메일을 검색하게 해도 API 비용은 결국 수십 센트 수준이었다.

GLM 5.3까지 나오면서 이제 파레토 전선에도 새로운 선택지가 생겼다.

코딩 작업을 할 때 나는 거의 언제나 가장 비싸고 성능이 좋은 모델(Fable 5, 5.6 Sol)을 고른다. 그래서 작고 빠른 모델이 이룬 발전을 놓치기 쉬웠다.

내가 대화한 몇몇 투자자는 이런 말을 했다. “소비자 AI 회사가 더 많이 보이지 않는 게 이상해요. 왜 그럴까요?”

답은 단순하다. 토큰 비용이다.

AI 이전 시대에 대형 소비자 앱이 따르던 공식은 대략 이랬다.

• 운영비가 꽤 저렴하면서도 매력적인 웹사이트를 만든다.
• 대개 입소문을 통해 많은 사용자를 끌어모은다.
• 투자를 받고, 더 많은 사용자에게 확장한다.
• 광고 마켓플레이스를 만든다.

대부분의 대형 소비자 기업(Google, Facebook, Snapchat 등)은 대체로 이 설명에 들어맞는다.¹

하지만 제품에 AI를 추가하고 싶다면 어떨까? 이제는 요청할 때마다 실제 추론 비용이 든다. 갑자기 필요한 자본 규모가 크게 늘어난다.

내가 즐겨 쓰는 개인 평가 하나는 나에게 맞춘 일일 뉴스 사이트를 만드는 것이다.

인터넷에서 @calvinfo를 조사하라. 이 사람이 좋아할 만한 뉴스를 파악하라. 오늘의 주요 기사를 이 사람에게 맞춰 담은 마이크로사이트를 만들어라. Hacker News, Reddit, Twitter 등을 검색하라.

이전 세대 모델(Sonnet급)로는 쓸 만한 결과에 도달하려면 약 1달러가 들었다. 소비자 앱에 월 30달러를 받는 것은 감당하기 어렵다. 물론 최적화할 부분은 많지만, WSJ나 The Economist만큼 받으려 한다면 그에 준하는 가치를 제공해야 한다.

그런데 Luna를 써 보니 결과가 제법 괜찮았고 평균 비용은 약 0.10달러였다. 이제 이야기가 달라진다.

내가 보기에 이 변화가 더욱 흥미로워지는 곳은 비즈니스 세계다.

나의 Segment 공동창업자 Peter와 나는 최근 하이킹을 하며 서로의 생각을 비교했다. Peter는 여러 스타트업을 거치며 두 종류의 일을 봤다.

• “IQ 180” 업무. 미친 과학자 같은 천재가 누구도 생각하지 못한 기상천외한 해법을 내놓는 일.
• “토큰 분사기” 업무. 극도로 빠르게 반응하며 수십 개 전선에서 일을 조금씩 앞으로 밀어붙이는 일.

Peter는 여러 회사를 운영한다. Segment 이후 Charm Industrial에서 1억 달러 이상을 조달했고, 아주 최근에는 Revoy의 Series A도 마쳤다. 그는 믿기 어려울 만큼 체계적이며 시간을 효율적으로 쓴다.

그런데도 Peter는 자신이 하는 일의 약 95%가 두 번째 범주에 들어간다고 했다. 통화에 참여하고, 사람들을 슬쩍 재촉하고, 기본적인 실무를 막힘없이 처리하는 일이다.

분명히 해 두자. Peter는 깊은 문제를 해결하는 IQ 180급 기술 인재가 없었다면 지금 그의 회사들은 꼼짝도 못 했을 것이라고 말한다. 다만 자신의 업무 대부분이 두 번째 범주에 속한다는 뜻이다.²

나는 “프런티어급” 모델의 수요가 계속 누적될 것이라고 생각한다. 특히 새로운 돌파나 발견이 필요한 분야, 이를테면 공학, 기초과학, 모델 훈련에서 그렇다.

하지만 “빠르고, 싸고, 충분히 좋은” 모델에 대한 수요도 이제 막 급증하기 시작할 것이라고 생각한다.

매일 만나는 사람들을 떠올려 보라. 동료, 공급업체, 고객 말이다. 열 번 중 아홉 번은 반응이 아주 빠르고 일을 알아서 처리해 주는 사람을 원한다. 오늘날 회사가 쓰는 “인간 토큰” 대부분은 이런 방식으로 소비된다. 채용은 빠르고, 싸고, 충분히 좋은 유형에 크게 치우친다.

빠르고, 싸고, 충분히 좋은 모델을 비즈니스의 현실로 만들기까지는 할 일이 많다. 새로운 하네스, 프롬프트 인젝션 안전장치, 역할과 권한이 필요하다. 그래도 우리는 결국 해법을 찾아낼 것이라고 확신한다.

당신도 소형 모델을 유용하게 만드는 실험을 하고 있다면 내게 연락해 주기 바란다.

주석

1. Amazon과 Netflix는 눈에 띄는 예외다. ↩
2. Peter는 여기서도 겸손하게 말한 것이다. 그는 아주 예리하다. ↩