2026-10-13, 업무에 AI를 들이는 AI 전환(AI Transformation, AX)을 로컬 모델로 해낸 구축기 두 편이 올라왔다. 하나는 동네 치과 원장 gatsbydds가 아카라이브 AI 홈랩 채널에 18:15에 올린 「동네 치과의 AX전환기」다.1 다른 하나는 3D AI 개발 회사 대표 박찬호(@coldp_umpkin_)가 Threads에 같은 날 23:21부터 이튿날 00:49까지 포스트 4개로 올린 「3D AI 개발 회사 대표의 맥스튜디오 64GB 로컬AI 구축기」다.2 두 글의 수치와 발언은 검증되지 않은 작성자 보고다.

치과 원장은 컴퓨터 전공이 아니라 생물학 전공자라고 적었다.3 병원 뒷방에는 DGX Spark급 장비 12대가 있다. 4대씩 묶은 세 묶음이 DeepSeek, GLM, 실험을 맡는다.4 음성·검색·서류 판독은 Mac mini M5 Pro 2대와 M4 mini가 맡는다.4 원장은 H200이나 RTX PRO 6000도 원했지만 너무 비싸고 전기 공사가 필요해서 접었다고 했다.4

쌓여 있던 보험 서류 904개, 3,389쪽을 AI가 69분 만에 실패 없이 읽었다고 원장은 적었다.5 흐릿한 스캔본에서 무료 OCR은 금액을 62% 맞혔다. 원장이 고른 판독 모델은 100% 맞혔다.5 직원의 실제 질문 28개로 사내 검색을 시험하자 26개를 제대로 찾았다.5 전화 시스템 계약을 끊어 450만 원을 아꼈다고도 했다.6

코드는 원장이 거의 짜지 않았다. Claude와 Codex 코딩 에이전트를 “팀원처럼 굴림”이 원장의 표현이다.7 비전공자가 에이전트로 병원 시스템을 지은 이 장면은 「코딩을 못 해도 되는 시대의 실행력」에서 말한 실행력의 실물이다. 원장이 꼽은 병목도 기술이 아니었다. “AX에서 가장 병목은 DX그리고 사람”이라고 적었다. 노령 환자가 많아서 종이 차트를 받아야 하는 경우가 남는다는 것이다.8

박찬호 대표는 처음에 맥 미니에 에이전트 프로그램 헤르메스와 Qwen3.5-9B 4비트 모델, llama.cpp를 올렸다.9 디스코드로 명령을 보내 브라우저로 자사 회계 시스템을 조작하는 데까지 성공했다고 적었다.9 구축 목적 1번(여러 갈래의 데이터 관리)과 2번(개발 반자동화) 때문에 맥 스튜디오 64GB로 옮겼다.10 최종 조합은 “헤르메스 + Qwen 3.6-35B A3B + llama + GPT 6.1 sol (Med)”이다.11 모델을 고른 뒤 처음 한 일은 “GPT를 이용해 저희 시스템의 구조를 먼저 인식”시키는 것이었다.11

View on Threads

앞의 두 사례 모두 시스템을 짓는 자리에는 프론티어 모델이 있었다.7,11 로컬 모델은 그렇게 지은 시스템 안에서 돈다.

내 판단은 이렇다. 프론티어 모델을 네트워크로 쓸 수 없는 경우에는 로컬 모델을 써야 한다. 그렇지 않으면 프론티어 모델을 써야 한다. 네트워크로 쓸 수 없는 경우란 어떤 경우인가.

데이터가 밖으로 나갈 수 있는가#

전자금융감독규정 제15조①3은 금융회사 내부 업무망의 망분리를 지금도 요구한다.12 2026-04-20부터 SaaS에 망분리 예외가 생겼다. 고유식별정보나 개인신용정보를 처리하는 경우에는 이 예외를 허용하지 않는다.13 생성형 AI 서비스는 혁신금융서비스 지정이라는 별도 경로로 들어왔다. 금융위원회의 첫 지정은 2024-11-27, 9개사 10건이었다.14 공공 쪽 국가망 보안체계(National Network Security Framework, N2SF)는 C등급 데이터를 “기존처럼 엄격하게 격리”한다. O등급에서는 생성형 AI를 쓸 수 있다.15

의료는 사정이 다르다. 의료법 시행규칙 제16조①7과 고시 제2023-245호 제7조②는 전자의무기록을 의료기관 밖 저장장비나 클라우드에 둘 수 있게 한다.16 통화 녹음은 시행규칙 제15조의 보존 대상 목록에 없다.17 개인정보보호위원회의 생성형 AI 안내서(2025-08-06)는 기업용 API를 쓰는 의료기관을 사례로 들어 국외 이전 고지를 안내한다.18 금지가 아니라 조건이다. 이 글에서 확인한 제한은 금융에서 고유식별정보·개인신용정보를 처리하는 SaaS의 망분리 예외 불허와 공공 C등급 시스템의 격리다.13,15 의료정보는 외부 보관 경로가 있어서 일률적인 반출 금지로 읽을 수 없다. 외부 보관 허용이 모든 외부 AI 처리 허용을 뜻하지는 않는다.

치과의 원칙 “환자 정보는 병원 밖으로 안 나간다”는 그 경로 위에 원장이 그은 선이다.19 원장은 통화 녹음이나 보험 서류를 외부 서버로 보내는 건 “아니다 싶었음”이라고 적었다.19 로컬의 첫 입구는 데이터를 밖으로 보내지 않기로 한 곳이다. 그 결정을 법이 했는지 원장이 했는지는 입구를 바꾸지 않는다.

두 번째 입구는 양이다. 박찬호 대표가 적은 에이전트 설계 원칙 네 가지 중 하나가 “다루는 데이터의 양이 많으면 로컬로”다.20 같은 일을 대량으로 돌리면 토큰 요금이 쌓인다. 내 사용량을 로컬로 옮기면 얼마가 드는가.

하루 36억 토큰 중 새 토큰은 2억이다#

나처럼 현업에서 쓰는 사람은 클로드 구독 10개와 코덱스 구독 2~3개를 같이 쓴다. 이만큼의 토큰을 로컬 모델로 소모한다고 놓으면 하루 2억~3억 토큰이라고 나는 짐작했다. 이 양이 하루 동안 나오도록 장비를 짜면 수십억 원어치 추론 노드가 들 것 같았다.

사용량은 로컬 프록시 llmux(「클로드 코드를 계속 쓰는 게 맞을까 — 하네스 락인, 그리고 llmux」)의 로그로 쟀다. 2026-09-15부터 2026-10-14까지 30일 동안 요청은 443,506건이다.21 이 30일의 토큰을 실제로 처리한 것은 Claude Max 10개, ChatGPT Pro(Codex) 4개, Grok 2개 계정 묶음이다.21 머신 한 대의 프록시 기록이라 실제 사용량의 하한이다.21

하루 평균 36.1억 토큰이 오갔다. 그중 34.1억(94.45%)이 캐시 읽기다. 캐시 쓰기는 1.54억, 입력은 0.34억, 출력은 0.127억이다.21 처음 처리하는 새 토큰(입력+캐시 쓰기+출력)만 세면 하루 평균 2.0억이다. 중앙값은 1.27억, 상위 10% 날은 5.47억, 가장 많은 날은 10.9억이었다.21 하루 2억~3억이라는 짐작은 새 토큰 평균과 맞는다.

값을 정하는 쪽은 나머지 34억이다. 코딩 에이전트는 요청마다 그때까지의 대화와 읽은 파일을 문맥으로 다시 보낸다. 내 요청 하나의 문맥은 평균 24.3만, 중앙값 19.9만 토큰이다.21 공개된 Claude Code 트레이스에서도 요청 입력 중앙값은 142,016토큰이다.22 공급자는 이미 처리한 앞부분을 캐시에서 읽는다. Opus 5.5 기준 캐시 읽기는 100만 토큰에 $0.20으로 입력 요금 $4의 20분의 1이다.23 로컬 서버도 그 앞부분의 중간 계산인 키·값 캐시(KV cache)를 들고 있어야 같은 이득을 본다. 들고 있지 못한 만큼은 입력 문맥을 모델이 읽어 들이는 단계(prefill)에서 다시 계산한다.

하루를 초로 나누면 양은 작다. 새 토큰 2.0억을 86,400초로 나누면 초당 약 2,300토큰이다. 30일 평균으로는 새 입력 prefill이 2,174 tok/s, 출력이 148 tok/s다.24

토큰은 고르게 오지 않는다. 30일 43,200분 가운데 요청이 있던 분은 20,133분이다.21 요청이 있던 분만 놓고 분당 처리량을 재면 새 입력 prefill의 99분위(p99)가 56,318 tok/s로 30일 평균의 26배다. 출력의 p99는 2,364 tok/s다.24 p99는 설계 선택이다. 분당 처리량의 99분위일 뿐 도착 수요나 응답 시간 보장이 아니다. 이 분위를 넘는 분은 대기열로 넘긴다고 가정했다. 그 대기를 쓰는 사람이 견딜 수 있는지는 검증하지 않았다.

캐시를 얼마나 재사용하느냐가 그 p99를 다시 바꾼다. 로컬 서버가 공급자의 캐시 읽기 토큰을 재사용하는 비율을 h로 둔다. h는 가정이다. 위의 94.45%는 공급자가 캐시 읽기로 과금한 비율이다. 로컬 적중률의 증거가 아니다. Claude Code 트레이스로 돌린 LMCache 벤치는 이론 적중률 96.9%에 실측 55~84%를 냈다.25 DeepSeek가 공개한 운영 시스템의 디스크 KV 캐시 적중률은 56.3%였다.26 h=1.00은 그 토큰을 전부 재사용하는 이상 조건이다. h=0.72는 LMCache 실측 범위 안에 둔 설명용 중간값이다. h별 p99는 아래 표의 행 머리에 적었다.24

이 가정에서는 몰리는 분에 맞추면 노드가 3대에서 13대다#

장비 단위는 B200 8장을 묶은 HGX B200 서버 한 대로 잡는다. 통상가는 $45만, 범위는 $40만~55만이다.27 DGX B200 사양으로 HBM은 합계 1,440GB, 최대 전력은 약 14.3kW다.28 HGX 가격과 DGX 사양을 한 노드로 묶은 것은 계산 가정이다. GLM-5.3은 FP8 가중치가 약 753GB라서 이 한 대의 메모리에 들어간다.29 이것은 용량 설명이지 처리율 근거가 아니다.

처리율은 다른 장비·모델·문맥 조건의 공개 벤치를 출발점으로 서로 다른 값을 가정해 감도를 본다. B200에서 GLM-5.3을 잰 실측 범위가 아니다. prefill의 낮은 가정 52k tok/s는 H100 노드에서 DeepSeek-V3로 잰 값이다.30 높은 가정 약 210k tok/s는 GB200의 GPU당 26.2k tok/s(DeepSeek, 입력 2K)를 8장으로 곱한 값이다.31 100k는 그 중간이다. 출력을 한 토큰씩 쓰는 단계(decode)는 GLM-5 NVFP4 벤치를 빌린다. 4×B200 TP4에서 동시 16명에게 사용자당 66.27 tok/s를 냈다(8k 입력, 1k 출력).32 이 구성을 한 노드에 두 벌 둔다고 놓으면 노드당 약 2,100 tok/s다.33 출력 p99를 받으려면 디코드 노드가 2대 든다. 긴 문맥에서의 처리율은 확인하지 않았다.

아래 표의 칸은 p99 prefill을 노드당 prefill로 나눠 올린 수에 디코드 노드 2대를 더한 8×B200 노드 수다.33 이중화는 넣지 않았다. 이 처리율을 가정한 구성이지 확정 견적이 아니다.

캐시 재사용 h (그때의 p99 prefill, tok/s) 노드당 prefill 52k 100k 210k
1.00 (56,318) 4 3 3
0.90 (89,142) 4 3 3
0.72 (172,686) 6 4 3
0.50 (282,589) 8 5 4
0 (541,503) 13 8 5

노드 한 대 장비값이 6.02억 원이라 표의 3대는 18.07억 원, 13대는 78.29억 원이다.34 수십억 원어치라는 짐작은 이 구성에서 맞는다. 이 표에서 값을 만드는 것은 새 토큰 2억이 아니라, 이미 읽은 문맥을 다시 읽는 토큰 하루 34억 개와 몰리는 분에 맞춘 설계다.

같은 장비를 하루에 펴면 1대#

같은 하루치를 24시간에 고르게 펴면 계산이 달라진다. 캐시를 하나도 재사용하지 못하는 h=0에서도 평균 prefill은 41,662 tok/s다.24 출력 평균은 디코드 처리율의 7%다. 노드당 prefill 52k를 놓으면 h=0에서도 노드 1대의 가동률이 87%다. 100k면 49%다.35

같은 8×B200에서 내 사용량의 평균 부하를 prefill과 디코드를 합친 한 노드로 처리한다고 놓으면 1대다. p99 부하를 둘로 나눠 처리한다고 놓으면 3~13대다. 이 차이는 산술 결과다. 자원 분리와 정수 단위 배치가 함께 들어 있어서 대기 허용만의 절감률로 읽을 수 없다. 1대가 하루치를 실제로 끝내는지, 대기열이 안정되는지는 검증하지 않았다. 이중화도 포함하지 않았다.

치과 원장이 적은 작업 가운데 보험 서류 대조는 기다릴 수 있는 일이다. 새 맥 미니 2대가 도착한 날 밤새 6,928줄을 자동 대조했다고 적었다.36 같은 치과에는 기다릴 수 없는 일도 있다. 전화가 오면 AI 목소리가 첫 소리까지 0.1초 만에 받는다. 통화는 실시간으로 받아써 직원 화면에 띄운다.37 원장은 한쪽 묶음이 죽어도 다른 쪽이 바로 받아서 일하도록 장비를 여러 대 두었다고 적었다.38 환자 콜 4통이 한꺼번에 들어와도 끊김 없이 전사하려고 맥 미니 2대를 병렬로 구성했다.38 실시간 응답과 장애 대응은 이 계산에 넣지 않은 요구다. 내 사용은 대화형이다. 날마다 가장 많이 겹친 동시 요청 수는 중앙값 21, 상위 10% 52, 최대 71이었다.21

24개월과 48개월에 드는 돈#

측정 기간에 이 토큰을 처리한 계정 수(Claude Max 10·ChatGPT Pro 4)에 Max 20x·Pro 가격을 적용한 예산 예시를 노드 한 대 장비값 옆에 둔다. Claude Max 20x는 한국 표시가 월 $220(부가세 10% 포함)이다.39 ChatGPT Pro 200은 월 $200이다.40 여기에 부가세 10%를 더했다. 환율은 1,338.3원(2026-10-14 종가)으로 바꿨다.41 구독 행은 Grok 2계정을 빼서 하한이다. 계정 등급 기록은 Max까지만 확인되므로 20x는 가정이다.42

항목 (부가세 포함) 월 24개월 누적 48개월 누적
예산 예시 — 측정 기간 계정 수: Claude Max 20x(가정) ×10 + ChatGPT Pro ×4 412만 원 0.99억 원 1.98억 원
비고 — 내가 꼽은 구성: Claude Max 20x(가정) ×10 + ChatGPT Pro ×3 383만 원 0.92억 원 1.84억 원
8×B200 노드 1대 장비값 (운영비 제외) — 6.62억 원 6.62억 원

구독은 약관이 정하는 별개 상품이다. 48개월 동안 가격, 사용 한도, 제공 조건이 바뀔 수 있다. 현재 가격으로 고정한 이 예산 예시의 48개월 누적은 노드 한 대 장비값에 못 미친다. 이 예산 예시와 여기서 가정한 B200 구성에서는 로컬 구매를 비용 절감으로 설명할 수 없다.

회사가 API 정가를 내는 경우는 계산이 갈린다. 이 30일 토큰을 요청에 찍힌 모델별 API 정가로 환산하면 $72,727, 월 0.97억 원이다. 요청마다 문맥 길이에 따라 정해진 가격 구간을 적용했다. 정가 행이 없는 구모델은 가장 가까운 현행 모델 가격으로 바꿨다. 청구서가 아니라 같은 로그를 정가로 환산한 시나리오다.43 Claude가 $56,333, Codex가 $11,932, Grok이 $4,462다.43 캐시 읽기 $28,785와 캐시 쓰기 $28,025가 환산액의 78%를 차지한다.43 입력값은 부가세를 뺀 사업자 기준이다.

  • 노드 1대 장비값은 $45만 × 1,338.3원 = 6.02억 원이다.34
  • 상면은 14.3kW × kW당 월 25만 원 = 월 358만 원이다.44
  • 유지보수는 장비값의 연 12%로 월 602만 원이다.45
  • 전기는 14.3kW × 전력 사용 효율(Power Usage Effectiveness, PUE) 1.76 × 730시간 × kWh당 약 154원 = 월 284만 원이다.46,47
  • 운영비A는 상면 단가에 전기가 들어 있다고 놓은 월 960만 원이다. 운영비B는 전기를 따로 내고 최대 전력으로 24시간 돈다고 놓은 월 1,244만 원이다. 두 요금 시나리오이지 실제 운영비의 하한과 상한이 아니다.

장비값은 지금 가격이다. 값이 오른 장비가 있다. 치과의 DGX Spark 128GB는 출시가 $3,999에서 2026-10-02 $6,950으로 74% 올랐다.48 한국 출시가 715만 원이던 같은 장비는 2026-10-15 다나와에서 1,019만~1,069만 원이다.49

‘교차’는 로컬 누적과 API 정가 누적이 같아지는 시점(개월)이다. 배치 1대만 가상 할인 시나리오를 상대로 셌다.50

구성 (부가세 제외, 두 값 = 운영비A / 운영비B) 24개월 누적 48개월 누적 교차
API 정가 (월 0.97억) 23.36억 46.72억 —
대화형 3대 24.98억 / 27.02억 31.89억 / 35.97억 26.4개월 / 30.1개월
대화형 4대 33.30억 / 36.03억 42.52억 / 47.96억 40.9개월 / 48개월 안에 없음
대화형 5대 41.63억 / 45.03억 53.15억 / 59.95억 48개월 안에 없음
대화형 8대 66.61억 / 72.05억 85.03억 / 95.92억 48개월 안에 없음
대화형 13대 108.23억 / 117.08억 138.18억 / 155.87억 48개월 안에 없음
가상 할인 시나리오 (API 환산 전체에 50%, 월 0.49억) 11.68억 23.36억 —
배치 1대 8.33억 / 9.01억 10.63억 / 11.99억 15.4개월 / 16.6개월

지금 가격과 지금 사용량이 48개월 동안 그대로일 때의 누적이다. 인건비·관세·잔존가치를 뺀 현금 기준이다.

회사에서는 노드 수가 답을 정한다. 내 사용량을 3대가 감당하면 48개월 누적에서 로컬이 싸다. 4대면 운영비 가정에 따라 갈린다. 5대부터는 48개월 안에 교차하지 않는다. 운영비B에서는 8대부터 장비값을 빼고 운영비만으로도 API 정가 월액보다 많이 나간다.50

Anthropic 문서는 배치 API가 입력·출력 토큰을 50% 할인한다고 적는다. 이 할인은 캐시 배수와 겹쳐 적용된다.51 표의 가상 할인 시나리오 행은 이 50%를 API 환산액 전체에 일률 적용한 값이다. 실제 배치 요금도, 이 에이전트 작업에 배치 API를 쓸 수 있는지도 확인하지 않았다. 배치 1대의 15.4~16.6개월은 그 가정 아래의 현금 교차점이다. 지연을 허용한다는 것과 배치 상품을 쓸 수 있다는 것은 같은 뜻이 아니다.

API 정가가 내리면 교차점은 뒤로 밀린다. 48개월 비교는 Lenovo TCO 분석의 5년 수명 가정 안에 있다.45 후속 장비의 성능·가격이 바뀌면 이미 산 장비의 상대 경제성이 달라질 수 있다. MLPerf Inference v6.1의 가속기당 최고 기록은 1년 전 v5.1보다 5.7배 좋았다.52 이것은 처리량 벤치 기록의 개선이다. 같은 토큰의 비용을 잰 값이 아니다.

표가 비교하는 것은 토큰값이다. 작업값이 아니다. 2026-10-15 Artificial Analysis Intelligence Index v4.3.2에서 Claude Opus 5.5는 58점, 오픈 모델 최고인 MiMo-V2.6-Pro는 46점, GLM-5.3은 45점이다.53 Threads 사례가 로컬에 올린 Qwen3.6-35B-A3B는 18점이다. 같은 조합에 넣은 GPT-6.1 Sol은 52점이다.53 AA 코딩 에이전트 지수에서는 Claude Code의 Sonnet 5.5가 68.4, Opencode의 GLM-5.3이 53.6이다.54 Epoch AI는 2026-05-29에 오픈 모델이 평균 약 4개월 뒤처진다고 분석했다.55 2026-10-08에는 실업무 자동화 시험의 격차가 “larger than existing benchmark scores suggest”(기존 벤치 점수가 시사하는 것보다 크다)라고 적었다.55 이 점수는 일반 지표의 격차다. 내 업무에서 두 모델이 얼마나 다른지는 말하지 않는다. 격차는 4년 동안 줄 수도 벌어질 수도 있다. 지금 산 장비가 48개월 뒤의 모델을 올릴 수 있는지도 확인되지 않았다.

장비보다 먼저 사는 것#

노드 한 대가 실제 업무에서 감당하는 양은 공개 벤치로 정해지지 않는다.

치과 원장의 글에는 AI의 결과를 판정하는 장치가 있다. 원장은 “숫자는 AI가 계산하지 않고 분석 프로그램이 계산한 값만 씀”이라고 적었다. 추정한 것은 따로 표시하게 했다.56 운영 중인 설정을 바꿀 때는 원장이 직접 승인해야 한다. 에이전트끼리 “원장님이 된대” 하고 전해 들은 승인은 인정하지 않는다.7 AI가 분류한 통화는 원장이 숫자키로 채점한다. DeepSeek와 GLM의 판정이 엇갈린 통화를 먼저 본다. 이렇게 모인 판정이 정답지가 된다. 원장은 그 정답지로 모델을 숫자로 비교한다.57 앞의 100%도 판독 모델 4개를 실제 서류에 붙여 본 결과다.5

「AI에게 맡길 수 있는 구간」에서 나는 반복 승인 없이 AI에게 맡길 범위를 정했다. 원래 요구에서 벗어난 결과를 제때 알아내 손실 한도 안에서 멈추거나 복구할 수 있는 구간이다. 그러려면 판정 기준이 생성자의 해석에 기대지 않아야 한다. 치과의 장치는 이 조건을 구현한 예다. 매출 숫자는 생성자인 AI가 아니라 분석 프로그램이 낸다. 운영 변경의 승인은 에이전트 사이의 전언이 아니라 원장에게서 나온다.

치과의 장치와 이 기준을 이으면 두 사례와 독자의 사례를 재는 자가 된다. Threads 글에는 개발을 완전 자동화하지 않는다는 방침이 있다.10 숫자 계산을 맡는 프로그램이나 운영 변경 승인 같은 판정 장치에 관한 서술은 네 포스트 어디에도 없다.58 그 글만으로는 이 자로 잴 수 없다.

로컬로 가는 곳이 장비보다 먼저 할 일은 이 자로 재는 작은 시험이다. 업무 합격률은 생성자 밖의 정답으로 잰다. 긴 문맥 처리율과 캐시 재사용과 허용 대기는 실제 업무로 잰다. 이 시험이 노드 한 대의 필요 용량을 정한다. 그 용량이 4년 경제성의 부호를 바꿀 수 있다. 무엇부터 사야 하느냐는 질문의 답은 노드가 아니다. 노드가 몇 대 필요한지 알려 줄 시험이다.

  1. gatsbydds, 「동네 치과의 AX전환기」, 아카라이브 AI 홈랩 채널, 2026-10-13 18:15. https://arca.live/b/aihomelab/185810092 ↩︎

  2. 박찬호(@coldp_umpkin_), 「3D AI 개발 회사 대표의 맥스튜디오 64GB 로컬AI 구축기」, Threads 포스트 4개, 2026-10-13 23:21~2026-10-14 00:49 KST. https://www.threads.com/@coldp_umpkin_/post/DecAtFOiduu ↩︎

  3. gatsbydds, 「동네 치과의 AX전환기」, 도입부(“컴전공 아니고, 생물학사임”). https://arca.live/b/aihomelab/185810092 ↩︎

  4. 같은 글, 2절 「그래서 뒷방 상태」 및 번외 「근데 왜 그렇게 많이 샀음? 그리고 왜 하필 DGX?」의 H200·RTX PRO 6000 대목. https://arca.live/b/aihomelab/185810092 ↩︎ ↩︎ ↩︎

  5. 같은 글, 3절 ② 「보험 서류 지옥 탈출」(904개·3,389쪽·69분·실패 0쪽, 판독 모델 4개 비교, 무료 OCR 62% 대 100%)과 ③ 「사내 검색」(질문 28개 중 26개). https://arca.live/b/aihomelab/185810092 ↩︎ ↩︎ ↩︎ ↩︎

  6. 같은 글, 번외 ④ 「그래서 뭐 파냐고요?」. https://arca.live/b/aihomelab/185810092 ↩︎

  7. 같은 글, 4절 「그래서 비전공자가 이걸 어떻게 했냐면」(클로+코덱스, 운영 설정 변경 직접 승인, “원장님이 된대” 불인정). https://arca.live/b/aihomelab/185810092 ↩︎ ↩︎ ↩︎

  8. 같은 글, 3절 「전자 동의서, 직원 서명 화면」. https://arca.live/b/aihomelab/185810092 ↩︎

  9. 같은 글, 포스트 1/4(맥 미니, 헤르메스 + Qwen3.5-9B Q4 + llama.cpp, 디스코드 명령으로 회계 시스템 브라우저 조작). https://www.threads.com/@coldp_umpkin_/post/DecAtFOiduu ↩︎ ↩︎

  10. 같은 글, 포스트 2/4(구축 목적 4가지, 2번에 “완전 자동화를 선호하지 않습니다”, 1·2번 때문에 맥 스튜디오 64GB로 이전). https://www.threads.com/@coldp_umpkin_/post/DecAtFOiduu ↩︎ ↩︎

  11. 같은 글, 포스트 3/4(최종 조합, GPT로 구조 인식, 옵시디언·LLM Wiki 데이터 맵, 최상위 에이전트와 팀별 에이전트). https://www.threads.com/@coldp_umpkin_/post/DecAtFOiduu ↩︎ ↩︎ ↩︎

  12. 전자금융감독규정 제15조①3, 국가법령정보센터. https://www.law.go.kr/DRF/lawService.do?OC=test&target=admrul&ID=2100000282622&type=XML ↩︎

  13. 금융위원회 보도자료, 2026-04-20 SaaS 망분리 예외 시행, “고유식별정보 또는 개인신용정보를 처리하는 경우에는 망분리 예외를 허용하지 않으며”. https://www.fsc.go.kr/no010101/86745 ↩︎ ↩︎

  14. 금융위원회, 생성형 AI 혁신금융서비스 첫 지정, 2024-11-27, 9개사 10건. https://www.fsc.go.kr/po010101/83554 ↩︎

  15. 뉴시스, 2026-03-13, N2SF C등급 “기존처럼 엄격하게 격리”, O등급 생성형 AI 활용 가능. https://www.newsis.com/view/NISX20260313_0003547805 ↩︎ ↩︎

  16. 의료법 시행규칙 제16조①7. https://www.law.go.kr/DRF/lawService.do?OC=test&target=law&MST=286963&type=XML ; 고시 제2023-245호 제7조②. https://www.law.go.kr/DRF/lawService.do?OC=test&target=admrul&ID=2100000232676&type=XML ; dailydental.co.kr 보도 “자율 선택에 따라 외부에도 보관·관리가 가능”. https://www.dailydental.co.kr/news/article.html?no=94041 ↩︎

  17. 의료법 시행규칙 제15조(진료기록부 등의 보존) 목록, 통화 녹음 항목 없음. https://www.law.go.kr/DRF/lawService.do?OC=test&target=law&MST=286963&type=XML ↩︎

  18. 개인정보보호위원회, 생성형 AI 안내서, 2025-08-06, 기업용 API를 쓰는 의료기관 사례·국외 이전 고지. https://pipc.go.kr/np/cop/bbs/selectBoardArticle.do?bbsId=BS074&mCode=C020010000&nttId=11410 ↩︎

  19. 같은 글, 1절 「원칙 하나: 환자 정보는 병원 밖으로 안 나간다」. https://arca.live/b/aihomelab/185810092 ↩︎ ↩︎

  20. 같은 글, 포스트 4/4(설계 원칙 4가지 중 3번 “다루는 데이터의 양이 많으면 로컬로”, 4번 스킬을 플러그인으로 묶어 로컬 모델의 추론 최소화). https://www.threads.com/@coldp_umpkin_/post/DecAtFOiduu ↩︎

  21. 필자의 로컬 llmux 프록시 activity 로그, 2026-09-15~2026-10-14(30일). 계정 묶음 Claude Max 10·ChatGPT Pro(Codex) 4·Grok 2. 요청 443,506건(하루 14,784건). 하루 평균 36.1억 토큰 = 캐시 읽기 34.1억(94.45%) + 캐시 쓰기 1.54억 + 입력 0.34억 + 출력 0.127억. 새 토큰 하루 평균 2.0억, 중앙값 1.27억, 상위 10% 5.47억, 최대 10.9억. 요청당 문맥 평균 24.3만, 중앙값 19.9만 토큰. 날마다 최대 동시 요청 중앙값 21, 상위 10% 52, 최대 71. 요청이 있던 분 20,133분/43,200분. 머신 한 대의 프록시 기록이라 하한이다. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  22. SemiAnalysis InferenceX, 「Agentic benchmark guide」, 2026-08-19, Claude Code 유래 트레이스 요청 입력 중앙값 142,016토큰·출력 444토큰. https://inferencex.semianalysis.com/blog/agentic-benchmark-agent-benchmark-guide ↩︎

  23. Anthropic 가격 문서(2026-10-15 열람), Opus 5.5 입력 $4, 캐시 쓰기(5분) $5, 캐시 읽기 $0.20, 출력 $20(100만 토큰당). Haiku 5.5는 프롬프트 10만 토큰 이하 입력 $0.10·캐시 쓰기 $0.125·캐시 읽기 $0.01·출력 $0.50, 10만 초과 $0.50·$0.625·$0.05·$2.50. https://platform.claude.com/docs/en/about-claude/pricing ↩︎

  24. 같은 로그의 분 단위 처리량. 분마다 (새 prefill + (1 − h) × 캐시 읽기) ÷ 60을 구해, 요청이 있던 분의 99분위를 잡았다. 새 prefill p99 56,318 tok/s, 출력 p99 2,364 tok/s. h별 p99 prefill = 1.00 56,318 / 0.90 89,142 / 0.72 172,686 / 0.50 282,589 / 0 541,503 tok/s. 30일 평균(유휴 분 포함) = 새 prefill 2,174, 출력 148, h=0 prefill 41,662 tok/s. ↩︎ ↩︎ ↩︎ ↩︎

  25. LMCache 블로그, 2026-05-12, Claude Code 트레이스 다회차 에이전트 부하 벤치(AMD MI300X), 이론 적중 96.9%·실측 55~84%. https://blog.lmcache.ai/en/2026/05/12/benchmarking-lmcache-for-multi-turn-agentic-workloads-on-amd-mi300x/ ↩︎

  26. DeepSeek, 「DeepSeek-V3/R1 Inference System Overview」, open-infra-index 2025-02 공개, 디스크 KV 캐시 적중 56.3%. https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md ↩︎

  27. HGX B200 8GPU 서버 $40만~50만(통상 $45만), IntuitionLabs, 2026-09-05. https://intuitionlabs.ai/articles/data-center-gpu-prices ; $45만~55만, Thunder Compute, 2026-10-09. https://www.thundercompute.com/blog/nvidia-b200-pricing ; Lenovo TCO의 8×B200 $550,475.10. https://lenovopress.lenovo.com/lp2368-on-premise-vs-cloud-generative-ai-total-cost-of-ownership-2026-edition ↩︎

  28. NVIDIA DGX B200 제품 페이지, HBM 합계 1,440GB, 최대 약 14.3kW. https://www.nvidia.com/en-us/data-center/dgx-b200/ ↩︎

  29. GLM-5.3 전체 753B·활성 40B, FP8 약 753GB, Hugging Face 모델 카드. https://huggingface.co/zai-org/GLM-5.3 ; Qwen3.6-35B-A3B Q4_K_M 22.1GB. https://huggingface.co/Qwen/Qwen3.6-35B-A3B ↩︎

  30. LMSYS, 2025-05-05, 96×H100 DeepSeek-V3 대규모 전문가 병렬, 노드당 입력 52.3k·출력 22.3k tok/s. https://www.lmsys.org/blog/2025-05-05-large-scale-ep/ ↩︎

  31. vLLM 블로그, 2026-02-03, GB200 DeepSeek prefill GPU당 26.2K tok/s(입력 2K). https://vllm.ai/blog/2026-02-03-dsr1-gb200-part1 ↩︎

  32. SemiAnalysis InferenceX, 2026-05-25, 4×B200 TP4 GLM-5 NVFP4, 8k 입력/1k 출력, 동시 16에서 사용자당 66.27 tok/s. https://inferencex.semianalysis.com/blog/b200-glm5-nvfp4-vs-h200-fp8-3-6x-perf-per-dollar ↩︎

  33. 디코드 노드 = ⌈2,364 ÷ 2,100⌉ = 2. 필요 노드 = ⌈h별 p99 prefill ÷ 노드당 prefill⌉ + 디코드 노드 2. 이중화 없음. 노드당 prefill 52k = LMSYS H100 노드 DeepSeek-V3 값, 210k = GB200 GPU당 26.2k × 8, 100k = 중간 가정 — 모두 다른 장비·모델·문맥에서 빌린 감도 입력이다. 디코드 2,100 tok/s = GLM-5 NVFP4 4×B200 TP4 벤치를 두 벌로 놓은 값(2 × 16 × 66.27, 8k 입력, 긴 문맥 미확인). ↩︎ ↩︎

  34. 노드 1대 = HGX B200 8GPU 통상가 $450,000 × 1,338.3원 = 602,235,000원(표시 6.02억, 부가세 제외). 3대 1,806,705,000원 = 18.07억, 13대 7,829,055,000원 = 78.29억. 개인 표의 6.62억 = 602,235,000원 × 1.1(부가세 10%) = 662,458,500원. 메모리·전력은 DGX B200 사양을 조합한 계산 가정이다. ↩︎ ↩︎

  35. 하루치를 24시간에 고르게 편 평균 prefill = 2,174 + (1 − h) × 39,488 tok/s(h=0이면 41,662). 1대 가동률 = 평균 prefill ÷ 노드당 prefill + 148 ÷ 2,100. h=0에서 52k면 87%, 100k면 49%. ↩︎

  36. 같은 글, 5절 「어제 하루 실화」. https://arca.live/b/aihomelab/185810092 ↩︎

  37. 같은 글, 3절 ① 「전화 받는 AI」(첫 소리까지 0.1초, 통화 실시간 전사). https://arca.live/b/aihomelab/185810092 ↩︎

  38. 같은 글, 번외 「근데 왜 그렇게 많이 샀음? 그리고 왜 하필 DGX?」 중 “여러 대인 이유는 하나 더 있음” 대목(백업/폴백, 환자 콜 4통 전사용 Mac Mini 2대 병렬, 큰 모델 + 백업 + 교차 검증). https://arca.live/b/aihomelab/185810092 ↩︎ ↩︎

  39. Anthropic, 「What is the Max plan?」(2026-10-15 열람), Max 20x 월 $200. https://support.claude.com/en/articles/11049741-what-is-the-max-plan ; 한국 가격 페이지 “Prices include 10% VAT”. https://claude.com/ko/pricing ↩︎

  40. OpenAI, 「About ChatGPT Pro tiers」(2026-10-15 열람), Pro 200 월 $200. https://help.openai.com/en/articles/9793128-about-chatgpt-pro-tiers ↩︎

  41. 원·달러 환율 1,338.3원, 2026-10-14 서울 외환시장 종가, 파이낸셜뉴스. https://www.fnnews.com/news/202610141540451756 ↩︎

  42. 예산 예시. 측정 기간 계정 수(Claude Max 10·ChatGPT Pro 4)에 가격을 적용했다. Claude 계정 등급은 프록시 기록에서 Max까지만 확인되며 20x는 가정이다. 월 결제액 = (Claude Max 20x $220 × 10 + ChatGPT Pro $200 × 1.1 × n) × 1,338.3원. n=4면 412만 원, n=3이면 383만 원. 24·48개월 누적은 월액 × 개월. 측정 기간의 계정 묶음에 있던 Grok 2계정은 넣지 않았다. ↩︎

  43. 30일 동안 요청마다 (토큰 × 그 요청 모델의 API 정가)를 더했다. 입력·출력·캐시 읽기·캐시 쓰기를 따로 셌다. 가격 구간: OpenAI는 입력이 27.2만 토큰을 넘는 요청에 입력·캐시 입력 2배, 출력 1.5배의 긴 문맥 가격을 매긴다. xAI는 프롬프트가 20만 토큰에 닿은 요청의 모든 토큰에 2배 가격을 매긴다. Claude Haiku 5.5는 10만 토큰을 넘는 프롬프트에 높은 가격을 매긴다. Anthropic의 나머지 모델에는 문맥 길이 가격 구간이 없다. Anthropic 가격 문서(2026-10-15 열람) https://platform.claude.com/docs/en/about-claude/pricing 는 Claude 4.6 이후 모델(Haiku 5.5 제외)이 100만 토큰 문맥 전체를 표준 가격으로 쓴다고 적는다. Anthropic 정가도 이 문서다. OpenAI(짧은 문맥 입력·캐시 입력·출력: gpt-6-astra $10·$1·$50, gpt-6.1-sol $2·$0.10·$10, gpt-5.6-sol $4·$0.40·$20, gpt-5.5 $5·$0.50·$30, gpt-6-luna $0.10·$0.01·$0.50, 2026-10-15) https://developers.openai.com/api/docs/pricing , xAI(20만 미만 입력·캐시·출력: grok-4.7·grok-4.6 $2·$0.50·$6, grok-4.5 $2·$0.30·$6, 2026-10-15) https://docs.x.ai/developers/models . 합계 $72,727 = Claude $56,333 + Codex $11,932 + Grok $4,462. 긴 문맥 가격이 붙은 요청은 Codex 29,940건 중 5,834건, Grok 25,096건 중 8,443건, Claude(Haiku) 2,756건이다. 항목별 입력 $7,085, 출력 $8,832, 캐시 읽기 $28,785, 캐시 쓰기 $28,025(Anthropic 5분 캐시 가격을 적용했다. 로그에 남은 응답 발췌에서 1시간 캐시 쓰기는 0건이었다). × 1,338.3원 = 월 0.97억 원. 정가 행이 없는 구모델은 가장 가까운 현행 모델 가격으로 대체했다: Opus 5·4.8·4.7·4.6 → Opus 5.5, Fable 5 → Fable 5.1, Sonnet 4.6 → Sonnet 5, Haiku 4.5 → Haiku 5.5. 청구액이 아니라 정가 환산 시나리오다. ↩︎ ↩︎ ↩︎

  44. CBRE 집계 수도권 데이터센터 상면 약 25만 원/kW·월(2025), 2026-07-14 보도. https://www.kharn.kr/news/article.html?no=31267 ↩︎

  45. Lenovo Press, 「On-Premise vs Cloud Generative AI Total Cost of Ownership (2026 Edition)」, 2026-07-24, 유지보수 연 12%, 5년 수명. https://lenovopress.lenovo.com/lp2368-on-premise-vs-cloud-generative-ai-total-cost-of-ownership-2026-edition ↩︎ ↩︎

  46. 감사원 조사 국내 주요 데이터센터 평균 PUE 1.76, 경향신문 2026-08-25. https://www.khan.co.kr/article/202608252057015 ↩︎

  47. 한국전력 일반용(을) 고압A 선택Ⅱ 요금표(2026-10-15 열람). https://online.kepco.co.kr/PRM004D00 ; 24시간 균일 부하로 가중한 부가세 전 단가 = 계절 가중 전력량요금 124.9 + 기본요금 환산 11.4 + 기후환경요금 9(https://www.hkbs.co.kr/news/articleView.html?idxno=809332) + 연료비조정 5(2026년 4분기, https://newsway.co.kr/news/view?ud=2026092109041207736) = 150.3원/kWh, 전력기금 2.7%를 더해 약 154원/kWh(https://online.kepco.co.kr/PRM033D00). 부가세는 사업자 환급 대상이라 뺐다. 데이터센터는 일반용 요금을 낸다(https://m.ddaily.co.kr/page/view/2026092918030075814). ↩︎

  48. 출시가 $3,999 — NVIDIA 개발자 포럼, 2026-02-23 가격 변경 공지(이전 가격 $3,999). https://forums.developer.nvidia.com/t/2-23-2026-price-change-announcement/361713 ; The Register, 2026-10-02($6,950). https://www.theregister.com/systems/2026/10/02/nvidia-debuts-4999-dgx-spark-with-half-the-ram-and-storage-amid-memory-crunch/5300622 ↩︎

  49. 뉴스1, 2025-07-29, 한국 출시가 715만 원. https://www.news1.kr/it-science/general-it/5861831 ; 다나와 DGX Spark FE 4TB 1,019만~1,069만 원(2026-10-15 검색). https://search.danawa.com/dsearch.php?query=DGX+Spark ↩︎

  50. 6.02억·0.97억은 표시용 반올림이고 누적은 원 단위로 계산했다. n대 누적 = n × (6.02억 + 월 운영비 × 개월). API 정가 누적 = 월 0.97억 × 개월. 가상 할인 시나리오 = 월 0.49억 × 개월. 교차 = 두 누적이 같아지는 시점 = n × 장비값 ÷ (상대 월액 − n × 월 운영비). 운영비만으로 API 정가 월액에 닿는 노드 수 = 0.97억 ÷ 월 운영비 = 운영비A 10.1대, 운영비B 7.8대. ↩︎ ↩︎

  51. Anthropic 가격 문서 「Batch processing」(2026-10-15 열람): “a 50% discount on both input and output tokens”, “These multipliers stack with other pricing modifiers, including the Batch API discount”. https://platform.claude.com/docs/en/about-claude/pricing#batch-processing — Codex·Grok의 배치 요금은 확인하지 않았다. 가상 시나리오는 50%를 세 공급자에 일률 적용했다. ↩︎

  52. MLCommons, 「MLPerf Inference v6.1 results」, 2026-09, “the best per-accelerator server scenario result was 5.7x better compared to v5.1 one year ago”. https://mlcommons.org/2026/09/mlperf-inference-v6-1-results/ ↩︎

  53. Artificial Analysis Intelligence Index v4.3.2(2026-10-15 열람): Claude Opus 5.5 58, GPT-6.1 Sol 52, MiMo-V2.6-Pro 46, GLM-5.3 45, Qwen3.6-35B-A3B 18. https://artificialanalysis.ai/leaderboards/models ; https://artificialanalysis.ai/models/qwen3-6-35b-a3b ↩︎ ↩︎

  54. Artificial Analysis Coding Agent Index, BenchLM 미러(2026-10-15 열람): Sonnet 5.5(Claude Code) 68.4, GLM-5.3(Opencode) 53.6. https://benchlm.ai/benchmarks/aacodingagents ↩︎

  55. Epoch AI, 오픈·클로즈드 모델 ECI 격차, 2026-05-29. https://epoch.ai/data-insights/open-closed-eci-gap ; 「Can AI automate Epoch?」, 2026-10-08. https://epoch.ai/publications/can-ai-automate-epoch ↩︎ ↩︎

  56. 같은 글, 3절 ⑥ 「매일 아침 올라오는 경영 리포트」. https://arca.live/b/aihomelab/185810092 ↩︎

  57. 같은 글, 3절 ⑤ 「AI 채점하는 원장」(숫자키 채점, “모델 엇갈림”, 블라인드 비교 탭, 판정이 정답지가 됨). https://arca.live/b/aihomelab/185810092 ↩︎

  58. 같은 글 포스트 4개 전문, 2026-10-14 20:44 KST 캡처 기준. 개발 반자동화 방침(포스트 2/4)은 있고, 숫자 계산을 별도 프로그램에 맡기는 구조나 운영 변경 승인 절차에 관한 문장은 없다. https://www.threads.com/@coldp_umpkin_/post/DecAtFOiduu ↩︎