DeepInfer 읽기: 딥시크가 공개한 추론 엔진과 공개하지 않은 것
목차
지난 20일 DeepSeek가 추론 프레임워크 DeepInfer를 Apache 2.0으로 공개했습니다. 사람들이 정작 오래 들여다본 건 코드가 아니라 함께 올라온 배포 Q&A 문서였습니다. 그 문서에는 "A single cluster currently serves 155 trillion tokens per day"라는 문장이 아무렇지 않게 들어 있습니다. 서비스 회사가 운영 수치를 이만큼 풀어놓는 일은 드뭅니다. Hacker News 글은 제3자 주간 집계에서 1위였고 집계 당시 댓글은 891개였습니다(원문 토론 내용은 확인하지 못했습니다). 사흘 뒤에는 vLLM 팀이 "범용 엔진으로도 비슷한 성능이 나온다"는 비교 글을 냈습니다.
지원 모델은 DeepSeek-V4.1-Flash 하나뿐이고 기본 체크포인트는 그보다 사흘 앞서 나온 DeepSeek-V4.1-Flash-1017입니다. 라이선스는 MIT입니다. 크기는 세는 기준에 따라 다르게 적힙니다. HF 모델 카드는 763B라고 쓰고, 기술 보고서는 백본 552B라고 씁니다. ISTA-DASLab 카드는 백본 551.9B와 Engram 조회 테이블 196.6B를 따로 제시합니다. 다만 둘을 더하면 748.5B여서 이것만으로 집계 차이 전체가 설명되지는 않습니다. 남는 부분의 구성은 확인하지 못했습니다. 실제로 토큰마다 활성화되는 파라미터는 decode에서 16B, prefill에서 8B입니다. 모델 카드의 자체 벤치마크를 보면 1017은 이전 V4.1-Flash보다 Terminal-Bench 4.0에서 42.3 대 31.2로 올랐습니다. 다만 같은 표 안에서도 Opus 5가 HLE, ProgramBench 같은 여러 항목에서 더 높습니다.
이 글은 모델 점수보다 엔진 쪽을 봅니다. 무엇이 공개됐고 그 설계에서 무엇을 배울 수 있으며 우리 팀이 이걸 직접 돌려야 하는지를 차례로 따져 봅니다.
「fully open source」라는 공지와 README에 빠진 세 가지
DeepSeek의 X 공지는 "now fully open source"라고 썼다고 알려져 있습니다. 원문은 직접 열람하지 못했습니다. README 첫 문단은 그보다 훨씬 조심스럽습니다. "This open-source release provides offline inference with the core features needed for serving at scale." 공개된 것은 오프라인 추론입니다.
README는 완전한 추론 서비스에 필요하지만 이번에 빠진 것을 직접 꼽습니다.
- KV 캐시 시스템
- Vision Encoder/Prefill/Decode 분리 배포. README는 "most required engine functionality is already implemented"라고 덧붙였습니다.
- prefill과 decode 양쪽의 데이터 병렬 레플리카 간 로드밸런싱
여기에 HTTP 서빙 서버도 없습니다. Q&A는 KV 캐시 관리와 로드밸런싱 컴포넌트가 내부 인프라와 강하게 얽혀 있어서 "not yet fully open-sourced"라고 설명합니다. SiliconANGLE은 DeepSeek가 2025년 4월에도 엔진이 클러스터 관리 도구와 결합돼 있다는 이유로 전체 공개를 미뤘다고 보도했습니다. DeepSeek의 open-infra-index 문서도 내부 클러스터 관리 도구 의존성과 유지보수 여력 부족을 전체 엔진 공개의 걸림돌로 설명합니다. 그 문서의 작성 시점까지는 확인하지 못했습니다.
그렇다고 내용이 빈약한 건 아닙니다. 엔진 본체가 있고 커널 라이브러리로 FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect와 자체 TileLang 커널이 따라옵니다. README는 DeepInfer가 "originally built primarily on vLLM"이었고 SGLang과 TensorRT-LLM에서도 영감을 받았다고 밝힙니다. 출발점이 범용 엔진이었던 셈이죠.
같이 나온 deepseek-recipe는 따로 볼 만합니다. Rust 라이브러리에 Python 바인딩을 붙인 MIT 패키지로, Chat Completions·Responses·Messages API 요청을 V4/V4.1 프롬프트와 토큰 ID로 바꾸고 출력을 다시 응답으로 파싱합니다.
python3 -m pip install deepseek-recipefrom deepseek_recipe import ChatCompletionRequest, ConversionOptions, DeepseekV41Encoding
request = ChatCompletionRequest({
"model": "DeepSeek-V4.1-Flash",
"messages": [{"role": "user", "content": "Hello"}],
})
converted = request.convert(ConversionOptions())
rendered = DeepseekV41Encoding().render_conversation(converted.conversation)
print(rendered.prompt)모델 카드에 Jinja 채팅 템플릿이 없다는 점을 생각하면, 다른 엔진으로 이 모델을 서빙하려는 팀도 이 패키지를 쓸 이유가 있습니다. 모델 추론, 도구 실행, HTTP 전송은 여전히 호출하는 쪽이 맡아야 합니다. "엔진을 받으면 API 서버가 생긴다"는 기대로 접근하면 첫날 바로 벽에 부딪힙니다.
효율이 나오는 최소 단위는 GPU 128장이다
Q&A가 밝힌 설계 목표 중 하나는 prefill과 decode에 서로 다른 급의 하드웨어를 쓰는 것입니다. prefill은 흔한 8-GPU 머신에서, decode는 64–128-GPU 슈퍼노드에서 돌립니다. 역할별 구성을 정리하면 다음과 같습니다.
| 역할 | 병렬 구성 | 하드웨어 | 크기를 정하는 기준 |
|---|---|---|---|
| Prefill | EP2–8 / DP2–8 | 일반 8-GPU 머신 | HBM이 허용하는 가장 작은 값 |
| Decode | EP64–128 / DP64–128 (Wide-EP) | 64–128-GPU 슈퍼노드 | 가용 GPU가 허용하는 가장 큰 값 |
| Vision Encoder | 인스턴스당 GPU 1장 | 저렴한 GPU 권장 | — |
| 항목 | 내용 |
|---|---|
| 공식 지원 가속기 | NVIDIA SM100 GPU, Huawei Ascend 950 NPU |
| OS / 컴파일러 | Linux, GCC >= 13.0 |
| Python | 3.12 |
| 툴킷 | CUDA 13 (NVIDIA), CANN 9.2 (Ascend) |
어텐션은 데이터 병렬로, MoE는 노드나 슈퍼노드 안에서 전문가 병렬로 돌립니다. TP와 CP는 "not used for now"입니다. Q&A가 꼽는 최소 효율 배포 단위는 "64 GPUs of prefill plus 64 GPUs of decode"입니다. 1P+1D 구성도 배포 자체는 되고 P:D 비율은 실무에서 대략 1:1로 맞춘다고 합니다.
여기서는 하드웨어 세대가 걸립니다. Hopper를 비롯한 이전 세대 NVIDIA 아키텍처는 지원 목록에 없습니다. H100·H200도 현재는 공식 지원 대상이 아닙니다. 커뮤니티 PR #148이 SM90 지원을 시도하고 있지만 열린 채로 리뷰가 붙지 않았습니다. 작성자는 8× H20에서 검증했다고 적었는데, 성능 데이터를 보여 달라는 요청에는 아직 답이 없습니다.
빌드와 오프라인 추론 자체는 간단합니다.
# Use `ascend` instead for the Ascend platform
# Keep it exported in the environment where you run DeepInfer
export DEEPINFER_ACCELERATOR=nvidia
./build.shpython examples/offline_inference.py로컬에 받아 둔 체크포인트를 쓰려면 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017를 지정합니다. 병렬 구성은 인자로 바꿀 수 있습니다.
python examples/offline_inference.py --ep 8
python examples/offline_inference.py --ep 2 --dp 8
python examples/offline_inference.py --ep 2 --cp 8예제에는 8장짜리 노드 하나로 돌리는 EP8 구성도 있습니다(직접 실행해 확인하지는 못했습니다). 하지만 Q&A가 말하는 효율은 Wide-EP decode에서 나옵니다. 노드 하나에서 낸 숫자로 DeepSeek의 운영 수치를 재현하려 들면 비교가 성립하지 않습니다.
캐시 히트 한 번은 세 구간을 지나 HBM에 올라온다
Entrypoint가 메타데이터만 보고 해시 체인으로 프리픽스를 맞춰 h1부터 h3까지의 히트를 찾는다. 이 단계는 라우팅 전에 끝나야 하므로 시간을 숨길 수 없다.
모든 단계 보기
- Entrypoint가 메타데이터만 보고 해시 체인으로 프리픽스를 맞춰 h1부터 h3까지의 히트를 찾는다. 이 단계는 라우팅 전에 끝나야 하므로 시간을 숨길 수 없다.
- 별도 프로세스가 3FS에서 비동기 fetch를 시작한다. 10+2 이레이저 코딩으로 나뉜 그룹의 11개 노드에 동시에 읽기를 보낸다.
- 아무 10개 노드의 응답이 도착하면 디코딩해 블록을 호스트 공유메모리에 올린다. 늦은 노드 하나는 기다리지 않는다.
- 엔진 스레드가 GDR(RDMA NIC)로 첫 레이어의 KV를 HBM에 올린다. SM을 쓰지 않고 PCIe를 포화시킨다.
- 다음 레이어를 올리는 동안 이미 올라온 레이어의 forward 계산이 진행되어, 레이어별 전송과 계산이 겹친다.
이 절에서 다루는 KV 캐시 시스템은 이번 공개에서 빠진 부분입니다. 코드는 없고 Q&A의 설명만 있습니다. 그런데도 읽을 가치가 있는 건, 에이전트 트래픽처럼 긴 프리픽스가 계속 반복되는 워크로드를 다루는 팀이라면 결국 비슷한 문제를 풀게 되기 때문입니다. Q&A의 설계 목표에는 KV 캐시를 72시간 넘게 보관한다는 항목이 있습니다. GPU 메모리만으로는 어림도 없는 시간이죠.
그래서 캐시를 층으로 나눕니다. 진행 중인 block KV와 state KV는 GPU HBM에 둡니다. SWA KV는 로컬 호스트 메모리에 사본 하나만 두고 3FS에는 쓰지 않습니다. 다른 머신에서 히트하면 400G VLAN으로 가져옵니다. 페이지 단위 block KV는 전용 3FS 클러스터에 저장합니다. 3FS는 10+2 소거 코딩(erasure coding, 이레이저 코딩)을 씁니다. 읽을 때 그룹의 11개 노드에 동시에 요청하고 어느 10개든 먼저 응답이 오면 디코딩합니다. 느린 노드 하나가 전체 지연을 끌어내리지 못하게 하는 구조입니다.
히트 하나는 이렇게 처리됩니다.
- Entrypoint가 메타데이터만 보고 해시 체인으로 프리픽스를 매칭합니다. 라우팅 전에 끝나야 하는 단계라서 다른 작업 뒤로 숨길 수 없습니다.
- 별도 프로세스가 3FS에서 호스트 공유 메모리로 데이터를 비동기로 가져옵니다.
- 엔진 안의 스레드가 HBM으로 swap-in합니다. 레이어별 H2D 전송을 forward 계산과 겹쳐서 진행합니다.
세 번째 단계에 현업 냄새가 나는 결정이 하나 있습니다. CUDA copy engine은 잘게 쪼개진 블록을 복사하는 데 약합니다. 그래서 swap-in을 GDR(RDMA NIC)로 구현했습니다. SM을 하나도 쓰지 않고 PCIe를 포화시킬 수 있다는 설명입니다. 연산 자원을 복사에 빼앗기지 않겠다는 선택이죠.
규모도 만만치 않습니다. KV 캐시용 3FS SSD가 약 100 PiB이고 보관 기간(TTL)은 에이전트 트래픽이 3일, 챗봇이 7일입니다. 챗봇 TTL을 약 3일로 줄이면 히트율이 0.5–1% 떨어진다고 합니다. 권장 스토리지 서버는 30.73TB SSD 20개에 읽기 40GB/s, 쓰기 5GB/s 이상입니다.
모든 서비스에 이런 계층이 필요하지는 않습니다. 대화가 짧고 프리픽스가 거의 반복되지 않는 워크로드라면 저장 비용만 늘어납니다. 시스템 프롬프트나 도구 정의, 긴 문서를 매번 다시 보내는 에이전트형 트래픽이어야 디스크 계층이 제값을 합니다. 그런 트래픽이 아니라면 엔진이 기본으로 제공하는 GPU 메모리 안 프리픽스 캐시부터 측정해 보는 게 순서입니다.
최근 128토큰만 다시 계산하는 근사
앞 절에서 SWA KV는 3FS에 쓰지 않는다고 했습니다. 그러면 다른 머신에서 프리픽스가 히트했는데 SWA KV가 없을 때는 어떻게 할까요? 정석은 슬라이딩 윈도우 전체를 다시 계산하는 것입니다. DeepSeek는 더 싼 쪽을 택했습니다. SWA Bounded Replay입니다.
replay를 위치 s에서 시작한다고 해 봅시다. 위치 i의 query는 원래 창 전체를 봐야 하지만, 여기서는 max(s, i−127)부터 i까지의 key만 봅니다. 어텐션 창을 재계산 구간 안으로 잘라 버리는 겁니다. 그 결과 다시 계산하는 토큰 수는 컨텍스트 길이에 따라 늘어나지 않고 창 크기로 묶입니다. 실제 연산량은 그 토큰들이 통과하는 레이어 수와 레이어별 계산량에 따라 달라집니다. 대가도 분명합니다. 이렇게 얻은 SWA KV는 정확한 값이 아니라 근사입니다. 문서도 스스로 "approximate SWA KV cache"라고 부릅니다.
Decoder 쪽에서는 효과가 더 큽니다. CED 구조에서는 decoder 레이어의 block KV가 마지막 encoder 레이어의 hidden state에서 사영됩니다. 이걸 정확히 재구성하려면 마지막 2,560토큰을 decoder 20개 레이어에 다시 통과시켜야 합니다. 대신 프롬프트 끝의 같은 짧은 구간만 재계산해 decode에만 쓰고 프리픽스 캐시에는 넣지 않습니다. 문서는 이렇게 하면 "nearly halving total prefill computation"이라고 설명합니다.
히트 정책도 이 창에 맞춰져 있습니다. 입력 길이가 L이면 최대 히트 길이는 L − 134입니다. 창 크기에 투기적 디코딩 백트래킹 6토큰을 더한 값입니다. block KV 히트 길이 L1을 구한 뒤, [L1−128, L1] 구간에 SWA KV가 있으면 L1을 그대로 쓰고 없으면 창 하나만큼 물러섭니다. 요청 간 재사용을 위해 호스트 메모리에 보관하는 SWA 상태는 시퀀스당 20 layers × 134 tokens × 528 B = 1,415,040 B이며 토큰당 528 B는 MXFP8 형식입니다. 변수명은 state_size_to_disk이지만 이 SWA 상태는 디스크에 영속 저장하지 않습니다.
README는 V4.1용 설정으로 아래 값을 안내합니다.
# Decoder SWA bounded replay (V4.1용 설정)
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact
DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140실행 경로마다 실제로 켜지는지는 따로 확인해야 합니다. 예를 들어 benchmark.py의 --yoco_clip은 기본값이 0이라서, 벤치마크에서 이 기능을 쓰려면 인자를 명시해야 합니다. README는 유지하는 접미부가 SWA 창과 최대 백트래킹 길이를 함께 덮어야 한다고만 적었습니다. Q&A의 134와 README의 140이 어떤 관계인지는 어느 문서에도 나와 있지 않습니다. 여유분을 더한 값으로 보이지만 추정일 뿐입니다.
품질 쪽은 자료가 얇습니다. DeepInfer 문서 안에서 이 근사의 품질 영향을 다룬 상세 비교표는 찾지 못했습니다. 다만 vLLM은 별도 글에서 GSM8K·GPQA로 비교했을 때 차이가 약 1.5 표준오차 이내였다고 보고했고 기술 보고서도 품질 영향이 미미하다고 설명합니다. 이 결과가 모든 장문 작업을 보장하지는 않습니다. 긴 문서에서 정확한 인용을 뽑아야 하는 작업이나 출력 재현성이 중요한 평가 파이프라인이라면, 이 설정을 기본값 그대로 믿기보다 자기 데이터로 켠 경우와 끈 경우를 비교해 보는 게 맞습니다.
GPU가 노는 틈을 CPU가 다음 스텝으로 메운다
추론 루프를 가장 순진하게 짜면 schedule(N) → forward(N) → sample(N) → post-process(N)가 됩니다. 이대로 돌리면 post-process(N)와 schedule(N+1)이 도는 동안 GPU는 아무것도 하지 않습니다. decode 스텝 하나가 수 밀리초 단위인 환경에서는 CPU 쪽 몇백 마이크로초도 무시할 수 없는 비율이 됩니다.
DeepInfer는 두 줄을 겹칩니다. GPU가 forward(N) → sample(N)을 도는 동안 CPU는 schedule(N+1) → launch_forward(N+1) → post-process(N−1) → launch_sample(N+1)을 처리합니다. 후처리는 한 스텝 늦게, 스케줄링은 한 스텝 일찍 하는 셈입니다. SGLang과 NanoFlow의 방식을 따랐다고 밝혔으며 README 기준으로 기본 활성화되어 있습니다.
겹치기에는 늘 대가가 따릅니다. 다음 스텝을 정할 때 이전 스텝의 결과를 아직 모르기 때문입니다. 다음 절의 투기적 디코딩에서 이 문제가 바로 드러납니다. schedule(N+1) 시점에는 스텝 N의 confidence가 도착하지 않았습니다. 그래서 CPU는 총 예산만 정하고, 요청별 검증 길이는 GPU의 TileLang 커널(누적곱, top-k 전역 정렬, fused remap scatter)이 다시 계산해 pinned buffer에 씁니다. 결정을 GPU 쪽으로 옮겨서 CPU가 결과를 기다리지 않게 한 것이죠.
이런 구조는 성능을 분석할 때 사람을 헷갈리게 합니다. examples 문서에 따르면 프로파일러를 끈 뒤에도 bsz=1에서 약 7–11% 느려진 상태가 남고 트레이스 안의 스텝 시간은 bsz=1에서 최대 50% 가까이 부풀려질 수 있습니다. 트레이스를 보고 "이 스텝이 이렇게 느렸나?" 싶을 때는 프로파일러 없이 다시 잰 수치와 먼저 비교해야 합니다. 겹쳐 돌아가는 루프는 관찰하는 순간 모양이 바뀝니다.
검증 토큰을 줄이면 동시성이 높을수록 이득이 커진다
DeepSeek의 투기적 디코딩은 DSpark라고 부릅니다. 드래프트 모델이 한 번에 5토큰을 만들면 Confidence Head가 토큰마다 수락 확률을 예측합니다. 그다음 하드웨어 처리량 곡선을 미리 프로파일해 둔 값을 기준으로, 기대 실효 처리량이 가장 커지는 앞부분만 골라 검증합니다. 드래프트를 전부 검증하지 않고 가능성 높은 앞쪽만 보는 셈입니다.
검증 토큰은 스텝당 고정값에서 3.2–4.4로 약 30% 줄어듭니다. 평균 수락 길이는 3.29에서 3.20으로 거의 그대로입니다. 버리는 토큰은 애초에 수락될 가능성이 낮았던 것들입니다.
| rank당 동시성 | 고정 5토큰 검증 (tok/s/rank) | 가변 길이 검증 (tok/s/rank) | 변화 |
|---|---|---|---|
| 16 | 4891 | 4816 | −1.5% |
| 32 | 8964 | 9111 | +1.6% |
| 48 | 12032 | 12467 | +3.6% |
| 60 | 13730 | 14466 | +5.4% |
| 72 | 14962 | 15961 | +6.7% |
| 96 | 16817 | 18660 | +11.0% |
※ Q&A가 EP64/DP64 벤치마크 데이터로 추정한 처리량입니다. 직접 측정한 값이 아닙니다.
표의 흐름이 흥미롭습니다. 동시성이 낮을 때는 오히려 약간 손해입니다. GPU에 여유가 있을 때는 검증 토큰을 몇 개 더 넣어도 비용이 거의 늘지 않으니, 줄여 봐야 얻는 게 없습니다. 배치가 차오를수록 검증 토큰 하나하나가 다른 요청의 몫을 빼앗게 되고 그때부터 덜어내는 효과가 커집니다. DeepSeek가 밝힌 운영점은 rank당 약 60 시퀀스이며 그 근처에서 +4–7%라고 합니다.
그래서 이 기능은 동시성이 높은 서비스에 맞습니다. 공개된 추정 표에서는 동시성이 낮을수록 이득이 줄거나 역전됩니다. 표가 다루는 가장 낮은 동시성도 사용자 한두 명 수준은 아니니, 사용자 수가 적거나 단일 요청 지연이 중요한 환경이라면 별도로 측정해 봐야 합니다. 결과를 비트 단위로 재현해야 하는 경우에는 끌 수밖에 없습니다. 결정적 샘플링은 NVIDIA에서만 지원되는데, 이를 쓰려면 가변 길이 검증을 꺼야 합니다.
# DSpark 가변 검증 (최대 드래프트 길이 기본값 5는 DEEPINFER_USE_NEXTN_DECODE로 조정)
DEEPINFER_ENABLE_MTP_VARLEN=1
# Batch-invariant (NVIDIA only)
DEEPINFER_BATCH_INVARIANT=1
# Deterministic sampling (NVIDIA only, SamplingParams에 고정 seq_seed 전달)
DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0시간당 38달러는 매출이지 비용이 아니다
Q&A 문장을 그대로 옮기면 이렇습니다. "overall revenue of US$38 per GPU-hour (at valley pricing)". 이 숫자는 공개 직후부터 여러 곳에서 다른 숫자와 나란히 인용됐습니다. 성격이 다른 숫자끼리 비교되는 경우가 많아서 표로 정리해 둡니다.
| 수치 | 무엇인가 | 출처와 성격 |
|---|---|---|
| $38 / GPU-hour | 단일 클러스터의 매출, 밸리(비수기) 가격 기준 | DeepSeek Q&A, 감사받지 않은 자체 주장 |
| $38.96 / GPU-hour | vLLM 측정 처리량에 DeepSeek 밸리 가격을 곱한 매출 환산치 | vLLM 블로그, 실제 매출 아님 |
| $7.98 / GPU-hour | B300 임대료 중간값 (AIMultiple 8월 지수) | FourWeekMBA 논평, 원 지수는 미확인 |
| $29,337.60 / 일 | 128-GPU 클러스터 임대 비용 | Tokely, API 재판매 업체 분석 |
| 사용률 76% | 위 임대 비용이 오프피크 API 가격($0.60/1M 출력 토큰)보다 싸지는 손익분기점 | Tokely, 이해관계 있음, 산식 미확인 |
DeepSeek의 수치에는 조건이 세 겹 붙어 있습니다. 클러스터 하나의 값이고 비수기 가격 기준이며 비용이나 이익률이 아니라 매출입니다. 임대료 중간값과 나란히 놓으면 마진이 엄청나 보이지만 그 사이에는 전력, 스토리지, 네트워크, 유휴 시간, 인건비가 통째로 빠져 있습니다. 앞에서 본 100 PiB급 KV 캐시 스토리지도 그 빠진 항목 중 하나입니다.
vLLM의 환산치도 마찬가지입니다. GB300 NVL72 랙 한 대에서 P/D 분리와 Wide-EP로 SemiAnalysis AgentX 워크로드를 돌려, 캐시된 입력·캐시되지 않은 입력·출력 토큰을 합산한 처리량으로 GPU당 954K tokens/s(P90 사용자당 196 tokens/s)를 냈습니다. 여기에 토큰 종류별 DeepSeek 가격을 곱한 값이 그 환산치입니다. "이만큼 벌 수 있다"는 뜻이 아니라 "이 처리량을 DeepSeek 가격표로 팔았다면 이 정도 매출이 된다"는 뜻입니다. 출력 토큰 처리량과 직접 비교해서도 안 됩니다.
셀프호스팅을 검토하는 팀에게 실제로 쓸모 있는 숫자는 Tokely의 손익분기 사용률입니다. 계산한 쪽이 API 재판매 업체이고 그 산식과 전제를 직접 확인하지는 못했다는 점은 감안해야 합니다. 그래도 질문 자체는 정확합니다. 우리 트래픽으로 그 규모의 GPU를 하루 종일 그만큼 채울 수 있느냐는 겁니다. 낮에만 몰리고 밤에는 비는 사내 트래픽이라면 대부분 답은 "아니오"입니다.
DeepInfer를 직접 돌릴 팀과 vLLM·SGLang으로 갈 팀
DeepInfer를 직접 돌릴 이유가 있는 팀은 꽤 좁습니다. SM100이나 Ascend 950을 이미 갖고 있고 앞에서 본 128장 규모를 꾸릴 수 있으며 빠진 KV 캐시 시스템과 로드밸런서와 HTTP 계층을 직접 만들 엔지니어링 여력이 있어야 합니다. 그런 팀에게 이 저장소는 DeepSeek가 실제로 쓰는 커널과 스케줄링을 그대로 들여다볼 수 있는 기회입니다. 단, 공개판이 내부판과 똑같지는 않습니다. 공개된 FlashMLA에는 수작업 SASS 최적화 하나가 빠져 decoding 커널이 5–10% 느리고 엔드투엔드로는 최대 5% 차이가 납니다. 내부 드래프트 모델도 "somewhat newer"라고 DeepSeek 스스로 인정했습니다.
대부분의 팀에게는 범용 엔진이 현실적인 답입니다. vLLM 팀은 DeepSeek 설정(131K 컨텍스트, nextn=3)에서 GB200 위의 vLLM이 배치 8–256 구간 decode에서 DeepInfer 공개치의 6% 이내라고 밝혔습니다. 다만 몇 가지를 걸러 들어야 합니다.
- 경쟁 엔진 쪽이 잰 값이며 DeepInfer 값은 README 차트를 눈으로 읽은 것입니다.
- prefill은 설정이 서로 달라서 엔진 간 속도 차이로 해석하지 말라고 vLLM이 직접 적었습니다.
- vLLM은 DeepInfer 차트를 "hardware not stated"라고 설명했는데, 10월 24일에 가져온 README에는 "4 SM100 GPUs for prefill and 64 for decode"라는 문구가 있습니다. README가 나중에 고쳐졌는지는 확인하지 못했습니다.
- DeepInfer의
benchmark.py는 decode 처리량을avg_SPS × decode_num_requests × (1 + nextn) / --cp로 계산합니다. 실제 수락률과 상관없이 스텝마다 1+nextn 토큰이 전부 수락됐다고 치는 방식입니다. 공개된 플롯 코드는 고정 길이 검증 데이터에 수락률 인자를 적용해 이 값을 스케일합니다. 하지만 README 차트를 만든 정확한 실행 인자와 당시 문서 버전은 확인하지 못했습니다.
# decode: sweep decode_num_requests (8…256), nextn=3, plot scaled by a draft acceptance rate of 0.75
bash examples/sweep/run_sweep.sh decode ce-128k 131072 3 0.75SGLang 쪽에는 커뮤니티 운영 기록이 하나 있습니다. 4× B200(Vast.ai, 시간당 약 $28)에서 나이틀리 이미지에 패치 두 개를 얹어 24시간 운영했습니다. 사용자당 decode는 동시 요청 1 / 2–8 / 9–16에서 510 / 346 / 169 tok/s, TTFT p50/p90/p99는 0.39/1.45/6.0초, 프리픽스 캐시 히트율은 96.7%였습니다. 첫 부팅에 17분이 걸렸고 동시 요청이 20개를 넘은 적이 없어서 고부하 구간은 알 수 없습니다. 운영 중 문제도 있었습니다. thinking을 지정하지 않은 요청의 message.content에 원시 추론 내용과 </think>가 섞여 나왔고 청크를 8192로 올리자 indexer에서 OOM이 났습니다. 10월 17일 기준으로 이 기록에는 "no released SGLang serves V4.1 yet"라는 언급도 있습니다. HF 모델 페이지가 보여 주는 vllm serve나 sglang.launch_server 스니펫은 자동 생성된 것이니, 실제로 어느 버전부터 지원하는지 확인한 뒤에 쓰는 게 안전합니다.
GPU 한두 장으로 이 모델을 써 보고 싶은 경우라면 아직 길이 좁습니다. ISTA-DASLab의 GGUF 파생 모델은 자체 측정에서 IQ2_XXS도 원본과 같은 평균 점수를 냈다고 합니다. 하지만 측정은 벤치마크 세 개와 reasoning effort 50으로 한정됩니다. 실행 환경은 더 큰 문제입니다. 카드는 10월 23일 기준 llama.cpp가 V4.1을 지원하지 않는다고 적고 해당 GGUF의 실행 경로로 제3자 엔진 Strata를 안내합니다. "12GB GPU 1장"이라는 주장은 백본 대부분을 시스템 RAM에, Engram을 SSD mmap에 두는 방식이고 속도 수치는 없습니다. 모델 카드의 convert.py·generate.py 참조 구현도 문서 스스로 "A readable reference implementation rather than a production serving engine"이라고 선을 그었습니다. 구조를 공부하는 용도로 보면 됩니다.
공공 부문이라면 기술 외적인 조건도 따져야 합니다. 미국 국토안보부(DHS)의 공식 공고는 DeepSeek 제품의 연방 민간 기관 조달 배제와 기존 시스템에서의 제거를 명시했고 DeepSeek 구현을 쓰는 일부 제3자 제품·서비스도 대상에 넣었습니다. SiliconANGLE은 이 조치를 DeepInfer 공개 하루 전 소식으로 보도했는데, 공고가 공개된 날과 원명령이 발령된 날은 구분해서 봐야 합니다. 어느 쪽이든 조달 검토에서는 반드시 걸러질 항목입니다.
어느 엔진을 고르든 첫 배포가 끝나면 평가부터 돌려 보세요. DeepInfer의 eval/README는 V4.1 기본 설정 Pass@1 참고치로 AIME 2026 99.9%, GPQA Diamond 93.4%, HLE-Full 42.6%를 제시합니다. 이 값은 성능 경쟁용이 아니라 배포 설정이 제대로 됐는지 확인하는 sanity check 용도라고 명시돼 있습니다. 평가 스크립트는 데이터셋을 자동으로 내려받지 않으니, 안내에 따라 JSONL을 먼저 준비해야 합니다.
EP=8 N_SAMPLE=4 TAG=smoke bash eval/aime/run.sh # smoke test
bash eval/aime/run.sh # full run with the default model
MODEL=/path/to/DeepSeek-V4.1-Flash-1017 bash eval/aime/run.sh # local HF directorypython eval/score.py --out-dir eval/outputs/aime/<TAG> --judge rule결과에 coverage_complete=true가 찍혔는지부터 확인하세요. 모든 rank와 샘플이 모이지 않았다면 그 점수는 유효하지 않습니다. 점수가 참고치에서 크게 벗어나면 엔진 비교를 할 단계가 아닙니다. 채팅 템플릿과 샘플링 설정부터 다시 확인해야 합니다. 누군가 처리량 숫자를 들고 오면, 그 decode 수치가 실제 수락률로 스케일된 값인지부터 물어보세요.
