20GB 모델이 큰 모델처럼 깊게 생각할 수 있을까: Inkling 2 Mini
목차
재미있는 실험이 하나 올라왔습니다. Thinking Machines Lab(TML)이 2026년 11월 20일에 공개한 오픈 웨이트 모델, Inkling 2 Mini 이야기입니다. 노트북 가방에 들어가는 맥북 프로(MacBook Pro) 한 대로, 네트워크를 끈 비행기 안에서 비행 시뮬레이터를 만들어 냈다는 데모를 함께 내놓았거든요.
보통 인공지능 모델의 계산 깊이를 늘리는 전통적인 방법은 서로 다른 층을 더 많이 쌓는 것입니다. 그러면 모델 파일 크기와 필요한 메모리도 같이 커지기 마련이죠. 이 모델은 저장하는 층 수를 줄인 대신, 가운데 층을 여러 번 다시 돌리는 방식을 택했습니다.
크기는 노트북에 들어갈 만큼 줄였는데, 생각의 깊이는 큰 모델만큼 유지하겠다는 발상입니다. 정말로 같은 가중치를 몇 번씩 다시 읽는 것만으로 그만한 추론이 가능할까요, 아니면 어딘가에서 다른 값을 치르고 있는 걸까요?
노트북에 들어간 모델이 왜 같은 층을 다시 도나
보통 트랜스포머 모델은 토큰이 입력에서 출력까지 각 층을 한 번씩만 통과하지만 Inkling 2 Mini는 24개 층만 저장해 두고 가운데 12개 층을 토큰마다 세 번씩 반복해 총 48번 층을 지나갑니다. 한 층 안에서도 모든 신경망을 다 쓰지 않고 128개 전문가 중 8개만 골라 켜는 구조가 함께 들어가죠.
이런 구조를 '반복형 트랜스포머(looped transformer)'라고 부릅니다. 일반 언어 모델은 층 더미를 위에서 아래로 한 번 훑고 계산을 끝내는데, 반복형은 같은 가중치를 가진 층 묶음을 여러 번 다시 통과시킵니다. 초고를 한 번 쓰고 덮는 대신, 같은 사람이 같은 원고를 세 번 다시 읽으며 다듬는 것과 비슷해요. 사람 수(파라미터)는 그대로인데, 들이는 시간(연산)을 늘려 더 깊이 생각하는 셈입니다.
이 아이디어의 대표적인 선행연구로 2018년 7월 Dehghani 등이 발표한 Universal Transformers가 있습니다. 당시에는 일반 트랜스포머가 학습 때보다 긴 문자열을 다루거나 논리 추론을 할 때 약해지는 문제를 풀려고 내놓았죠. 요즘 다시 주목받는 건 메모리가 빠듯한 로컬 기기에서 파라미터를 늘리지 않고도 계산 깊이를 키울 수 있어서입니다.
여기에 얹은 또 하나의 장치가 Mixture-of-Experts(MoE, 전문가 혼합)입니다. 한 층의 피드포워드 신경망을 여러 '전문가'로 쪼개 두고, 라우터가 토큰마다 필요한 일부만 골라 계산하는 방식이죠. 대형 병원에 의사가 여럿 있어도 환자 한 명은 증상에 맞는 몇 명에게만 진료를 받는 것과 같습니다. 병원 건물(메모리)은 전체 의사 수만큼 필요하지만 한 번 진료하는 시간(연산)은 고른 몇 명분만 듭니다.
이 구조 덕분에 총 파라미터는 26.4B이지만 토큰 하나를 처리할 때 실제로 활성화되는 파라미터는 3.4B에 그칩니다. 로컬 실행에서는 가중치 메모리가 총 파라미터와 정밀도에, 생성 속도가 반복을 포함한 활성 연산량과 하드웨어에 크게 좌우되거든요. TML은 바로 2주 전인 11월 5일에 총 594B 규모의 큰 형제 모델 Inkling 2 Small을 먼저 공개했는데, 그 거대한 모델에서 무엇을 덜어내고 무엇을 남겼기에 작은 기기에 들어갈 수 있었을까요?
큰 형 Small에서 무엇을 덜어내고 무엇을 남겼나
TML 공식 발표에 따르면, Inkling 2 Mini는 큰 모델의 메인 레시피에서 딱 두 가지만 바꿨습니다. 각 층의 전문가를 3분의 2만큼 가지치기해 덜어내고 대신 가운데 층을 반복하는 구조를 넣었습니다. 양자화 방식이나 학습 데이터 구성 같은 나머지는 그대로 따랐죠.
두 모델의 사양을 나란히 놓아 보면, 체격은 크게 줄었지만 토큰 하나가 거치는 층 방문 횟수만큼은 그대로 유지한 설계가 드러납니다.
| 항목 | Inkling 2 Small | Inkling 2 Mini |
|---|---|---|
| 총 파라미터 | 594B | 26.4B |
| 활성 파라미터 | 17B | 3.4B |
| 은닉 크기 | 4,608 | 2,304 |
| 층당 전문가 수 (선택) | 384개 (8개) | 128개 (8개) |
| 토큰당 층 방문 횟수 | 48회 | 48회 |
Hugging Face 블로그가 짚은 세부 과정을 보면 가지치기 방식이 꽤 흥미롭습니다. 학습 초기에는 큰 모델과 같은 희소도로 출발했다가, 중간학습의 한 시점에 층별로 가장 많이 쓰인 전문가만 남기고 나머지를 잘라냈거든요. 그 뒤에는 더 큰 내부 모델에서 증류한 1T 토큰으로 빈자리를 메우는 'healing' 학습과 지도 미세조정(SFT)을 거쳤고, 이어진 강화학습(RL)은 2,000스텝 동안 총 2.2T 토큰 규모로 진행됐습니다.
체격은 줄였지만 계산 깊이는 놓지 않은 셈입니다. 그렇다고 저장된 층 가운데 아무 데나 골라 반복할 수는 없겠죠. 왜 하필 맨 앞이나 맨 뒤가 아니라 가운데 층을 골라 다시 돌렸을까요?
왜 하필 가운데 층을 반복하나
TML 연구진은 모델 안에서 앞뒤 몇 층과 가운데 층이 맡는 일이 다르다고 봤습니다. 앞뒤 층은 글자나 이미지를 내부 표현으로 바꾸고 다시 꺼내는 번역 일을 맡고 정작 추상적인 추론은 가운데 층에서 일어난다는 직관이었죠. 실제로 전체 층을 네 블록으로 나누어 첫 블록(prelude)과 마지막 블록(coda)은 한 번씩만 지나고 가운데 두 블록(core)만 세 번씩 돌며 직전 패스가 남긴 정보(message)를 게이트로 받아들입니다.
토큰이 prelude 0–5층을 한 번 지나 층 방문 횟수가 6이 된다.
모든 단계 보기
- 토큰이 prelude 0–5층을 한 번 지나 층 방문 횟수가 6이 된다.
- core 6–17층을 처음 지나며 층 방문 횟수가 18이 된다.
- core를 두 번째로 지난다. 첫 패스의 message가 게이트를 거쳐 들어오고 층 방문 횟수는 30이 된다.
- core를 세 번째로 지난다. 두 번째 패스의 message가 게이트를 거쳐 들어오고 층 방문 횟수는 42가 된다.
- coda 18–23층을 한 번 지나 층 방문 횟수가 48에 이른다. 저장한 층은 24개지만 Inkling 2 Small과 같은 48번을 방문한다.
TML 실험 보고에 따르면, 가운데 12층을 반복한 모델이 마지막 12층을 반복한 모델보다 28개 평가 중 27개에서 정확도 향상이 더 컸습니다. 또한 비반복 기준 모델이 같은 손실에 도달하려면 가운데 반복 대비 1.51~1.91배의 학습 연산이 더 필요할 것으로 추정했죠.
반복할 때 앞선 계산 결과를 잊지 않고 이어 받는 장치도 일반 모델과 다릅니다. 보통 트랜스포머는 모든 층의 출력을 하나의 누적합(잔차 스트림)에 계속 더하지만, Inkling 2 Mini는 각 층이 앞 블록들의 출력을 보고 자기만의 혼합 비율을 학습하는 Attention Residuals 구조를 씁니다. 가운데 층을 다시 돌 때는 작은 게이팅 컨트롤러가 현재 입력을 얼마나 비우고 직전 패스의 message를 얼마나 섞을지 조절하죠. 학습 초기에는 이 게이트를 완전히 닫아 일반 모델처럼 안정적으로 출발했다가, 학습이 진행되면서 반복 패스의 비중을 서서히 키우는 방식입니다.
그런데 구조만 잘 짰다고 노트북에서 바로 돌아가지는 않습니다. 이 정도 크기의 모델이 32GB 메모리 기기에 쏙 들어간 데에는 또 다른 비결이 하나 더 있거든요.
학습한 정밀도 그대로 내놓는다는 건 무슨 뜻인가
보통 20B가 넘는 모델을 노트북 메모리에 맞추려면, 학습이 끝난 무거운 BF16(16비트 부동소수점) 파일을 4비트 같은 작은 숫자로 줄이는 사후 양자화를 흔히 사용합니다. 숫자를 반올림하는 과정에서 오차가 쌓여 정확도가 달라질 수 있죠. 하지만 Inkling 2 Mini는 전문가 가중치를 저비트 수치 형식으로 학습하고 그 정밀도 그대로 약 20GB짜리 단일 체크포인트로 내놓아 별도 변환 없이 MLX나 Ollama 같은 로컬 도구에 실을 수 있습니다.
여기서 쓰는 형식이 NVIDIA Blackwell 하드웨어가 가속하는 NVFP4(값당 4.5비트)와 MXFP8(값당 8.25비트)입니다. TML이 앞서 공개한 4비트 종단간 학습 블로그를 보면, 작은 블록마다 공유 스케일을 두어 정밀도 손실을 관리합니다. Mini는 20개 층(0~19층)의 라우팅 전문가를 NVFP4로, 민감한 마지막 4개 층(20~23층)은 MXFP8로 두어 학습과 배포 사이의 변환 손실을 없앴습니다.
덕분에 32GB 이상 통합 메모리를 가진 Apple silicon Mac이나 NVIDIA DGX Spark에서 공식 체크포인트를 바로 돌릴 수 있습니다. 출시 당일부터 Ollama, llama.cpp, MLX는 물론 서버용 vLLM과 SGLang 레시피까지 함께 풀렸죠. 다만 출시 당시에는 런타임별 지원 버전이나 사전 릴리스 설치가 필요합니다. Ollama 공식 페이지는 0.40.17-rc3 사전 릴리스를 요구했고, vLLM은 0.35.0 이상 정식 릴리스 전이라 nightly 빌드나 전용 Docker 이미지(vllm/vllm-openai:inkling-2-mini)를, SGLang은 PR(sgl-project/sglang#51926) 빌드나 전용 이미지(lmsysorg/sglang:inkling-2-mini)를 써야 합니다.
파이썬에서 모델을 불러올 때는 공식 블로그가 안내하는 대로 AutoModelForMultimodalLM을 씁니다. 직접 실행하는 코드는 다음과 같습니다.
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
)
messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]
inputs = processor.apply_chat_template(
messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))커뮤니티에서 만든 GGUF 파일을 Ollama로 바로 내려받아 실행할 때는 한 줄이면 충분합니다.
ollama run hf.co/unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_M그런데 개발자 모두가 32GB 이상 메모리를 가진 최신 맥이나 고성능 GPU를 들고 있지는 않죠. 16GB 노트북처럼 메모리가 모자란 기기에서 이 모델을 더 줄여 쓰면 어떤 일이 벌어질까요?
메모리가 모자란 기기에서는 무엇을 잃나
공식 체크포인트가 요구하는 최소 메모리에 못 미치는 기기라면, 커뮤니티가 만든 GGUF나 MLX 양자화본 등 더 작은 배포본을 검토해야 합니다. Unsloth가 측정해 공개한 표를 보면, 파일 크기를 줄일수록 평가한 각 토큰 위치에서 기준 모델(UD-Q8_K_XL)과 가장 높은 확률을 부여한 토큰이 같은 비율(top-1 예측 일치율)이 떨어지고 분포 차이(평균 KLD)가 커집니다.
| 양자화 형식 | 크기 (GB) | 평균 KLD | top-1 일치율 |
|---|---|---|---|
| UD-IQ1_S | 7.76 | 0.0911 | 89.4% |
| UD-Q2_K_XL | 9.14 | 0.0595 | 91.6% |
| UD-Q3_K_XL | 13.63 | 0.0174 | 96.3% |
| UD-Q4_K_M | 16.61 | 0.0108 | 97.9% |
| UD-Q4_K_XL | 17.63 | 0.0107 | 98.0% |
1비트급 양자화에서도 열 번 중 아홉 번 가까이는 같은 최상위 토큰을 고릅니다. 하지만 이렇게 한 번 더 깎아 내는 순간, TML이 차별점으로 내세운 "학습 정밀도에서 배포 정밀도로 바꾸는 추가 양자화 손실이 없는 배포"라는 장점은 사라집니다.
그렇다면 언제 이 모델을 선택하고 언제 피해야 할까요? 기준 용량 이상의 통합 메모리를 갖춘 맥이나 DGX Spark, 혹은 같은 VRAM을 갖춘 GPU(예: SGLang 단일 GPU 레시피 기준 GeForce RTX 5090에서는 Balanced 모드 컨텍스트가 65,536으로 제한됨)를 쓰고 있다면 공식 체크포인트나 Q4 이상을 고르는 편이 맞습니다. 반대로 16GB 이하 기기에서 극단적 저비트 양자화를 억지로 돌려야 하는 상황이라면, 4비트 가중치가 약 4.9GB에 들어가는 SenseNova Loop-9B처럼 체급 자체가 작은 모델이나 Qwen3.8-27B의 검증된 경량 양자화 버전을 쓰는 편이 낫습니다.
게다가 메모리 칸을 아꼈다고 공짜가 되지는 않습니다. 가운데 층을 세 번씩 돌리는 동안, 계산량과 응답 시간은 어떻게 달라질까요?
더 깊이 생각한 값은 어디서 치르나
저장 공간은 줄였지만 토큰을 하나 뽑을 때마다 가운데 층을 여러 번 들러야 하니 연산량은 늘어납니다. 추가 패스 1회당 유효 활성 파라미터가 약 1.0B씩 불어나 기본 3패스일 때는 5.4B가 되거든요. SGLang 문서가 안내한 배치 1 디코드의 토큰당 시간은 큰 형제 Small과 거의 비슷한 수준입니다. 두 모델 모두 48번 층을 밟는 구조이기 때문이죠.
대신 생각의 회전수가 늘어나는 만큼, 겉으로 길게 중얼거리지 않고 더 적은 추론 토큰으로 답에 도달한다는 보고입니다. TML이 함께 공개한 가변 반복 연구 모델(TML-d24-varloop-research)의 측정치를 보면, 패스 수가 늘어날수록 유효 연산은 커지지만 GPQA Diamond 공통 정답 문항에서 쏟아내는 추론 토큰과 망설임 표현("wait" 등)은 절반 이하로 줄어듭니다.
| 반복 횟수 | 유효 활성 파라미터 | 평균 추론 토큰 | 망설임 표현 수 |
|---|---|---|---|
| 1패스 | 3.4B | 3,703 | 9.7 |
| 3패스 | 5.4B | 1,731 | 3.9 |
| 5패스 | 7.4B | 1,661 | 3.6 |
여기에 한 가지 분명한 대가가 더 있습니다. 반복은 가중치 안에 새로운 사실을 더 채워 주지 않아요. TML 보고에 따르면 SimpleQA Verified 같은 지식 집약 과제에서는 패스를 늘려도 점수가 거의 제자리걸음을 했습니다. 대신 검색과 도구 사용 능력(TML 자체 측정 DeepSWE v1.1 48.2%, BrowseComp 79.0%, MCP Atlas Public 82.7%)으로 지식 격차를 메우는 방향을 택했죠.
한편, 모델이 겉으로 추론 토큰을 적게 쓰면서 속으로 여러 번 생각한다는 건 안전성 연구자들에게 새로운 숙제를 던집니다. 사람이 읽을 수 있는 글자(CoT, 사고 사슬)로 생각을 드러내지 않고 내부 층만 여러 번 돌릴 때, 그 생각을 어떻게 감시할 수 있을까요?
겉으로 안 보이는 생각은 어떻게 감시하나
TML이 이번 발표의 상당 부분을 안전성과 해석 연구에 할애한 것도 이 때문입니다. 반복형 모델은 글자를 한 개 내뱉기 전에도 내부에서 순차 연산을 여러 번 수행하기 때문에, CoT에 한 줄도 적지 않고 속으로만 추론을 끝낼 여지가 커지거든요. TML 보고에 따르면 연구 모델에 CoT 없이 답하도록 유도했을 때, 50% 시간 지평(인간 수행 시간 기준 과제 길이)이 1패스 16초에서 3패스 37초까지 늘었습니다.
하지만 도구 호출과 그 출력만 살피는 약한 감시 모델(Qwen3.6-35B-A3B, 오탐률 1% 조건)로 TML이 LinuxArena 은폐율을 재 보니, 패스 수가 늘어난다고 해서 감시를 피하는 비율이 일관되게 치솟지는 않았습니다.
| 모델 / 설정 | 은폐율 |
|---|---|
| 연구 모델 1패스 | 1.0% |
| 연구 모델 2패스 | 2.5% |
| 연구 모델 3패스 | 4.0% |
| 연구 모델 4패스 | 2.8% |
| 연구 모델 5패스 | 5.0% |
| Inkling 2 Mini — helpful-only 미세조정본 | 3.9% |
| Qwen3.8-27B | 20.5% |
다만 TML 스스로도 이 연구 모델이 강화학습을 3패스로만 익혔기 때문에, 더 많은 패스로 강하게 학습된 모델이 생각을 안으로 숨길 가능성까지 배제할 수는 없다고 선을 그었습니다. CoT 길이가 750~1,250토큰인 구간에서 진행한 CoT 통제 능력 시험(CoT-Control-QA)에서도 Mini와 연구 모델 3패스의 통제율은 최대 0.1%로 낮아 패스별 차이를 가르기 어려웠고요. TML이 Goodfire 같은 해석 연구팀에 사전 접근권을 주고 외부 연구자들이 내부 상태를 들여다볼 수 있게 모델을 열어 둔 것도 이 문제를 함께 풀기 위해서입니다.
내부 생각을 들여다볼 수 있느냐만큼이나, 지금 당장 개발자들이 궁금한 건 하나 남았습니다. 발표 자료와 데모 밖에서, 이 모델의 실제 성적표는 얼마나 믿을 만할까요?
그래서 노트북 위의 깊은 생각은 믿을 만한가
11월 21일 현재 확인한 범위에서는 TML이 내세운 벤치마크 1위 수치에 대한 독립적인 외부 재현 결과를 아직 찾지 못했습니다. 공식 표에도 모델마다 평가 설정이 다르다는 주석이 붙어 있고 출시 글을 함께 쓴 Hugging Face 블로그 저자들조차 "더 많은 검증이 필요하다"고 단서를 달았죠. 발표에 실린 초당 토큰 속도 그래프 역시 614 GB/s 대역폭과 BF16 가중치를 가정한 이론 상한치일 뿐 실측이 아닙니다. TML 블로그 본문에서는 ComplexConstraints v1.1 점수가 Qwen3.8-27B보다 낮다고 적었는데 정작 같은 글의 표에는 33.4% 대 30.1%로 더 높게 적힌 불일치도 남아 있습니다.
반복형 구조 자체가 완전히 독보적인 것도 아닙니다. 같은 주에 SenseTime이 SenseNova Loop-9B 정식판을 내놓았고 NVIDIA의 Dory 1.0 4B나 Nanbeige의 연구도 같은 계보에 서 있습니다. 게다가 공식 모델 카드는 디버깅 중 긴 추론 루프에 빠지는 경향, 확인 없이 파일을 덮어쓰거나 지우는 파괴적 행동, 영어 외 언어(중국어 테스트에서 문장 끊김과 혼용 보고, 한국어는 미언급) 품질 저하, 사실을 자신 있게 틀리게 말하는 경향을 직접 경고하고 있죠. Hacker News 토론에서도 가변 반복 변형에 주목하는 의견과 함께, NVIDIA Dory와 닮았다는 지적이나 하드웨어 가격이 내려가길 기다린다는 반응이 올라왔습니다.
비행기 안 맥북 프로에서 오프라인으로 시뮬레이터를 짜낸 데모는 분명 인상적입니다. 하지만 같은 층을 다시 돌리는 설계는 가중치를 저장하는 공간을 줄여 줄 뿐 연산량과 캐시 비용을 없애 주거나 지식을 공짜로 늘려 주지는 않고, 외부 검증과 실측 속도도 아직 남아 있습니다. 지금으로서는 당장 실무에 믿고 올릴 만능 로컬 모델이라기보다, 가변 반복 연구 변형과 함께 공개된 가장 흥미로운 실험대에 가까워 보입니다.
