코딩맥스

학습 없이 11개 레이어를 덧붙여 Qwen 안에 CPU를 넣을 수 있을까: Qwenputer

코딩맥스수정 읽는 데 48분QwenRISC-VLLMDeltaNet해석가능성
목차

재미있는 실험이 하나 공개됐습니다. 언어 모델 안에 CPU를 통째로 넣었다는 겁니다. 모델 옆에 계산기를 붙인 게 아니라, 모델의 가중치 자체가 컴퓨터로 돌아간다는 이야기죠.

보통 언어 모델은 큰 수의 곱셈 같은 계산을 바깥 도구에 맡깁니다. "계산기 좀 써 줘"라는 요청(tool call)을 쓰면, 바깥의 Python 같은 프로그램이 대신 계산해서 답을 돌려주죠. 이 실험에는 그 바깥 프로그램이 없습니다. 그런데도 답이 돌아옵니다. 답을 써 넣는 건 Qwen3.5-4B 모델 앞에 새로 덧붙인 레이어들이고, 이 레이어들이 모여 실제 칩과 같은 명령어 체계(RISC-V)를 따르는 32비트 CPU로 돌아갑니다.

더 신기한 건 그 레이어를 아무도 학습시키지 않았다는 점입니다. Qwen 쪽은 손대지 않고, 덧붙인 레이어의 가중치 값을 컴파일러가 하나하나 계산해 넣었죠. 학습 없이 숫자만 채워 넣은 레이어가 어떻게 컴퓨터가 될까요? 그리고 Qwen 3.5 같은 모델이 쓰는 RNN 방식의 기억 장치에 값을 이렇게 정확히 쓰고 읽을 수 있다면, 이건 재주넘기로 끝날까요, 아니면 모델 속을 들여다보는 도구가 될까요?

아무도 실행하지 않은 tool call에 누가 답했나

Divyansh Agrawal이 2026년 10월 22일 블로그 글로 공개한 Qwenputer의 경로는 이렇습니다. Qwen이 "Use calc: what is 123456789 * 987654321?" 같은 질문을 받고 <tool_call>로 calc를 부릅니다. 그러면 Qwen의 32개 레이어 앞에 새로 붙은 11개 레이어가 그 호출을 받아 계산하고, 응답 블록 <tool_response>를 직접 써 넣습니다. 바깥의 산술 도구가 답을 계산하지 않고, Qwen 쪽은 추가 학습 없이 원래 하던 계산을 그대로 합니다.

FIG 1 · DIAGRAM
Use calc: what is 123456789 * 987654321?체크포인트 하나 · 외부 런타임·샌드박스 없음Qwen 레이어 32개추가 학습 없음 · 기존 계산 보존자기 GDN 상태는 대화에만 씀먼저 지남컴퓨터 레이어 11개새로 덧붙임 · 학습 없이 컴파일RV32IM CPU · RAM은 자체 GDN 상태<tool_call> calc …① Qwen이 tool call을 씀</tool_call>② 0x8000에 담고 실행 시작<tool_response> VALUE③ 컴퓨터 레이어가 직접 씀
그림 1. Qwen 32개 레이어 앞에 덧붙인 11개 레이어가 바깥 런타임 없이 tool_response를 직접 써 넣는다

저장소의 빠른 시작도 딱 이 장면을 재현합니다. 저자 안내로는 24 GB GPU 한 장과 uv, Hugging Face CLI가 있으면 됩니다.

Shell
git clone https://github.com/divagr18/qwenputer && cd qwenputer/experimental/riscv && uv sync --extra hf
hf download divagr1925/Qwen3.5-4B-Qwenputer --local-dir qwenputer-rv
uv run python -m chipformer.rv.chat qwenputer-rv --firmware tests/data/rv/calc-bridge.elf \
    --ask "Use calc: what is 123456789 * 987654321?"

평범한 generate() 대신 chipformer.rv.chat을 부른다는 점이 눈에 띄죠. 이 RvChat 드라이버가 펌웨어를 레이어 상태에 넣어 주고 계산용 토큰을 Qwen 레이어에서 떼어 냅니다. 그 이유는 조금 뒤에 나옵니다.

이 장면을 이해하려면 개념 두 개가 필요합니다.

첫째는 컴파일된 가중치입니다. 보통 신경망 가중치는 경사하강법으로 데이터를 보며 조금씩 깎아 만들죠. 여기서는 순서가 반대입니다. 먼저 만들고 싶은 회로가 있고, 컴파일러가 그 회로를 신경망 부품으로 번역합니다. 값을 찾아오는 일은 attention head가, 산술은 FFN(피드포워드 층)이, 저장은 DeltaNet head가 맡습니다. C 코드를 gcc가 기계어로 바꾸듯, 회로도를 가중치 값으로 바꾸는 겁니다. 그래서 각 가중치가 왜 그 값인지 전부 설명할 수 있습니다.

둘째는 Gated DeltaNet(GDN)과 그 밑에 깔린 delta rule입니다. 일반 트랜스포머는 토큰이 들어올 때마다 KV cache에 줄을 하나씩 추가합니다. 대화가 길어질수록 공책이 두꺼워지는 셈이죠. GDN은 크기가 정해진 표 하나만 들고 있습니다. 토큰이 오면 표를 읽고 예상과 새 값을 비교해 그 차이만큼 고쳐 씁니다. 저자의 설명서가 드는 예가 쉬운데요. key를 주소로, value를 그 주소의 답으로 보는 공유 표가 있다고 해 봅시다. "France→Paris" 같은 사실이 들어와도 표가 커지지 않고 몇 칸만 바뀝니다. gate는 기존 내용을 얼마나 남길지, 쓰기 세기 β는 새 값을 얼마나 세게 덮어쓸지 정합니다.

delta rule을 쓰는 선형 attention이 일종의 메모리라는 건 Schlag·Irie·Schmidhuber(2021)가 보였습니다. gating까지 합친 Gated DeltaNet은 Yang 등(ICLR 2025)이 제안했고요. 이게 왜 중요하냐면, Qwen3-Next와 Qwen 3.5가 레이어 4개 중 3개를 이 구조로 쓰기 때문입니다. 나머지 attention 레이어의 KV cache는 여전히 자라지만, GDN 레이어의 상태만큼은 대화 길이와 상관없이 크기가 고정이거든요.

그런데 표는 원래 대충 기억하는 장치입니다. 고쳐 쓸 때마다 조금씩 섞이고 흐려지죠. 그런 장치에서 어떻게 한 비트도 틀리지 않는 RAM이 나올까요?

Qwen 3.5의 기억 장치가 어떻게 RAM이 되나

다이얼 세 개를 극단에 고정하면 됩니다. gate α를 1로 두면 기억이 전혀 바래지 않습니다. 쓰기 세기 β를 1로 두면 새 값이 옛 값을 완전히 덮어씁니다. key를 한 칸만 1이고 나머지가 0인 one-hot 벡터로 주면 정확히 한 행만 건드리게 되죠. 이 상태에서 같은 one-hot query로 읽으면, 그 행에 마지막으로 쓴 값이 그대로 나옵니다.

FIG 2 · STEP
1 / 4
칩 레이어 GDN 헤드 하나의 상태 행렬 S새로 덧붙인 레이어 · Qwen이 대화에 쓰는 GDN 상태가 아님α = 1기억이 바래지 않음β = 1행을 통째로 덮어씀행012345670110001010011100001101010101001110101100000110101110010111001010110010100011011100000001one-hotkey kkey kquery q새 값 v (축약 예시)00110111k가 3번 행을 고름새 값 v (축약 예시)001101113번 행을 v로 덮어씀읽은 값 = v00110111q도 3번 행을 고름나머지 7개 행은 그대로갱신식S += k (v - S^T k)^T축약 예시 · 그림의 한 행은 8칸만 그렸다실제 RISC-V RAM은 한 행에 32비트 워드를 저장한다

새로 덧붙인 칩 레이어의 GDN 헤드 하나가 가진 상태 행렬이다. Qwen이 대화에 쓰는 GDN 상태와는 따로 있고, gate α가 1이라 행에 담긴 값이 토큰이 지나도 바래지 않는다.

모든 단계 보기
  1. 새로 덧붙인 칩 레이어의 GDN 헤드 하나가 가진 상태 행렬이다. Qwen이 대화에 쓰는 GDN 상태와는 따로 있고, gate α가 1이라 행에 담긴 값이 토큰이 지나도 바래지 않는다.
  2. 3번 칸만 1인 one-hot key k가 들어오면 갱신식이 3번 행만 고른다. 그 행에 쓸 새 값 v도 함께 들어온다.
  3. β가 1이라 3번 행의 옛 값이 지워지고 v의 비트로 통째로 바뀐다. 다른 일곱 행은 그대로 남는다.
  4. 같은 모양의 one-hot query q가 3번 행을 고르면, 방금 쓴 v가 근사 없이 그대로 읽혀 나온다.
그림 2. β가 1이고 key가 one-hot이면 3번 행만 새 값으로 바뀌고 나머지 행은 그대로 남는다

컴파일러 설계 문서 q35.md에 적힌 갱신식은 한 줄입니다.

Text
S += k (v - S^T k)^T

S가 상태 행렬, k가 key, v가 새로 쓸 값입니다. 괄호 안의 두 번째 항은 "지금 그 주소에 들어 있는 값"이에요. 새 값과의 차이를 그 행에 더하니까, 결과적으로 그 행은 정확히 v가 됩니다. 사물함 번호표를 들고 가서 안에 든 걸 꺼내고 새 물건을 넣는 것과 같습니다. 옆 사물함은 아무도 열지 않고요.

다이얼을 다르게 돌리면 다른 부품이 나옵니다. 새로 쓰는 값이 없는 토큰에서 α를 0으로 주면 헤드의 이전 내용이 전부 지워집니다. 1차 버전인 CHIP-8 머신은 이걸 화면 지우기에 썼죠. α를 ½로 두면 매 스텝 값이 절반이 되니, 지난 스텝 수를 값의 크기로 담는 카운터로 쓸 수 있습니다.

주소는 이렇게 나눕니다. 워드 주소의 일부 비트가 헤드와 value head를 고르고, 다른 비트가 그 헤드 안의 행을 고릅니다. key head 하나가 value head 두 개를 함께 구동해서 용량을 두 배로 늘리고요. RISC-V 설계 문서의 메모리 맵은 RAM 32 KB, DROM 128 KB, ROM 256 KB이고, RAM은 행 하나에 32비트 워드를 담습니다. 0.8B 모델을 건너뛴 이유도 여기서 나옵니다. 그 모델은 key head당 value head가 하나뿐인데, 이 코어는 둘이 필요하거든요.

β 쪽 사정도 있습니다. 저자의 후속 글에 따르면 Qwen 3.5는 β를 sigmoid로 눌러 최대 1로 막아 둡니다. OLMo-Hybrid는 2까지 허용하고요. 이 구현은 Qwen의 기존 GDN 연산에 큰 입력을 넣어 sigmoid를 포화시키는 식으로 β를 1에 고정합니다. 덕분에 stock Qwen3_5ForCausalLM 클래스의 GDN 레이어를 그대로 RAM으로 쓸 수 있었죠. 저자도 "Nothing here needed a new layer type"이라고 씁니다. 다만 정확한 RAM이 β 하나로 되지는 않습니다. one-hot 주소와 감쇠·정규화 처리까지 함께 맞춘 결과죠.

헷갈리기 쉬운 점이 하나 있습니다. 이 RAM은 Qwen이 대화에 쓰는 GDN 상태가 아닙니다. 새로 덧붙인 칩 레이어 안의 GDN 헤드에 있죠. 블로그 원문에는 "the model's own Gated DeltaNet layers as RAM"이라는 CHIP-8 시절 표현이 남아 있는데, RISC-V 설계 문서 기준으로는 새 레이어 쪽이 맞습니다.

다만 메모리만으로는 아무것도 계산되지 않습니다. 기억하는 장치와 계산하는 장치 사이를 누가 채웠을까요?

CPU 한 대를 학습 없이 가중치에 새기려면

칩 레이어는 CPU 파이프라인처럼 층마다 할 일을 나눠 맡습니다. 맨 아래 층이 프로그램 카운터(pc)를 들고 있고, 위로 올라가며 ROM에서 명령어를 읽어 해독합니다. 그다음 레지스터를 읽어 더하고 시프트와 논리 연산을 하고 RAM을 오가며, 나눗셈 비교를 거쳐 맨 위층이 출력 코드를 냅니다.

FIG 3 · DIAGRAM
Qwen 레이어 32개추가 학습 없이 기존 계산 보존컴파일된 컴퓨터 레이어 11개L11L10L9L7–L8L6L5L3–L4L2L1출력 코드DIV 비교 부호DROM 128KBRAM 32KB · load · Zba · 분기shifter · logic레지스터 읽기 · 가산기ROM 256KB · 명령어 디코드pc · thermometer입력 토큰부품별 담당조회산술메모리attention headFFN lookup tableDeltaNet head가중치는 학습 없이컴파일러가 계산해 넣음
그림 3. 명령어 하나를 처리하려고 11개 레이어가 pc부터 출력까지 역할을 나눠 맡는다

구현한 명령어 세트는 RV32IM에 Zba를 더한 것입니다. RV32I는 32비트 정수 기본 명령어 세트, M은 곱셈과 나눗셈(MUL, DIV, REM 등) 확장, Zba는 sh1add 같은 주소 계산용 명령입니다. 여기에 10진수 128자리 레지스터 8개를 쓰는 bignum 코프로세서를 붙여서 큰 수의 행 단위 덧셈과 곱셈을 합니다. 지금 회로에서 층 수를 더 줄이지 못하는 건 의존 사슬 때문입니다. 나눗셈 비교 부호가 나와야 결과를 고를 수 있고, 결과가 나와야 출력을 정할 수 있거든요.

CPU가 한 스텝 돌 때마다 모델은 칩 토큰을 하나 이상 냅니다. 레지스터에 결과를 쓰는 명령은 값 크기에 따라 F0이나 V와 F1/F2를 조합하고, 결과를 버리는 명령이나 실행되지 않은 분기는 NT, 실행된 분기와 점프는 J(word)로 기록되죠. 워드 저장은 ST0/ST1, 바이트·하프워드 저장은 SS0/SS1이 들어간 기록이고, 글자 출력은 BYTE, 종료는 HALT입니다. 나눗셈은 몫의 16진수 자릿수마다 QD 토큰이 이어집니다. 저자 측정으로는 C 프로그램 기준 명령어 하나에 토큰이 1.0~1.55개 듭니다.

정확도는 수치 요령으로 지킵니다. 회로가 만드는 값은 모두 유효 비트 8개 이하로 묶어 둡니다. 그리고 silu(K x)에 K=128을 쓰고 다른 투영에서 그 배율을 되돌려 주면, 회로가 다루는 값에서는 ReLU처럼 동작하죠. RMSNorm이 나눠 버리는 배율은 2의 거듭제곱으로 맞춰 미리 가중치에 접어 넣습니다. 저자는 이걸 ballast라고 부릅니다. 한때는 여러 칸을 동시에 켜는 query의 1/sqrt(8)이 정확히 표현되지 않아 fp32 오차가 생긴 적도 있었습니다. 그래서 지금은 모든 읽기를 한 칸이나 두 칸만 켜서 합니다.

이렇게 만든 CPU가 진짜 RISC-V처럼 굴까요? 저자 보고로는 공식 riscv-tests 중 rv32ui 38개, rv32um 8개, rv32uzba 3개를 통과했습니다. 직접 짠 ELF 61개는 참조 모델과 qemu-riscv32에서 exit code와 stdout이 모두 같았고요. 블로그는 참조 결과로 보정하지 않고 돌린 명령어가 누적 1,800만 개인데 오류가 하나도 없었다고 씁니다. 무작위 calc 계산 1만 건도 전부 맞았다고 하죠. 추가한 회로에서 0이 아닌 가중치는 약 104만 개뿐입니다. bf16 기준 약 18.7~18.8 GB짜리 체크포인트는 원본 Qwen 가중치를 빼면 대부분 0으로 채운 자리고요.

여기까지는 독립된 CPU 이야기입니다. 이 CPU를 Qwen과 한 몸으로 붙였을 때, Qwen은 무엇을 얻은 걸까요?

Qwen이 계산을 배운 걸까, 계산기를 납땜한 걸까

납땜에 가깝습니다. Qwen이 <tool_call> 뒤에 쓴 토큰은 메모리 0x8000의 텍스트 버퍼에 토큰당 16바이트씩, 호출당 최대 80토큰까지 담깁니다. </tool_call>이 나오면 실행이 시작되고, 그때부터 칩 토큰이 줄줄이 이어집니다. 이 토큰들은 칩 레이어만 지나고 Qwen 레이어에는 보이지 않아서, 그동안 Qwen의 상태는 멈춰 있습니다. 프로그램이 출력한 바이트는 대응하는 Qwen 토큰으로 바뀌어 다시 텍스트가 됩니다.

FIG 4 · STEP
1 / 4
다음 토큰Qwen 레이어 32개추가 학습 없이 기존 계산 보존칩 토큰은 통과하지 않음컴퓨터 레이어 11개Qwen 텍스트와 칩 토큰을 처리입력 토큰칩 토큰텍스트 토큰캡처텍스트 버퍼 0x8000토큰당 16바이트 · 최대 80토큰칩 레이어 GDN 상태 안Qwen 상태텍스트를 읽으며 갱신도구 호출 토큰을 씀도구 호출 닫는 토큰까지 읽음다음 위치부터 칩이 맡음멈춘 채 그대로 유지칩 토큰을 보지 않음다시 갱신을 이어 감응답 토큰을 읽고 이어 씀Qwen이 쓴 텍스트 토큰이 0x8000에 캡처됨<tool_call>calc · 123456789 * 987654321닫는 토큰이 실행을 시작함</tool_call>→ 이 토큰에서 calc 펌웨어 실행 시작RISC-V 칩 토큰 · Qwen 레이어에는 보이지 않음VF0ST0QSQDQD…출력 바이트가 Qwen 토큰으로 돌아와 응답이 됨→BYTE<tool_response>VALUE</tool_response>

Qwen이 <tool_call> 뒤에 쓴 텍스트 토큰은 컴퓨터 레이어와 Qwen 레이어를 모두 지나고, 브리지가 그 토큰을 메모리 0x8000의 텍스트 버퍼에 담는다.

모든 단계 보기
  1. Qwen이 <tool_call> 뒤에 쓴 텍스트 토큰은 컴퓨터 레이어와 Qwen 레이어를 모두 지나고, 브리지가 그 토큰을 메모리 0x8000의 텍스트 버퍼에 담는다.
  2. </tool_call> 토큰이 들어오면 회로가 calc 펌웨어 실행을 시작하고, 다음 위치부터는 칩이 토큰을 맡는다.
  3. V·F0·ST0·QS·QD 같은 RISC-V 칩 토큰은 컴퓨터 레이어만 지나 다음 칩 토큰으로 이어지고, Qwen 레이어에는 보이지 않아 Qwen 상태는 멈춘 채 남는다.
  4. 프로그램이 BYTE로 출력한 바이트가 대응하는 Qwen 토큰으로 돌아와 <tool_response> 응답이 되고, Qwen은 추가 학습 없이 보존된 기존 계산으로 그 응답을 읽고 이어 쓴다.
그림 4. 칩 토큰은 Qwen 32개 레이어를 건너뛰고 프로그램 출력 바이트만 Qwen 토큰으로 돌아온다

펌웨어가 찍는 문자열은 정해져 있습니다.

Text
\n<tool_response>\nVALUE\n</tool_response>\n<think>\n\n</think>\n

회로는 이 위치들만 맡고 나머지 토큰은 Qwen이 예측합니다. 텍스트 토큰은 칩 레이어와 Qwen 레이어를 모두 지나고, 칩 토큰만 Qwen을 건너뛰는 구조죠. 대화가 시작되면 RvChat이 펌웨어, RAM, 레지스터 스냅샷을 칩 레이어 상태에 넣어 둡니다. 디코딩 중에는 회로 토큰마다 참조 머신과 나란히 대조하는데, 결과를 대신 넣는다기보다 검증용으로 보입니다.

그러니 Qwen이 곱셈을 배운 건 아닙니다. 이미 학습된 tool-call 습관 그대로 calc를 부를 뿐이고, 답은 옆에 붙은 회로가 냅니다.

"Qwen 가중치는 그대로"라는 저자의 표현은 조금 걸러 들어야 합니다. 블로그와 HF 모델 카드는 "Qwen's original weights stay exactly as they are"라고 씁니다. 하지만 같은 카드에 hidden 차원이 3968이라고 적혀 있습니다. 원본 Qwen3.5-4B의 2560에 컴퓨터용 차원을 더한 값이죠. 원래 행렬이 넓어진 차원에 맞게 커졌다는 뜻입니다. 칩 레이어를 지난 텍스트 토큰에도 칩 차원 23개(출력 코드, tau, mu)가 남아 Qwen 레이어로 넘어갑니다. CHIP-8 설계에는 칩 토큰이 지나는 동안 Qwen의 DeltaNet 게이트를 막는 mute 열과, 담당 쪽이 argmax에서 이기게 하는 최종 norm gain 조정도 있었고요. 그러니 "추가 학습 없이 기존 계산을 보존했다"고 말하는 편이 정확합니다.

보존이 얼마나 잘 됐는지는 숫자로 나와 있습니다. 저자 측정으로 프롬프트 16개에서 원본과의 평균 KL 발산은 6.1e-4였습니다. 원본 모델이 커널(sdpa와 eager)만 바꿔도 생기는 차이가 5.1e-4이니, 노이즈 바닥과 거의 붙어 있는 셈이죠. greedy 디코딩 결과가 원본과 글자까지 같은 프롬프트는 16개 중 10개였습니다.

이쯤 되면 "신경망 안에 컴퓨터를 넣는 건 예전에도 있지 않았나?" 하는 의문이 들 만합니다.

신경망 안의 컴퓨터는 처음이 아닌데, 무엇이 다른가

HN 토론에서도 바로 그 반응이 나왔습니다. 한 댓글은 Neural Turing Machine을 들며 "yet another rube goldberg machine"이라고 했죠. 실제로 컴파일하거나 손으로 구성한 가중치로 프로그램을 트랜스포머에 넣는 일은 오래됐고, 2026년에만 비슷한 작업이 연달아 나왔습니다. 아래 사례 중 대화하는 사전학습 LLM 안에 들어간 것은 Qwenputer뿐입니다.

Hacker News의 Qwenputer 토론 화면. 442점, 댓글 94개이고 상단 댓글들이 농담 섞인 반응을 보인다
작업만든 방법무엇을 돌리나대화하는 사전학습 LLM 안인가
Neural Turing Machine (2014)학습외부 메모리를 읽고 쓰는 신경망아니오
Tracr (2023)컴파일RASP 프로그램아니오 (해석 가능성 실험용)
Looped Transformers (2023)가중치 구성루프로 도는 범용 컴퓨터아니오
Percepta Transformer VM (2026)경사하강법 없이 분석적으로 구성WebAssembly 인터프리터, 7레이어아니오
Loom (2026)가중치 구성22개 opcode ISA, 8레이어아니오
Qwenputer (2026)컴파일RV32IM + Zba + bignum예, Qwen3.5-4B

저자가 내세우는 새로운 점은 셋입니다. 장난감 모델이 아니라 프로덕션 모델 안에서 돈다는 것, delta rule 메모리를 정확하고 주소 지정이 되게 만들었다는 것, 그리고 RAM의 상태 크기가 고정이라 KV cache로 RAM을 흉내 내는 방식처럼 실행 기록에 따라 커지지 않는다는 것이죠. 마지막 점은 Loom 논문이 Percepta 방식을 두고 "state grows with execution time"이라고 짚은 부분과 대비됩니다. 프로그램이 입력 토큰으로 들어가고 실행 기록이 계속 쌓이는 구조는 오래 돌릴수록 상태가 불어나니까요.

반론도 있습니다. daily.dev 요약에 인용된 HN 사용자 nullc는 일반 causal attention으로도 똑같이 되고 효율만 떨어질 뿐이라고 했습니다. RNN이라서 가능한 일이 아니라 RNN이라서 싸게 되는 일이라는 거죠. 공정한 지적입니다. 정리하면 컴파일된 컴퓨터라는 아이디어 자체는 반복이고, 새로운 건 프로덕션 하이브리드 모델의 선형 RNN 상태에 RAM을 얹어 이미 학습된 tool-call 습관에 연결했다는 점입니다.

아이디어가 새롭지 않다면 남는 질문은 실용성입니다. 쓸 만한가요?

Python 툴을 두고 굳이 이걸 쓸 이유가 있나

저자가 보고한 정확도는 Python 툴과 거의 붙어 있습니다. 세트당 40문제라서 한 문제가 2.5%p인데, 다섯 세트 모두 두 방식의 차이가 한 문제 안쪽입니다. 도구 없는 Base보다는 대부분 크게 앞서고요. 여기서 Base는 산술을 정확히 하라는 시스템 문구만 받은 원본 모델입니다. Python tool은 원본 Qwen에 호스트 쪽 calc 도구를 붙인 조건인데, 초기 평가는 Python 참조 계산기를 썼고 calc v2의 mul_div·div_big 재실험은 참조 브리지에서 같은 펌웨어를 돌렸습니다.

세트BaseQwenputerPython tool
Synthetic integer arithmetic75.097.597.5
DeepMind mul_big55.097.5100
DeepMind div_big72.597.595.0
DeepMind mul_div_multiple_longer90.0100.097.5
DeepMind add_or_sub_big87.597.597.5

40문제 표본으로는 이 정도 차이에서 우열도, 동등도 가르기 어렵습니다. 오히려 틀린 이유가 흥미롭죠. 1차 펌웨어(calc v1)로 mul_div를 돌렸을 때는 절반만 맞았습니다. 분수를 최종값으로만 허용한 탓에 calc 호출 1,040회 중 610회가 error를 돌려줬고, Qwen이 같은 호출을 수십 번 다시 시도했거든요. 나눗셈을 정확한 유리수로 계산하는 calc v2로 다시 돌린 실험(GPU와 배치 크기도 달랐습니다)에서는 만점이 나왔습니다. 저자의 말대로 "rv1's misses are Qwen's, not the machine's"입니다. 검사한 실행에서 기계가 돌려준 수치는 틀린 적이 없었다는 뜻이죠.

걸리는 건 속도입니다. 저자 측정으로 L4 GPU에서 칩 토큰은 HF 경로로 초당 약 250개, 회로를 fp32로 직접 돌리는 전용 Triton executor로 약 3,200개를 처리합니다. calc 호출 한 번에 0.5~1초쯤 걸리고요. 그런데 mul_div 문제 하나를 끝까지 푸는 데는 executor로도 중앙값 242초가 걸렸습니다. 그 시간 대부분은 계산보다 텍스트 토큰을 만드는 데 들어갑니다(배치 1에서 토큰당 약 68ms). 체크포인트도 원본의 약 2배입니다.

그래서 판단은 간단합니다. 운영 환경에서 LLM에게 정확한 산술을 시켜야 한다면 Python 툴이나 샌드박스 코드 실행이 맞습니다. 더 빠르고, 더 작고, 디버깅도 익숙하니까요. Qwenputer는 일반 generate()로 돌지 않고 RvChat 드라이버가 있어야 한다는 점도 걸립니다. 굳이 고려할 만한 경우는 바깥 프로세스를 아예 둘 수 없는 환경을 실험하거나, 모델 내부 메커니즘을 연구할 때 정도입니다. 대화 기록을 상태에 저장하는 Filesystem 변형이 여러 세션에 걸친 기억 문항에서 Python 툴(78.9)보다 높은 83.3을 냈다는 저자 측정도 있긴 합니다. 그래도 이 역시 같은 질문으로 돌아옵니다. 빠른 계산기가 아니라면, 이걸로 무엇을 할 수 있나요?

CPU가 아니라면 무엇을 증명한 걸까

증명된 건 하이브리드 모델의 RNN 상태를 비트 단위로 정확히 쓰고 읽을 수 있다는 사실입니다. CPU는 그걸 보여 주는 가장 까다로운 시연이었고요. 저자가 같은 날 낸 후속 글 두 편이 이 방향을 그대로 보여 줍니다.

첫 번째 글은 합성 패리티 과제에서 답만 출력하도록 학습한 OLMo-Hybrid가, 중간 상태를 명시적인 사고 사슬(CoT) 없이 RNN 상태 안에서 추적하더라는 실험입니다. CoT 모니터링이 놓칠 수 있는 경로인 셈인데, 실제 감시 회피 행동으로 이어지는지는 확인되지 않았습니다. 저자는 그 차이를 가르는 요인으로 β 상한을 지목하죠. 두 번째 글은 모델이 스스로 끌 수 없도록 설계한 감시 장치를 가중치 안에 넣자는 저자의 제안과 실험입니다. 학습한 선형 probe에 컴파일한 트리거와 DeltaNet 상태 로그를 붙였습니다. 탐지기 자체는 학습한 분류기이고, 유도된 상황에서는 응답 단위 AUROC가 0.77로 떨어진다는 단서도 저자 스스로 달아 두었습니다. 구조를 다 아는 메커니즘을 심어 해석 가능성 도구의 정답지로 쓴다는 발상은 Tracr의 동기와 같습니다. 그걸 실제 프로덕션 모델 규모로 옮겼다고 읽을 수 있습니다.

아직 모르는 것도 분명합니다.

  • 학습으로 얻을 수 있나. 이 가중치를 경사하강법으로 찾을 수 있는지, 지속 학습을 하면 회로가 덮어써지는지는 HN에서 나온 질문 그대로 열려 있습니다. 확인한 공개 자료에서는 이 부분을 다루지 않습니다.
  • MicroPython. C로 짠 calc 펌웨어는 합친 모델 안에서 돌았지만, MicroPython은 독립 코어와 executor에서만 돌았습니다.
  • 결정론의 범위. temperature=0은 실제 운영과 다르다는 반박이 있습니다. 저자 보고로는 배치 8 디코딩도 배치 1과 비트 단위로 같지 않아서, 6개 기록 중 하나가 토큰 8,390부터 갈라졌습니다. 회로가 낸 부분은 어느 쪽이든 정확했다고 합니다.
  • 숫자의 출처. 블로그와 일부 보도가 인용한 NUPA 48.6%→100%는 README에서 CHIP-8 버전 표에 있는 수치입니다. 인용된 측정은 모두 프로젝트 쪽 자료이고, 이번에 확인한 자료에서는 독립 재현 보고를 찾지 못했습니다.

아무도 실행하지 않았다던 그 tool call은 사실 누군가 실행했습니다. 덧붙인 레이어의 상태 행렬이 Qwen의 <tool_call>을 받아 적고 한 행씩 정확히 덮어쓰며 계산한 뒤, 그 결과를 <tool_response>로 돌려준 거죠. 계산기로서는 Python보다 느립니다. 대신 모델의 기억 장치에 무엇을 비트 단위로 정확히 담을 수 있는지 보여 줬습니다.

하이브리드 모델을 운영하거나 감사하는 팀이라면 쓰는 모델의 GDN 구현에서 β를 어떻게 제한하는지부터 확인해 보세요. Qwen 3.5처럼 sigmoid로 1에서 멈추는지, OLMo-Hybrid처럼 2까지 열려 있는지에 따라 저자의 패리티 실험에서는 상태 안의 숨은 추적이 달라졌습니다. 그 상태에 무엇을 정확히 적을 수 있는지는 β와 함께 key 구성, 감쇠, 정규화까지 봐야 답이 나옵니다.