게임 규칙 없이 7달러 보드에서 게임 다섯 개가 돌아갈 수 있을까: tinyworldformer
목차
재미있는 프로젝트가 하나 올라왔습니다. 7달러짜리 마이크로컨트롤러 보드 한 장에서 Breakout, Pong, Flappy Bird 같은 고전 게임 다섯 개가 돌아간다는 이야기입니다. 개인 개발자 SheepSeb이 공개한 tinyworldformer인데, Hacker News에 올라와 10월 30일 확인 시점에 171점을 받았죠.
여기까지만 들으면 흔한 취미 프로젝트 같습니다. 작은 보드로 게임을 돌리는 건 오래된 놀이니까요. 이 프로젝트는 화면을 만드는 방식이 다릅니다. 공이 어디로 튈지 계산하는 게임 코드가 도는 게 아니라, 작은 신경망이 "이 버튼을 누르면 다음 화면은 이렇게 생겼을 것"이라고 상상해서 그립니다. 그 화면을 보고 버튼을 누르는 쪽도 사람이 아니라 또 다른 신경망이고요.
최근 주목받은 비슷한 시도는 주로 GPU나 TPU 위에서 이뤄졌습니다. 그렇다면 메모리가 수백 KB뿐인 보드에서 신경망이 상상한 게임은 얼마나 정확할까요? 그리고 그걸 가능하게 만든 건 정말 모델 크기를 줄인 솜씨였을까요?
칩은 게임 규칙 대신 신경망으로 다음 화면을 그린다
보드 안에서 벌어지는 일은 고리 하나로 그릴 수 있습니다. Pico 2 W에 들어간 RP2350 칩에는 코어가 둘 있습니다. 그중 코어 1에서는 액터라는 신경망이 지금 화면을 보고 버튼을 고르고 월드 모델이라는 신경망이 그 버튼과 현재 화면을 받아 다음 화면과 보상(점수 변화)을 예측합니다. 그 화면은 다시 액터에게 넘어가죠. 코어 0은 USB와 디스플레이를 맡고 2슬롯 채널로 프레임을 받아 내보냅니다. 채널이 바쁘면 그 프레임은 버립니다. 그래서 코어 1은 화면 출력을 기다리지 않고 계속 돕니다.
이 고리에서 공을 움직이고 벽돌과 부딪혔는지 따지는 게임 규칙은 실행되지 않습니다. 목숨과 게임 종료는 별도 카운터로 세고 다음 화면은 신경망이 예측한 토큰 점수에 디코더가 객체 개수나 스프라이트 모양 같은 제약을 적용해 만듭니다.
월드 모델이라는 말이 낯설다면 공을 던지기 전에 머릿속으로 공이 어디로 날아갈지 그려 보는 걸 떠올리면 됩니다. "지금 이 상태에서 이렇게 하면 다음엔 어떻게 될까"를 예측하도록 학습한 신경망을 월드 모델이라고 부르거든요. tinyworldformer에서는 "현재 화면 + 버튼 → 다음 화면 + 보상"이 바로 그 상상입니다.
이 개념이 주목받은 건 2018년 Ha와 Schmidhuber의 World Models 논문 때부터입니다. 이 논문은 에이전트를 월드 모델이 만든 '꿈' 안에서만 학습시킨 뒤, 그 정책을 실제 환경으로 옮길 수 있다는 걸 보였습니다. tinyworldformer README도 이 논문을 직접 인용하고요. 실제 환경 없이 에이전트를 연습시킬 시뮬레이터를 학습으로 얻는다는 뜻이니 쓸모가 큽니다. 대신 대가가 있습니다. 모델이 틀리는 곳이 있으면 에이전트는 그 틀린 곳을 이용해 꿈에서만 잘하는 법을 배워 버립니다.
그렇다면 이런 시뮬레이터는 보통 얼마나 큰 기계를 필요로 했을까요?
월드 모델은 원래 더 커지는 쪽으로 가고 있었다
2018년 논문 이후 주목받은 신경망 게임 엔진 가운데는 더 복잡하고 사실적인 환경을 GPU·TPU에서 생성하는 사례가 많았습니다. GameNGen은 Stable Diffusion v1.4를 개조해 DOOM을 시뮬레이션했습니다. 짧은 클립만 보여 주면 사람 평가자는 실제 게임과 시뮬레이션을 우연보다 조금 나은 수준으로만 구분했다고 하죠. DIAMOND는 확산(diffusion) 모델로 Atari를 다룬 뒤, CS:GO 플레이 데이터로 Dust II 맵을 키보드와 마우스로 조작할 수 있는 신경망 게임 엔진을 만들었습니다. DeepMind의 Genie 3는 텍스트 프롬프트로 3D 환경을 만들어 몇 분간 유지합니다. 2025년 제한적 연구 프리뷰로 발표됐고 2026년에는 이를 쓰는 Project Genie가 성인 Google AI Ultra 구독자에게 제공되기 시작했습니다.
다섯 프로젝트를 연도와 하드웨어로 나란히 놓으면 tinyworldformer만 혼자 반대쪽 끝에 서 있습니다.
| 프로젝트 | 연도 | 다루는 세계 | 하드웨어·규모 |
|---|---|---|---|
| World Models | 2018 | 꿈속 환경에서 에이전트 학습 | — |
| GameNGen | 2024 | DOOM | TPU 한 장, 초당 20프레임 초과 |
| DIAMOND | 2024 | Atari 100k, CS:GO Dust II(87시간 플레이 데이터) | — |
| Genie 3 | 2025 | 텍스트로 만든 3D 세계 | 24fps, 720p, 이후 Project Genie로 제한적 유료 제공 |
| tinyworldformer | 2026 | 작은 2D 게임 5개 | Pico 2 W, 게임별 월드 모델 파라미터 2만 6천~13만 1천 개 |
프레임 하나를 만드는 데 드는 곱셈-누산(MAC, 곱하고 더하는 연산 한 쌍) 횟수도 게임에 따라 200만~820만 회 수준입니다. 저자가 README의 "Why" 절에 적은 동기는 단순합니다. 같은 가중치를 반복해서 쓰는 트랜스포머라면 마이크로컨트롤러에 들어갈 만큼 작아질 수 있을까, 하는 궁금증이었죠. 보드는 FPU(부동소수점 연산 장치)가 있고 값이 싸서 Pico 2 W를 골랐습니다. 게임은 numpy로 직접 짰는데, 그래야 생성된 프레임 하나하나를 진짜 게임의 정답과 비교할 수 있기 때문입니다.
그러니 이걸 Genie 3와 같은 선에 놓고 비교하면 과장입니다. 게임마다 따로 학습한 신경망이고, 저자도 HN에서 그렇게 답했습니다. 그래도 궁금한 건 남습니다. 파라미터 몇만 개짜리 모델이 어떻게 화면을 맞힐까요?
같은 블록을 여러 번 돌리면 무엇이 달라지나
같은 블록을 여러 번 돌린 덕분입니다. Doom-lite 한 프레임을 예로 들면 같은 가중치의 트랜스포머 블록을 한 번 적용했을 때 잘못 그린 셀이 92개였습니다. 한 번 더 돌리면 35개, 세 번째에 12개, 네 번째에는 0개가 됩니다. 블록을 새로 추가하지 않고 같은 블록을 다시 통과시켰을 뿐이죠.
블록을 한 번 적용하면 Doom-lite 프레임에서 잘못 그린 셀이 92개다.
모든 단계 보기
- 블록을 한 번 적용하면 Doom-lite 프레임에서 잘못 그린 셀이 92개다.
- 같은 가중치의 블록을 한 번 더 적용하면 잘못 그린 셀이 35개로 줄어든다.
- 세 번째로 적용하면 잘못 그린 셀은 12개만 남는다.
- 네 번째로 적용하면 잘못 그린 셀이 0개가 되어 프레임 전체가 정답과 일치한다.
이런 구조를 루프형 트랜스포머(looped transformer)라고 부릅니다. 보통 트랜스포머는 가중치가 서로 다른 층을 여러 장 쌓습니다. 루프형은 블록 하나를 만들어 두고 그 블록을 반복해서 적용하죠. 그래서 깊이 방향의 가중치 공유라고도 합니다. 초안을 한 번 쓴 다음, 같은 사람이 같은 기준으로 두 번, 세 번 고쳐 쓰는 것과 비슷합니다. 거슬러 올라가면 2018년 Universal Transformers 논문까지 닿는 오래된 아이디어예요.
마이크로컨트롤러에서 이 구조가 쓸모 있는 이유는 메모리 때문입니다. 가중치는 블록 하나 분량만 저장하면 됩니다. 실행할 때 몇 번 반복할지만 정하면 속도와 정확도를 맞바꿀 수 있고요. tinyworldformer는 반복할 때마다 나온 출력을 모두 정답인 다음 프레임에 맞춰 학습시켰습니다. 그래서 실행 중에 1~4회 중 아무 값이나 골라도 되고 Pico 기본값은 2회입니다. 보드에 USB로 연결하면 숫자 키로 반복 횟수를 바꿀 수 있습니다.
모델이 이렇게 작아도 되는 데는 게임 쪽 설계도 한몫합니다. 각 게임은 화면을 작은 토큰 ID 격자로 그리고 이 격자를 정사각형 패치로 잘라 게임당 36~80개 토큰으로 만듭니다. 화면에 안 보이는 상태, 예를 들어 공이 움직이는 방향이나 Doom 적의 위치도 화면에 그려 넣습니다. Doom-lite에는 미니맵까지 들어가 있죠. 월드 모델은 현재 화면과 버튼만 받으니, 화면 한 장이 곧 게임 상태 전체가 되도록 만든 겁니다.
그렇다면 반복을 많이 할수록 좋은 걸까요?
반복을 늘리면 늘 더 정확해질까
꼭 그렇지는 않습니다. 저자가 쓰는 지표는 '완전 일치율'입니다. 학습에 쓰지 않은 전이(화면과 버튼, 다음 화면 한 묶음) 가운데, 예측한 프레임의 모든 셀이 실제 게임과 똑같은 비율이죠. 무작위 사건이 일어난 직후의 프레임은 계산에서 뺍니다.
반복 횟수별로 재 보면 한 번만 돌렸을 때 크게 떨어지는 건 Doom-lite뿐입니다. 그리고 Doom-lite와 Pac-Man은 네 번 돌렸을 때가 오히려 덜 맞습니다.
| 루프 | Breakout | Doom-lite | Flappy | Pong | Pac-Man |
|---|---|---|---|---|---|
| 1 | 99.68% | 59.8% | 99.99% | 98.47% | 79.6% |
| 2 | 99.99% | 83.6% | 100% | 99.45% | 86.4% |
| 3 | 100% | 85.9% | 100% | 99.60% | 85.7% |
| 4 | 99.96% | 84.7% | 100% | 99.53% | 84.4% |
HN에서도 이 점을 짚은 댓글이 있었습니다. 단순한 게임에는 루프형 트랜스포머가 필요 없고 미니 Doom에서만 필요하다는 게 흥미롭다는 이야기였죠. 표를 보면 정말 그렇습니다. Breakout이나 Flappy Bird는 한 번만 돌려도 거의 다 맞으니, 반복을 줄여 시간을 아끼는 쪽이 합리적입니다. 화면이 복잡한 Doom-lite나 Pac-Man이라면 정확도만 놓고 볼 때 두세 번이 적당하고, 그 이상은 시간만 더 쓰는 셈입니다.
Doom-lite가 80%대라고 해서 화면이 엉망이라는 뜻도 아닙니다. 3D 뷰만 768셀이고 미니맵까지 포함한 프레임 전체에서 셀 하나만 틀려도 오답으로 치는 엄격한 지표입니다. 저자는 게임 상태 자체는 거의 항상 맞는다고 설명합니다.
정확도는 이 정도입니다. 다음 질문은 이 모델이 정말 그 작은 보드에 들어가느냐는 거죠.
보드 메모리에 들어가는 것과 보드에서 도는 것은 다르다
모델은 숫자를 작게 저장해서 보드에 들어갑니다. 월드 모델의 주요 선형 행렬은 소수 대신 8비트 정수(int8)로 저장하고, 출력 행마다 스케일 값을 하나씩 둡니다. 학습 중에도 처음 3~4천 스텝만 float로 돌리고 그 뒤로는 int8 반올림을 켠 채 학습합니다. 이렇게 하면 모델이 정수로 바뀌어도 성능이 덜 무너지는데, 이걸 양자화 인지 학습(QAT)이라고 부릅니다. 칩의 Cortex-M33 코어에는 SMLAD라는 명령이 있어서 한 명령으로 곱셈-누산 두 번을 처리합니다. 32비트를 한 번 읽어 가중치 네 개를 가져오고 SXTB16으로 두 개씩 풀어 넣는 식이죠. 액터 쪽은 더 작습니다. 은닉층 두 개짜리 float32 MLP(다층 퍼셉트론)라 프레임당 연산이 1만 회 안팎입니다.
RP2350은 150MHz로 돌고 온칩 SRAM이 520KB이며 그중 512KiB가 메인 메모리 맵에 잡힙니다. 플래시는 4MB입니다. 펌웨어를 빌드해 크기를 재 보면 가장 큰 Pac-Man도 이 메인 메모리 안에 들어갑니다.
| 게임 | 플래시 사용 | RAM 사용 |
|---|---|---|
| Breakout | 361KB | 299KB |
| Doom-lite | 471KB | 357KB |
| Flappy Bird | 409KB | 227KB |
| Pong | 414KB | 244KB |
| Pac-Man lite | 600KB | 460KB |
| Pico 2 W 용량 | 4MB | 512KiB(메인 메모리) |
Pac-Man은 메인 메모리의 9할 가까이를 씁니다. 그중 큰 몫은 월드 모델의 계산용 임시 버퍼이고, 셀마다 매긴 점수만 184KB를 차지합니다. 펌웨어는 embassy 기반의 no_std Rust, 그러니까 표준 라이브러리 없이 도는 Rust로 짰습니다. 실행 중에 메모리를 동적으로 할당하는 일도 없습니다. 가중치는 플래시에 static 배열로 박혀 있고요.
다만 이 표의 숫자는 size -A로 빌드 결과물의 크기를 잰 값입니다. 메모리에 들어간다는 증거일 뿐, 보드에서 몇 프레임으로 도는지 알려 주지는 않습니다. 같은 Rust 코드가 데스크톱 CPU에서는 프레임당 0.7ms(Flappy Bird)에서 1.5ms(Breakout), WebAssembly에서는 1~5ms가 걸립니다. 그런데 Pico 실기의 프레임률은 저자도 아직 재지 않았다고 README에 적었습니다. "들어간다"와 "몇 fps로 돈다"는 아직 별개의 질문인 셈입니다.
그리고 메모리에 잘 맞췄다고 해서 화면까지 맞는 건 아니었습니다.
모델이 맞혀도 화면이 틀리는 이유
모델이 실제로 내놓는 건 완성된 화면이 아닙니다. 셀마다 각 토큰에 매긴 점수가 나옵니다. 저자는 이 점수를 화면으로 바꾸는 디코딩이 모델 자체만큼 중요했다고 씁니다. 규칙은 세 갈래입니다. 배경 셀은 셀마다 점수가 가장 높은 토큰을 따로 고릅니다. 공, 플레이어, 유령처럼 화면에 정확히 하나만 있어야 하는 객체는 화면 전체의 (셀, 토큰) 후보 가운데 딱 하나만 배치합니다. 2×2 크기 스프라이트는 상태를 담은 셀 하나만 예측하고, 나머지 세 셀은 정해진 모양대로 찍어 넣습니다.
셀마다 따로 고르면 무슨 문제가 생길까요? 공이 있을 법한 셀 두 곳의 점수가 비슷하면 공이 두 개 그려지기도 하고 반대로 아무 데도 안 그려지기도 합니다. 신경망은 "공은 하나"라는 사실을 확실히 알지 못하거든요. 그 제약을 디코더에 직접 넣자 Breakout의 완전 일치율은 91.6%에서 단숨에 올라갔습니다. 모델은 다시 학습시키지 않았습니다. 보상은 보상 헤드에서 가장 높은 값을 고르고, 목숨과 게임 종료는 앞서 말한 별도 카운터가 맡습니다.
이 대목에서 프로젝트의 성격이 분명해집니다. 정확도의 상당 부분은 "이 게임에서 무엇이 하나뿐인지"를 사람이 알려 준 덕분입니다. 출력이 지켜야 할 구조를 정확히 알고 있다면 그걸 디코더에 박는 편이 모델을 키우는 것보다 훨씬 쌉니다. 반대로 어떤 세계가 나올지 모르는 범용 월드 모델에는 이런 규칙을 넣을 수 없죠.
그런데 기록해 둔 데이터에서 잘 맞힌다고 끝이 아니었습니다. 액터가 그 꿈 안에서 놀기 시작하면서 문제가 생겼습니다.
꿈에서만 배운 에이전트는 왜 실제 게임에서 무너졌나
꿈에서만 학습한 Breakout 에이전트는 꿈 안에서 210점을 받았습니다. 실제 게임의 최대 점수는 56점인데도요. 진짜 게임에 데려가자 점수는 28점에 그쳤습니다. 저자는 이 차이를 잡으려고 두 가지 과정을 따로 돌렸습니다. 하나는 감사(audit) 실행입니다. 대부분의 게임은 생성된 프레임에서 게임 상태를 거꾸로 읽어 내고 거기에 실제 규칙과 에이전트의 행동을 적용한 다음, 신경망이 그린 다음 프레임 및 보상과 셀 단위로 비교합니다. 어긋난 곳은 오류로 세기만 하고 다음 스텝으로 넘어갑니다. 다른 하나는 개발자가 그 결과를 검토하고 실제 게임 데이터를 더 모아 월드 모델을 미세조정한 뒤, 다시 감사하는 과정입니다.
꿈의 점수가 실제 최대보다 높을 수 있는 이유는 간단합니다. 에이전트는 기록된 데이터에 없던 상태로 꿈을 몰고 가고 그 상태에서 월드 모델이 내는 오류를 점수로 바꿔 먹습니다. Breakout 꿈에서는 벽돌 26개를 그대로 남겨 둔 채 154점을 받은 경우도 있었습니다. 저자는 이것이 2018년 World Models 논문이 예측한 현상 그대로라고 적었습니다. HN에도 "액터가 월드 모델의 실수로 학습하면 자기에게 쉬운 상태로 가도록 환각을 유도하는 법을 배울 것"이라는 지적이 나왔는데, README가 이미 기록해 둔 일과 같은 이야기죠.
감사 방식은 게임마다 조금 다릅니다. Breakout은 상태를 역추출하지 않고 벽돌 변화와 보상, 나올 수 없는 토큰이 있는지를 검사합니다. 미세조정을 마친 모델로 게임당 5,000스텝을 생성하며 배포용 에이전트에게 플레이시켰더니, Flappy Bird는 상태·보상·셀 오류가 하나도 없었습니다. 반면 Pac-Man은 상태 오류가 742번 나왔습니다. 대략 일곱 스텝에 한 번꼴이니 다른 게임보다 훨씬 잦습니다.
이 구조에는 전제가 하나 깔려 있습니다. 꿈의 빈틈을 찾고 메우려면 정답 규칙을 가진 진짜 게임이 옆에 있어야 합니다. numpy로 게임을 직접 짠 선택이 여기서 값을 합니다. 진짜 게임이 없는 세계를 상상하는 모델이라면 같은 방식으로 감사할 수 없겠죠.
보드 위의 학습기도 이 그림 안에 있습니다. 에이전트 알고리즘은 Stream AC(λ)인데, 스트리밍 강화학습 계열입니다. 많은 심층 강화학습 방식은 경험을 버퍼에 쌓아 두었다가 묶어서 학습합니다. 스트리밍 방식은 전이 하나가 들어올 때마다 바로 업데이트하고 버리죠. 문제집을 모아 뒀다가 주말에 몰아 푸는 대신, 한 문제 풀 때마다 바로 채점하고 고친 뒤 잊는 식입니다. 버퍼도 배치도 없으니 메모리가 수백 KB인 보드에서도 학습할 수 있습니다. 저자는 이 학습기를 no_std Rust로 옮겼고 PyTorch로 200번 업데이트한 결과와 3.5e-6 이내로 일치한다고 밝혔습니다. 저자 보고에 따르면 PC에서 돌린 Rust int8 Flappy 꿈 안에서 새 에이전트는 2만 5천 스텝 뒤 에피소드당 평균 파이프 6개, 25만 스텝 뒤에는 300개 넘게 통과했습니다. 참고로 이 에이전트는 픽셀이 아니라, 프레임에서 읽어 낸 사람이 설계한 특징 값을 입력으로 받습니다.
작은 보드의 게임이 보여 준 것과 아직 보여 주지 못한 것
처음 질문으로 답하자면, 작은 보드의 신경망은 꽤 정확하게 게임을 상상합니다. 다만 그 정확도를 만든 건 모델 크기를 줄인 솜씨만이 아니었습니다. 게임 상태를 전부 화면에 그려 넣은 설계, "공은 하나뿐"이라는 지식을 박아 둔 디코더, 그리고 진짜 규칙으로 꿈을 감사하고 메운 반복 작업이 함께 만든 결과입니다. 처음 장면의 Breakout 공이 화면에 정확히 하나만 떠 있는 것도, 신경망이 그렇게 배웠다기보다 디코더가 그렇게 고르기 때문입니다.
아직 모르는 것부터 짚으면 Pico 실기에서의 프레임률은 측정값이 없습니다. 현재 README는 프레임률을 아직 재지 않았다고 적고 저자는 HN에서 에이전트를 Pico에서 직접 학습시켰다고 답했습니다. 그래도 실기 구동을 보여 주는 측정값이나 사진, 영상은 확인하지 못했습니다. 모든 수치가 저자 측정이고 제3자 재현이 없다는 점도 함께 기억해 둘 만합니다. 저장소에서 라이선스 표기도 찾지 못했습니다.
그래도 개발자가 당장 가져다 쓸 만한 건 있습니다. src/tinyworldformer/rustexport/의 외부 수치 계산 의존성은 numpy와 torch뿐이고, 테스트는 이 모듈이 다른 tinyworldformer 내부 모듈에 기대지 않는지 검사합니다. QAT 레이어로 모델을 구성하고 정수 스펙으로 바꾸고 Rust 소스를 생성한 뒤, 골든 벡터로 비트 단위 일치를 검사하는 흐름이 통째로 들어 있죠. 수백 KB 안에 들어가는 작은 모델을 마이크로컨트롤러에 올리면서 정해진 골든 벡터에 대해 Python 정수 참조 구현과 비트 단위로 일치하는지 검사해야 할 때 참고할 만합니다. 반대로 모델이 수 MB를 넘거나, 디코더에 넣을 도메인 규칙이 없는 범용 생성 모델이라면 맞지 않습니다. 그런 작업은 GameNGen이나 Genie 3처럼 GPU·TPU 위에서 다루는 영역이에요. 라이선스가 확인되기 전까지는 코드를 복사하기보다 설계를 참고하는 정도가 안전합니다.
보드가 없어도 같은 no_std int8 엔진을 WebAssembly로 빌드할 수 있습니다. 저자 설명으로는 시드와 모델·에이전트·입력 설정이 같으면 네이티브 빌드와 프레임 단위로 똑같은 에피소드가 나온다고 합니다.
rustup target add wasm32-unknown-unknown # once
cd tinyworldformer-rs/web
./build.sh # one module per env into www/ (or ./build.sh pong flappy)
python3 -m http.server -d www # open http://localhost:8000, ?env=pacman picks a game주소 뒤에 ?env=pacman을 붙이면 상태 오류가 가장 잦았던 게임이 열립니다. 신경망이 상상한 Pac-Man에서 유령이 엉뚱한 자리에 나타나는 순간을 직접 잡아낼 수 있을 겁니다.
