코딩맥스

RTX 3090의 BF16 절반 속도 잠금을 푸는 gpu-unlock, 실제로 무엇을 바꾸나

코딩맥스읽는 데 25분GPUNVIDIAAILinux
목차

같은 3090 Ti, BF16 행렬 곱이 80% 빨라졌다

카드는 그대로입니다. 부팅할 때 커널 모듈 하나가 NVIDIA 드라이버보다 먼저 돌았을 뿐인데 RTX 3090 Ti의 BF16 행렬 곱 처리량이 거의 두 배 가까이 뛰었다는 보고가 나왔습니다. 지난 일주일 X와 Hacker News, Reddit r/LocalLLaMA에서 계속 돌던 Zagitta/gpu-unlock 이야기입니다. 저장소는 공개 9일 만에 스타 8,700개를 넘겼고 Hacker News 글은 343점에 댓글 80개가 달렸습니다(둘 다 10월 26일 확인).

Hacker News에 올라온 GPU-unlock 글 제목 (343 points, 댓글 80개)

README 맨 위에 걸린 숫자는 이슈 #1에서 나왔습니다. 450W로 돌린 3090 Ti에서 8192³ 크기의 밀집 GEMM을 FP32 누산으로 다섯 번 재고 중앙값을 낸 결과입니다.

입력해제 전해제 후
FP1687.46 TFLOPS118.39 TFLOPS
BF1687.50 TFLOPS157.41 TFLOPS
TF3242.58 TFLOPS82.61 TFLOPS

gpu-unlock 자체는 드라이버를 고치지 않도록 설계됐습니다. 그런데 이슈 본문에 따르면 이 대표 측정은 본 저장소 대신 3090 Ti 장치 ID를 추가한 실험용 포크에서 나왔습니다. 수정한 NVIDIA 610.43.02 드라이버와 직접 만든 initramfs 훅으로 잰 값입니다. 저장소의 간판 숫자라 해도 이 표를 "설치하면 누구나 이만큼"으로 읽을 수는 없습니다. 이 차이는 뒤에서 다시 봅니다.

잠금은 레지스터 4비트에 있다

저장소 설명에 따르면 Ampere 소비자용 카드(GA102·GA103·GA104·GA106)는 FP16/BF16 입력을 FP32로 누산하는 Tensor 연산 명령을, 대응하는 전문가용 카드의 절반 속도로만 발행합니다. 그리고 이 발행 제한은 레지스터 설정으로 걸려 있습니다. 저장소의 기술 문서 How Ampere was unlocked는 그 설정이 사는 곳을 레지스터 두 개로 짚습니다.

FIG 1 · DIAGRAM
FEAT_OVR_SM_SPD (SS0) · 0x0082381c · 32비트기본값00000001목표값88888888필드 8개가 DP·FFMA·FMLA16·FMLA32·IMLA0~3의 발행 속도를 정한다필드 하나bit 3bits 2:0오버라이드 켜기속도 선택: 000 전속 · 001 절반0x1 = 0 001오버라이드 꺼짐0x8 = 1 000오버라이드 켜고 전속SS1(0x00823820)은 IMLA4용 필드 하나만 있고, 같은 방식으로 0x8을 쓴다
그림 1. SS0의 기본값 0x00000001을 0x88888888로 바꾸면 여덟 필드 모두 오버라이드가 켜지고 전속을 고른다

FEAT_OVR_SM_SPD(SS0)는 4비트 필드 여덟 개로 나뉩니다. 각 필드는 최상위 비트가 오버라이드 스위치, 아래 세 비트가 속도 선택자입니다. 선택자 000이 전속, 001이 절반입니다. 1/4, 1/8 값도 있다고 하지만 문서는 이 둘을 미확인으로 표시해 둡니다. 모든 필드를 0x8로 채우면 "오버라이드를 켜고 전속으로"가 됩니다. SS1은 필드가 하나뿐이고 같은 방식으로 0x8을 씁니다.

그런데 호스트, 그러니까 드라이버 쪽에서 이 두 레지스터에 값을 써도 아무 일도 일어나지 않습니다. 쓰기 권한은 FEAT_OVR_PLM이라는 권한 마스크 레지스터가 쥐고 있습니다. 기본값의 하위 바이트 0x8f는 "읽기는 모두, 쓰기는 최고 권한 레벨만"으로 해석됩니다. 이 해석도 관찰된 동작에서 추론한 모델이라고 문서는 밝힙니다. 그렇다면 최고 권한으로 코드를 한 번이라도 돌릴 길이 필요합니다.

부트로더 버그에서 레지스터 쓰기까지

FIG 2 · STEP
1 / 5
디버그 부트로더테스트 키로 해독SEC2 부트로더버퍼 오버플로 → ROPFEAT_OVR_PLM0xFFFFFFFF 한 번 쓰기SS0 · SS1 쓰기그다음 FLRnvidia 드라이버수정 없이 바인딩GPU 보안 프로세서(SEC2) 안호스트(리눅스 커널)암호화된 디버그 부트로더가 공개 테스트 키로 풀려분석가가 코드를 읽고 쓸 만한 조각을 찾을 수 있었다실제 부트로더에도 비슷한 스택 버퍼 오버플로가 있어되돌아갈 주소를 덮어쓰는 ROP로 고권한 코드를 이어 붙인다ROP로 할 수 있는 일은 4바이트 쓰기 한 번뿐이라두 레지스터 대신 둘의 쓰기 권한을 쥔 PLM을 연다권한이 열리자 호스트 쪽 모듈이 SS0에 0x88888888, SS1에 0x8을 쓰고함수 단위 리셋(FLR)으로 카드를 깨끗하게 돌려놓는다손대지 않은 nvidia 드라이버가 평소처럼 카드를 잡는다속도 선택자는 그대로라 FP16/BF16 발행 속도가 전속이 된다출처: 저장소 문서 How Ampere was unlocked (커밋 990a14e)

암호화돼 공개된 디버그 부트로더가 공개 테스트 키로 풀리면서, 분석가가 코드를 읽고 쓸 만한 조각을 찾을 수 있었습니다.

모든 단계 보기
  1. 암호화돼 공개된 디버그 부트로더가 공개 테스트 키로 풀리면서, 분석가가 코드를 읽고 쓸 만한 조각을 찾을 수 있었습니다.
  2. 실제 부트로더에도 비슷한 스택 버퍼 오버플로가 있어, 되돌아갈 주소를 덮어쓰는 ROP로 고권한 코드 조각을 이어 붙입니다.
  3. ROP로 할 수 있는 일은 4바이트 쓰기 한 번뿐이라, 두 속도 레지스터 대신 둘의 쓰기 권한을 쥔 PLM 레지스터를 엽니다.
  4. 권한이 열리면 커널 모듈이 SS0에 0x88888888, SS1에 0x8을 쓰고 함수 단위 리셋(FLR)으로 카드를 정리합니다.
  5. 수정하지 않은 nvidia 드라이버가 평소처럼 카드를 잡고, FP16/BF16 명령 발행 속도는 전속으로 남습니다.
그림 2. 부트로더 버그로 얻은 4바이트 쓰기 1번이 속도 레지스터 2개의 잠금을 연다

길은 GPU 안의 보안 프로세서 SEC2가 돌리는 부트로더(Booter)에서 열렸습니다. 이 부트로더는 드라이버가 넘긴 GSP 펌웨어를 받아 서명을 확인하고 복호화해서 GSP에 올리는 역할을 합니다. 문서에 따르면 NVIDIA가 한동안 디버그용과 양산용 부트로더 바이너리를 함께 배포했고 디버그 쪽은 공개된 테스트 키로 암호화돼 있었습니다. 풀어서 읽을 수 있게 된 코드에서 스택 버퍼 오버플로가 나왔는데 양산용도 거의 같은 구조였습니다.

스택을 덮어쓸 수 있으면 함수가 돌아갈 주소를 바꿀 수 있습니다. 이미 펌웨어 안에 있는 짧은 코드 조각들을 리턴 주소로 이어 붙이는 ROP(Return Oriented Programming)입니다. 여기서 만든 V67 페이로드가 할 수 있는 일은 "주소 하나에 4바이트 하나 쓰기"가 전부입니다. 속도 레지스터가 둘이니 한 번으로는 모자라죠. 그래서 레지스터 대신 그 둘의 권한을 쥔 PLM에 0xFFFFFFFF를 써서 문을 엽니다. 간접 참조를 하나 더 거치는 컴퓨터 과학의 오래된 해법이 여기서도 통했습니다.

이 기법 자체는 gpu-unlock의 발명이 아닙니다. 작성자 Zagitta는 HN 스레드 첫 댓글에서 "익스플로잇은 내 아이디어가 아니고, 드라이버를 패치하지 않아도 되게 한 패키지로 묶은 것"이라고 밝혔습니다. 바탕에는 cmpunlocker 계열 연구가 있습니다. CMP 170HX 채굴 카드의 메모리 잠금을 풀던 연구입니다.

Hacker News에서 gpu-unlock 작성자 Zagitta가 남긴 댓글

드라이버를 고치지 않고 드라이버보다 먼저 움직인다

gpu-unlock은 NVIDIA 드라이버를 수정하지 않습니다. 앞선 CMP 계열 언락은 NVIDIA 드라이버를 패치하거나 UEFI 모듈로 OS보다 먼저 도는 방식이었습니다. 드라이버 패치는 새 버전이 나올 때마다 다시 해야 하고 UEFI 방식은 설치가 번거롭습니다. gpu-unlock은 그 사이를 노립니다. initramfs 안에서 nvidia보다 먼저 올라오는 리눅스 커널 모듈이 언락을 실행해 속도 선택자를 쓰고 FLR로 카드를 정리한 다음 손대지 않은 드라이버에 넘깁니다.

설치는 배포판을 감지하는 make install 한 번에, 커널 명령줄 옵트인을 더하는 구조입니다.

Shell
git clone https://github.com/Zagitta/gpu-unlock
cd gpu-unlock
make install
 
# 커널 명령줄에 추가 (GRUB, systemd-boot, grubby 등)
gpu_unlock.targets=all

옵트인이 없으면 모듈은 아무것도 하지 않습니다. gpu_unlock.targets=0000:21:00.0처럼 PCI 주소로 카드를 고를 수 있습니다. 이미 nvidia가 잡은 카드에는 부팅 뒤 모듈을 올려도 효과가 없습니다. suspend-to-RAM으로 GPU 전원이 끊기면 속도 선택자가 초기화되므로 깨어날 때 모듈이 nvidia보다 먼저 다시 언락합니다. 전원이 유지되는 suspend-to-idle에서는 상태만 확인합니다. 최대 절전(hibernation)은 지원하지 않습니다. 결과는 커널 로그에서 확인합니다.

Shell
journalctl -k -b | grep gpu_unlock

gpu_unlock: unlocked는 모듈이 절차를 마쳤다는 표시일 뿐입니다. README 호환성 표에도 절차는 끝났는데 BF16이 절반 속도에 머문 카드가 있으니 실제 효과는 같은 조건의 벤치마크로 확인해야 합니다. 빌드 입력은 NVIDIA 610.43.03 관련 고정 파일로, 처음 내려받은 뒤 캐시하고 매번 SHA-256을 다시 검증합니다. 펌웨어와 페이로드는 이 입력에서 로컬로 생성하며 저장소에는 넣지 않습니다.

실제 작업에서는 어디가 빨라지나

명령 발행 속도가 두 배가 됐다고 작업이 두 배 빨라지지는 않습니다. 작성자의 HN 설명이 정확합니다. 연산량이 늘면 전력도 늘고 카드는 와트를 지키려고 클럭 곡선을 따라 내려갑니다. 전력 한도와 냉각이 결과를 정합니다.

작업보고된 변화근거
3090 BF16 GEMM+25~67% (낮은 쪽은 225W 제한 카드)README 호환성 표
LLM 프리필+14~36%이슈 #9, #15, #25, #33
vLLM 27B BF16, 3090 350W프리필 +33%, 디코드 +1.2%이슈 #25
LLM 디코드, INT8거의 그대로README
3060에서 nanochat 학습 (170W 제한)약 6%HN 댓글

결과는 연산이 병목이냐 메모리 대역폭이 병목이냐에 따라 갈립니다. 긴 프롬프트를 한꺼번에 읽는 프리필, 디퓨전 이미지 생성, 학습은 큰 행렬 곱 비중이 높아 이득을 기대할 만합니다. 토큰을 하나씩 뽑는 디코드는 배치가 작을 때 대개 가중치를 메모리에서 퍼 오는 속도에 묶여 있어서 발행 속도가 늘어도 얻는 게 적습니다. 배치와 실행 구성이 바뀌면 이 경계도 움직입니다. 혼자 챗봇을 돌리며 "답이 빨리 나오나"만 보는 사람이라면 체감은 첫 토큰이 조금 빨리 나오는 정도일 겁니다. HN에서는 4장의 3090에 vLLM 배치를 꽉 채워 돌려 보니 전체 이득이 7~8%였다는 보고도 나왔습니다.

출력 정확도는 비교한 보고들에서 해제 전후 비트 단위로 같았다고 README가 정리합니다. 이슈 #25는 같은 날 8시간 넘게 서빙·이미지·영상 작업을 섞어 돌리면서 Xid 오류 없이, 온도와 전력도 기본 상태와 같았다고 적었습니다. 다만 표본은 자원자 보고 수십 건이고 측정 방법도 보고마다 다릅니다.

소셜에서 부풀려진 대목

조회수가 붙은 게시물일수록 저장소와 다른 말을 하는 경우가 많았습니다.

"Claude가 찾아냈다." 机器之心(@jiqizhixin)의 X 게시물은 "Claude just found a way to unlock"으로 시작합니다. 커밋 일부에 Claude 공동 작성자 표기가 있고 이슈 #1의 3090 Ti 포트도 Codex가 코드를 고쳤다고 밝힙니다. 그러나 핵심인 부트로더 취약점과 ROP 페이로드는 앞선 CMP 언락 연구에서 왔고 작성자 스스로 자기 아이디어가 아니라고 했습니다. 공개된 기록으로 확인되는 AI의 몫은 포팅과 코드 정리 쪽이고 취약점 발견은 아닙니다.

机器之心(jiqizhixin)의 X 게시물: gpu-unlock 저장소와 Claude 기여자 표시

"드라이버를 동적으로 패치하고 장치 ID를 바꿔치기한다." Wccftech 첫 기사의 설명인데 README는 정반대로 "패치한 NVIDIA 드라이버가 아니다"라고 못 박습니다. 실제로는 레지스터 값을 바꾼 뒤 원래 드라이버에 넘길 뿐, 전문가용 카드인 척 속이는 절차는 없습니다.

"RTX 20, 30, 40 모두 두 배." 조회수 75만을 넘긴 @Pirat_Nation 게시물은 RTX 4090 FP16 165.6 → 331.6 TFLOPS 같은 수치를 함께 올렸습니다. 4090과 4070 Ti Super용 gpu-unlock-ada, Turing용 turing-unlock은 별개 포크이고 Zagitta 저장소는 Ampere만 다룹니다. 이 글에서는 포크의 수치를 검증하지 않았습니다. Blackwell과 Hopper는 부팅 과정이 완전히 달라 당분간 어렵다는 게 작성자의 판단입니다.

Pirat_Nation의 X 게시물: RTX 20·30·40 시리즈 언락 전후 TFLOPS 비교

"두 배 빨라진다." 명령 발행 속도는 두 배가 됩니다. 하지만 실제 GEMM 이득은 전력 한도에 따라 크게 갈리고 디코드는 그대로입니다.

MiaAI_lab의 X 게시물: RTX 3090 Ti BF16 약 87에서 약 157 TFLOPS

누가 지금 써도 되나

조건이 맞으면 해 볼 만합니다. 리눅스에서 Ampere 카드로 학습, 디퓨전, 긴 컨텍스트 프리필, 배치 서빙처럼 연산이 병목인 일을 하고 전력 한도를 올려 줄 냉각 여유가 있는 경우입니다. 커널·라이브러리 튜닝이나 배치 구성 최적화와는 다른 축이라 그쪽을 이미 해 둔 상태에서도 더할 수 있습니다. 클라우드에서 A100 같은 데이터센터 GPU를 빌리면 공식 지원되는 BF16 환경을 쓸 수 있지만 시간당 비용이 계속 나갑니다.

기다리는 편이 나은 경우도 분명합니다. 게임 성능은 오른다는 근거가 없습니다. 혼자 쓰는 로컬 LLM이 디코드 위주라면 바뀌는 게 거의 없으니 양자화나 더 빠른 메모리를 가진 카드 쪽이 효과가 큽니다. 윈도용으로는 실험적 UEFI 포트가 있지만 지원하는 GPU·메인보드·BIOS 조합이 좁습니다. Ubuntu처럼 Secure Boot에서 모듈 서명을 강제하는 환경에서는 서명 없는 모듈을 그대로 올릴 수 없습니다. 무엇보다 이 도구는 GPU 보안 프로세서의 취약점을 이용합니다. 업무용 장비, 보증이 남은 카드, 다른 사람이 관리하는 서버라면 그 사실만으로도 넣지 않을 이유가 됩니다. README도 펌웨어가 멈추지 않는 경우를 대비해 "전원을 완전히 끈 뒤 다시 시도하라"는 절차를 따로 적어 둘 정도입니다.

지금 이 언락은 특정 부트로더 버그와 610.43.03 펌웨어 산출물에 묶여 있어서 오래 간다는 보장이 없습니다. HN에서는 다음 세대가 서명된 펌웨어로 이 설정을 막을 거라는 예상도 나왔습니다. 드라이버나 펌웨어 검증 정책이 바뀌면 이 경로가 막힐 수 있습니다. 써 보려면 먼저 같은 벤치마크로 기준값을 잡아 두고 드라이버나 펌웨어를 올릴 때마다 journalctl -k -b | grep gpu_unlock에 unlocked가 여전히 찍히는지 확인하세요.