155개의 응답에 왜 남의 데이터가 섞였을까: Cloudflare Workers AI GLM-5.3 사고
목차
거부된 요청이 왜 성공했을까요?
Workers AI의 GLM-5.3에 아주 긴 프롬프트를 보낸 사용자 일부가 실제로 겪은 일입니다. 상태 코드는 200이었고 답도 자연스러웠는데, 그 답에는 같은 모델에 바로 앞서 들어온 다른 고객 요청의 데이터가 섞여 있었죠. 원인 두 가지가 겹쳤습니다. 하나는 컨텍스트 창보다 작게 잡힌 GPU 메모리였고, 다른 하나는 거부 표시를 엉뚱한 곳에서 확인한 검사였습니다.
이 검사가 서버 한 대에서는 무해했는데, 왜 서버를 둘로 나누자 남의 대화를 읽었을까요? 그 이유를 알고 나면 SGLang 분리 구성을 운영하는 팀은 엔진 시작 로그의 숫자 두 개만 비교해서 이번 사고를 촉발한 설정 불일치가 있는지 확인할 수 있습니다.
거부돼야 할 긴 프롬프트가 HTTP 200을 받았다
정상이라면 이 요청들은 그 자리에서 실패했어야 합니다. Cloudflare 사고 보고서에 따르면 영향을 받은 응답은 155건이고, 모두 681,280토큰보다 긴 프롬프트에 대한 응답이었습니다. GPU에 다 들어가지 않는 프롬프트였으니 거부되는 게 맞았죠.
같은 프롬프트라도 구성에 따라 클라이언트가 받는 응답이 정반대였습니다.
| 항목 | 단일 노드 구성 (나와야 할 응답) | GLM-5.3 분리 구성 (실제 응답) |
|---|---|---|
| 상태 코드 | HTTP 400 | HTTP 200 |
| 결과 | 오류 | 정상 답변 |
prompt_tokens | 해당 없음 | 긴 프롬프트와 일치 |
| 답변 내용 | 없음 | 자연스러움, 다른 고객 요청의 데이터가 섞임 |
| 도착 시간 | 오류 반환 | 긴 prefill에 걸려야 할 시간보다 빨리 도착 |
상태 코드와 토큰 수만 보면 정상이었습니다. 이상을 잡을 단서는 비정상적으로 빨리 온 응답, 그리고 입력에 넣어 둔 고유 마커가 출력에서 빠지고 답이 입력과 무관하다는 점이었죠. 출력을 직접 검증하지 않는 클라이언트라면 눈치채기 어렵습니다. Cloudflare도 출시 전 테스트에서 HTTP 응답 코드와 성능만 봤고 출력이 맞는지는 확인하지 않았다고 스스로 인정했습니다.
그럼 섞여 들어온 남의 데이터는 어디서 왔을까요? 답은 GPU 메모리가 재활용되는 방식에 있습니다.
KV 캐시 페이지는 지우지 않고 다음 요청이 덮어쓴다
남의 데이터는 GPU 안의 KV 캐시에 그대로 남아 있었습니다. KV 캐시는 고정 크기 페이지로 나뉜 공유 풀입니다. 요청이 들어오면 페이지를 받아 쓰고 끝나면 반납합니다. 반납된 페이지는 0으로 지워지지 않고 다음 요청이 그 위에 덮어쓸 뿐입니다.
회의실 화이트보드를 떠올리면 쉽습니다. 앞 팀이 지우지 않고 나가면 다음 팀은 자기가 쓸 칸만 덮어쓰고, 나머지 칸에는 앞 팀의 메모가 남아 있죠. 자기 칸만 읽는다면 아무 문제가 없습니다.
이건 의도된 설계라서 버그라고 할 수는 없습니다. 성능 때문에 추론 엔진들이 흔히 쓰는 방식이고 그 대가로 어느 페이지가 누구 것인지 추적하는 일은 전적으로 엔진이 맡습니다. 매번 지우는 편이 안전하긴 하죠. 하지만 해제할 때 페이지를 0으로 지우는 방안은 SGLang에서 아직 #46435 초안 단계입니다. 그러니 지금은 소유권 추적이 한 번이라도 틀리면 남의 메모가 그대로 읽힙니다.
그렇다면 이번에는 어디서 추적이 틀렸을까요? 시작점은 메모리 크기를 잘못 맞춘 설정이었습니다.
컨텍스트 창보다 작은 KV 풀이 거부 경로를 열었다
GLM-5.3은 받겠다고 약속한 프롬프트보다 담을 수 있는 공간이 작은 상태로 배포됐습니다. 모델 페이지에 적힌 컨텍스트 창은 백만 토큰이 넘는데, prefill GPU의 KV 풀은 그보다 훨씬 작았거든요. Cloudflare는 이 불일치를 출시 전부터 알고 있었습니다.
사고 당시 설정과 수정 후 설정, 그리고 영향이 없었던 다른 배포를 나란히 놓으면 갈린 지점이 보입니다.
| 구성 | KV 풀 크기 | 컨텍스트 창 대비 | 결과 |
|---|---|---|---|
| GLM-5.3 컨텍스트 창 | 1,048,576토큰 | 기준 | — |
| GLM-5.3 prefill KV 풀 (사고 당시) | 681,280토큰 | 작음 | 풀을 넘는 프롬프트가 거부 경로로 감 |
| GLM-5.3 prefill KV 풀 (GLM 5.2 설정에 맞춘 뒤) | 약 204만 토큰 | 약 2배 | 정상 요청이 거부 경로에 닿지 않음 |
| Workers AI의 다른 분리 구성 배포 | prefill·decode 양쪽 모두 컨텍스트보다 큼 | 큼 | 영향 없음 |
이런 불일치가 생기기 쉬운 이유가 있습니다. SGLang에서 KV 풀 크기는 기본적으로 직접 정하는 값이 아닙니다. 엔진이 시작할 때 가중치를 올리고 남은 GPU 메모리로 계산하죠. 메모리 비율이나 토큰 상한으로 조정할 수는 있지만, 컨텍스트 길이는 따로 정하는 값이고 둘을 맞추라고 강제하는 장치는 없습니다. 운영자가 컨텍스트 길이를 정한 대로 써 두면 엔진은 군말 없이 뜹니다.
그래도 큰 프롬프트는 거부되고 끝났어야 합니다. 거부는 원래 안전한 경로니까요. 그런데 분리 구성에서는 그 거부가 중간에 사라졌습니다.
1토큰으로 줄어든 요청이 8페이지를 읽었다
거부 표시는 남았지만, 그 표시를 아무도 읽지 않았습니다. Cloudflare 보고서는 버그 경로를 일곱 단계로 설명하고 페이지 8개짜리 예시를 듭니다. 분리 구성에서는 prefill GPU가 프롬프트를 처리해 KV 캐시를 만들고 이를 Mooncake 기반 RDMA로 decode GPU에 넘겨 응답을 생성합니다.
Bootstrap 단계에서 라우터가 프롬프트 길이를 알리고, decode 노드가 KV 페이지 8개를 예약한다.
모든 단계 보기
- Bootstrap 단계에서 라우터가 프롬프트 길이를 알리고, decode 노드가 KV 페이지 8개를 예약한다.
- Prefill admission에서 풀에 들어가지 않는 프롬프트가 거부돼 1토큰 placeholder로 바뀌지만, finished()가 False를 돌려줘 요청이 그대로 통과한다.
- Prefill forward는 1토큰 placeholder만 처리한다.
- KV 1페이지만 decode의 P0으로 전송되고, prefill은 전송 완료를 통지한다.
- Decode admission도 같은 finished() 검사 때문에 요청을 그대로 받아들인다.
- Decode attention이 예약한 8페이지를 모두 읽는다. P1~P7에는 이전 요청들이 남긴 다른 사용자의 데이터가 그대로 있다.
- 클라이언트는 HTTP 400 대신 HTTP 200을 받는다. prompt_tokens는 긴 프롬프트와 일치하지만 응답은 예상보다 빨리 도착한다.
- Bootstrap: 라우터가 decode 노드에 프롬프트 길이를 알리고, decode는 KV 페이지 8개를 예약합니다.
- Prefill admission: 스케줄러가 풀에 안 들어가는 프롬프트를 거부합니다.
Req.set_finish_with_abort가 거부 사실을to_finish에 적고 프롬프트를 1토큰짜리 placeholder로 바꾸죠. 그런데finished()는finished_reason만 봅니다. 그래서 False가 나오고, 요청은 그대로 통과합니다. - Prefill forward: 1토큰 placeholder만 처리합니다.
- KV transfer: KV 1페이지만 decode로 보내고 전송 완료를 알립니다.
- Decode admission: 같은
finished()검사 때문에 여기서도 통과합니다. - Decode attention: 예약해 둔 8페이지를 전부 읽습니다. 이 요청이 실제로 쓴 페이지는 P0뿐이고, P1~P7에는 이전 요청들이 남긴 다른 사용자의 프롬프트와 생성 중이던 내용이 그대로 있습니다.
- 응답: 클라이언트는 HTTP 400 대신 200을 받습니다.
거부를 적어 둔 칸과 거부를 확인하는 칸이 달랐습니다. 단일 노드에서는 이게 드러나지 않았습니다. placeholder가 그대로 실행되고 클라이언트가 오류를 받았거든요. 노드를 나누면서 decode가 미리 공간을 잡아 두는 단계가 생겼고, 그 공간을 다 읽는 순간 버그가 데이터 노출로 바뀌었습니다.
같은 경로는 이미 보고돼 있었습니다. 다른 사용자가 7월 6일에 올린 SGLang 이슈 #30233이 GLM-5.2-FP8, SGLang 0.5.11, mooncake 환경에서 같은 흐름을 짚었죠. 이슈에 적힌 핵심 파라미터를 보면 풀 크기가 요청 길이 상한을 정하는 구조가 그대로 드러납니다.
max_total_num_tokens = 284928 (determined by mem_fraction_static)
max_req_len = min(context_len, max_total_num_tokens) = 284928
max_req_input_len = max_req_len - page_size - 1 = 284922
#Request with 284937 tokens > 284922 → triggers abort그 보고자가 본 증상은 "garbage output"이었습니다. 쓰레기 출력처럼 보인 것이 남의 데이터였을 수도 있습니다. Cloudflare는 사고를 조사하다가 뒤늦게 이 이슈를 발견했다고 밝혔습니다.
즉시 조치는 두 갈래였습니다. KV 풀을 키워 정상 요청이 거부 경로에 닿지 않게 했고 엔진을 고쳐 거부된 요청을 bootstrap·할당·KV 전송보다 먼저 원래 오류와 함께 끝내게 했습니다. 이 패치는 #38704로 upstream에 제안됐습니다. 그런데 SGLang 팀은 거부 경로 말고도 같은 계열의 구멍이 하나 더 있다고 밝혔습니다.
abort 중에도 늦게 도착한 RDMA 쓰기가 남의 슬롯을 덮는다
이번 것은 취소 도중에 생기는 경합이라 거부와는 별개입니다. SGLang 팀의 조율 공개 글에 따르면, abort된 요청 A의 RDMA 쓰기가 아직 진행 중일 때 decode가 A의 슬롯을 해제할 수 있습니다. 그 슬롯을 요청 B가 받으면, 늦게 도착한 A의 데이터가 B의 KV 캐시에 쓰입니다.
왜 쓰기를 그냥 취소하지 않을까요? 이미 NIC 큐에 올라간 RDMA 작업은 하나씩 골라 취소할 수가 없거든요. 그래서 수정은 "deferred KV release"가 됐습니다. 슬롯을 drain 확인이나 timeout이 올 때까지 붙잡아 두는 방식입니다. 붙잡는 시간은 다음 조건을 만족해야 합니다.
T_hold > t_abort_propagation + t_remaining_chunks + t_in_flight_call데이터는 한 방향으로만 흐릅니다. abort한 쪽의 컨텍스트가 다른 사용자의 출력에 섞여 나올 수 있고, 반대 방향은 없죠. SGLang 팀이 2×H200에서 hold를 끄고 재현했더니, 피해 요청은 1부터 80까지 제대로 세다가 donor의 프롬프트 텍스트를 출력했습니다.
이 경합은 GLM-5.3만의 문제가 아니라서 범위가 넓습니다. SGLang 팀은 이 계열 버그가 기본 설정 PD 배포에 v0.4.x(2025년 초)부터 있었고 기본 보호는 Mooncake·NIXL은 v0.5.21, MORI는 v0.5.22부터 들어갔다고 밝혔습니다. 운영자가 이런 노출이 이미 일어났는지 확실히 알 방법은 없다고도 했고요. 대신 켜는 비용은 작다는 게 SGLang 팀의 측정입니다. 2×H100에서 모든 차이가 ±2% 안이었고 95% 신뢰구간은 모두 0을 포함했습니다.
v0.5.19나 v0.5.20을 그대로 쓰는 운영자에게 SGLang 팀이 권한 임시 완화책입니다. decode가 시작한 abort만 막아 주므로 v0.5.22 이상 업그레이드를 대신하지는 못하고, prefill과 decode 양쪽에 넣어야 합니다.
SGLANG_DISAGGREGATION_DEFERRED_DECODE_KV_RELEASE=1v0.5.20에서는 아래 두 값도 함께 언급됐고, timeout 권장 범위는 60–120 s입니다.
SGLANG_MOONCAKE_MAX_TRANSFER_BATCH_INDICES
SGLANG_DISAGGREGATION_DEFERRED_DECODE_KV_RELEASE_TIMEOUT배치 상한을 두는 이유는 단일 전송이 생각보다 커질 수 있어서입니다. #32758 테스트에서는 800K토큰 요청 하나의 전송 호출 한 번이 30 GB였거든요. 이런 수정이 다 나오기까지는 꽤 시간이 걸렸습니다. 사고 대응 자체는 빨랐던 것과 대조적이죠.
제보부터 복구까지 하루, 공개까지는 7주
제보 다음 날 저녁에 서비스는 돌아왔지만, 같은 날 고객이 보던 상태 페이지에는 데이터 노출이라는 말이 한 번도 나오지 않았습니다. Knostic의 보안 연구자 Gadi Evron이 HackerOne으로 제보했고 Cloudflare는 두 개의 독립 계정으로 25분 안에 유출을 재현했습니다. 사고를 선언한 뒤 40분 안에 모델을 내렸다고 밝혔고요.
보고서 타임라인과 상태 페이지 기록을 나란히 놓으면 시각도, 표현도 다릅니다.
| 시각 (UTC) | Cloudflare 보고서 | 상태 페이지 |
|---|---|---|
| 9/8 23:11 | 제보 접수 | — |
| 9/9 08:00 | 검증 시작 | — |
| 9/9 13:22 | 사고 선언, 유출 재현 | — |
| 9/9 14:00 | 모델을 private으로 전환 (HTTP 400 반환) | — |
| 9/9 14:25 | — | 사고 시작, 제목 "Cloudflare Workers AI increased errors" |
| 9/9 14:35 | 근본 원인 확인 | — |
| 9/9 14:52 | 모든 prefill 노드에 수정 설정 적용 | — |
| 9/9 19:04 | 엔진 패치 포함 재배포 | — |
| 9/9 19:40 | 공개 복구 | — |
| 9/9 20:09 | — | 해결 (GLM 5.3 오류 증가만 언급) |
| 9/10 | SGLang 메인테이너와 회의 | — |
| 10/2 | SGLang v0.5.21 출시 | — |
| 10/19 | SGLang v0.5.22 출시 | — |
| 10/26 | 조율 공개 | — |
복구가 빠른 건 칭찬받을 일입니다. 다만 노출 기간은 출시 직후인 8월 27일부터 9월 9일까지였고, 이 사실이 공개된 건 업스트림 패치가 다 나온 뒤였습니다. 오픈소스 엔진의 버그라서 다른 운영자들이 고칠 시간을 번 셈이죠. 그 사이 상태 페이지를 본 고객은 오류가 잠깐 늘었다고만 알았을 겁니다.
두 패치는 맡은 역할이 다릅니다. v0.5.20에 들어간 #36988이 잘못된 handoff를 막았습니다. 원래 VLM 인코더 실패 경로를 위해 만든 PR이죠. admission 단계에서 거부하는 #38935는 거부 시점을 앞당겨 불필요한 작업과 지연을 줄이는 쪽이고, 스스로도 "waste-and-latency fix, not a correctness fix"라고 적었습니다. prefill과 decode가 모두 거부한 테스트에서는 300초 뒤 timeout되던 decode가 바로 400을 돌려주게 됐고, 한쪽만 거부하는 비대칭 구성에서는 timeout이 남습니다. 운영자가 할 일은 하나입니다. 둘 다 들어간 v0.5.22 이상으로 올리는 거죠.
엔진 수정은 이렇게 끝났습니다. 그런데 다음 버그가 또 소유권 추적을 틀리면 어떻게 될까요? Cloudflare가 내놓은 장기 대책은 그 순간을 잡는 검사입니다.
페이지 태그 검사는 처리량을 1% 안쪽으로 깎는다
Cloudflare가 준비하는 대책은 decode가 페이지를 읽기 전에 그 페이지가 정말 자기 것인지 확인하는 방식입니다. 물리 KV 페이지마다 재할당될 때 바뀌는 태그를 붙이고 요청이 기대한 태그와 맞는지 확인합니다. 8월에 소개한 프로토타입으로, 중간 크기 프로덕션 모델(2 prefill/2 decode, 입력 8,192토큰, 출력 1,000토큰)에서 비용을 쟀습니다.
동시성을 바꿔 가며 잰 결과, 처리량 감소와 지연 증가가 모두 1% 아래였습니다.
| 동시성 | 처리량 변화 | p95 지연 변화 |
|---|---|---|
| 1 | −0.53% | +0.42% |
| 2 | −0.38% | +0.54% |
| 4 | −0.79% | +0.63% |
| 8 | −0.43% | +0.80% |
Cloudflare 자체 측정이긴 해도, 이 정도면 남의 데이터를 읽지 않는다는 보장의 값으로는 싼 편입니다. 다만 아직 켜져 있지는 않습니다. GLM 5.2에서 8월 중순에 시험했다가 안정성 문제로 껐다고 밝혔거든요. 설계대로라면 켜져 있었을 때 P1~P7을 읽는 순간 태그 불일치로 잡을 수 있었을 겁니다.
당장 쓸 수 있는 대안은 SGLang에 들어 있는 탐지 기능입니다. 전송된 KV에 Adler-32 체크섬을 거는 플래그가 있고 기본값은 off라서 prefill과 decode 양쪽에 지정해야 합니다.
--disaggregation-enable-kv-checksum--kv-canary도 있지만, 두 기능 모두 아직 모든 아키텍처를 지원하지는 않습니다. Cloudflare는 GLM 5.3, GLM 5.3 Flash, DeepSeek V4로 넓히는 중이라고 했습니다. 체크섬은 handoff 시점의 KV 무결성을 검사하고 그 전에 도착한 일부 늦은 쓰기도 잡지만, 이번처럼 전송은 멀쩡한데 읽는 범위가 틀린 경우를 읽는 시점에 확인하는 건 태그 쪽입니다. 그래서 Cloudflare는 RDMA 기반 KV 전송 프로토콜을 형식 검증으로 모델링해 안전성을 증명하는 작업도 시작한다고 밝혔습니다.
SGLang 분리 구성을 운영한다면 시작 로그부터 본다
거부된 요청이 성공한 이유는 결국 이렇게 정리됩니다. 담을 수 있는 것보다 큰 프롬프트를 받겠다고 약속했고 거부 표시를 아무도 읽지 않았고, decode는 예약해 둔 페이지를 끝까지 읽었습니다. 지워지지 않은 그 페이지에 남의 대화가 있었고요. 상태 코드도 토큰 수도 정상처럼 보였던 그 200 응답이 이번 사고의 전부입니다.
거꾸로 말하면 조건 하나만 없었어도 노출은 없었습니다. 풀이 컨텍스트보다 컸다면 정상 요청은 거부 경로에 닿지 않았을 테고, Workers AI의 다른 배포가 실제로 그랬습니다. 확인된 결함은 SGLang 분리 구성 경로에 있었고 단일 노드 경로는 오류를 돌려줬으며, GLM 모델 자체의 결함도 아닙니다. 다만 SGLang 팀은 비동기 전송을 쓰는 다른 PD 구현에도 같은 종류의 수명 관리 문제가 생길 수 있다고 봅니다. 분리 구성 SGLang을 쓰는 팀이라면 이렇게 확인하면 됩니다.
- 모든 prefill·decode 노드에서 엔진 시작 로그의 KV 풀 크기와 컨텍스트 길이를 비교합니다. 풀이 작다면 컨텍스트 길이를 줄이거나 메모리를 확보하세요. 이 비교는 설정 불일치만 잡으니, abort 경합은 아래 업그레이드와 deferred release로 따로 막아야 합니다.
- #36988과 #38935가 포함된 v0.5.22 이상으로 올립니다.
- 양쪽 역할에서 deferred KV release를 켜고 Mooncake 전송 배치에 상한을 둡니다. 배포 뒤에는
sglang:decode_deferred_kv_release_total{outcome}메트릭을 지켜봅니다. - 모델이 지원하면 체크섬 같은 손상 탐지를 켭니다.
- 프록시가 불필요한 abort를 만들지 않는지 봅니다. abort가 잦을수록 경합에 걸릴 기회도 늘어납니다.
아직 공개되지 않은 부분도 있습니다. 노출 규모와 악용 증거 없음, 다른 모델 무영향은 모두 Cloudflare 자체 조사 결과입니다. Knostic이 10월 27일 공개한 연구자 보고서는 자신들이 본 출력에 이름, 회사명, 청구서 번호와 금액, 소스 코드 관련 정보, 파일 경로, 에이전트 작업 기록 등이 섞여 있었다고 밝혔지만, 155건 전체에 무엇이 섞였는지는 공개되지 않았죠. 데이터가 새어 나간 고객과 받은 고객에게 통지했는지는 보고서에 없습니다. 받는 쪽이 무엇을 받을지 고를 수 있었는지도 보고서는 말하지 않습니다.
마지막으로 테스트 하나를 점검해 보세요. 오류가 나야 하는 입력을 보내 놓고 상태 코드만 확인하고 있다면, 400을 기대한 자리에 200이 오는 경우를 실패로 처리하는지 보세요. 이번 사고는 출시 전 그 한 줄만 있었어도 일찍 잡을 수 있었을 겁니다.
