벤치마크 1위 59점, 그런데 왜 호출할 수 없을까: Gemini 4 Carbon
목차
1위 모델인데 왜 호출할 수가 없을까요?
구글이 Gemini 4 Carbon을 발표했습니다. Artificial Analysis 지수 1위를 내세웠고 100만 토큰당 가격까지 공개했죠. 그런데 공식 Gemini API 모델 목록에는 Carbon의 모델 ID가 없습니다. 첫 접근권은 구글의 Fairwind Program에 속한 사이버 방어 조직에 먼저 돌아가거든요.
그래서 지금 할 일은 두 가지로 좁혀집니다. 먼저 그 1위가 어느 순위표의 1위인지 가려 읽어야 합니다. 그리고 Argon을 쓰는 코드에서 SDK 버전, max_output_tokens, 도입가 종료일을 미리 점검해 둬야 합니다. 그래야 모델 ID가 공개되는 날 문자열 하나만 바꿨다가 긴 응답이 중간에 잘리는 일을 피할 수 있습니다.
1위라는 모델을 왜 아무도 호출하지 못할까
배포 순서가 길을 막고 있습니다. 바로 앞 모델인 Argon과 나란히 놓으면 차이가 드러나는데요. Argon은 9월 30일 발표 때 Fairwind의 사이버 방어자에게만 먼저 갔다가, 10월 13일 AI Studio와 Gemini platform을 통해 전 세계에 열렸습니다. Carbon은 10월 28일 발표에서 같은 길을 예고했습니다. 그 다음 단계인 개발자·기업·소비자 칸에는 아직 날짜가 없습니다.
구글이 밝힌 순서는 이렇습니다. 미국 정부의 자율적 출시 전 모델 테스트 절차에 참여하고 "이번 주부터" 일부 사이버 방어자에게 먼저 줍니다. 그 뒤 Fairwind를 통해 신뢰할 수 있는 파트너로 넓혀 갑니다. 일반 개발자 몫은 가드레일을 다듬은 뒤 "as soon as possible"이라는 말뿐입니다.
그러니 "아무도"는 정확한 말이 아닙니다. Carbon을 먼저 받을 곳은 있습니다. Fairwind Program의 전 세계 파트너는 650곳이 넘습니다. 대상은 정부·국가 사이버 기관, 핵심 인프라 운영사, 핵심 기술 플랫폼입니다. 신청 경로는 Fairwind 페이지에 안내돼 있습니다. 다만 그 페이지 본문은 여전히 Argon 접근만 설명하고 Carbon 이야기는 없습니다.
Argon의 선례를 보고 2주쯤 뒤를 점치는 사람도 있습니다. 하지만 그건 추측입니다. 그렇다면 직접 돌려 볼 수 없는 지금 손에 쥔 건 남이 잰 점수뿐이니 그 점수부터 따져 봐야 합니다.
어느 순위표에서의 1위인가
남이 잰 점수를 모아 보면 순위는 지표마다 갈립니다. 아래 표에서 Carbon이 1위인 지표는 Artificial Analysis(AA)의 Intelligence Index v5.0입니다. 그런데 같은 AA의 코딩 에이전트 지수에서는 2위고, Vals AI의 종합 지수에서도 2위입니다. 표 밖으로 넓히면 Arena 텍스트 종합 순위표에서는 잠정 1위로 표시되고요.
| 지표 | 측정 주체 | Carbon 점수 | Carbon 순위 |
|---|---|---|---|
| AA Intelligence Index v5.0 | Artificial Analysis | 59 | 1위 |
| AA Coding Agent Index (Antigravity CLI) | Artificial Analysis (발표 트윗 기준) | 59 (Claude Code + Opus 5.5 max는 62) | 2위 |
| Vals Index | Vals AI | 70.36% (±0.97) | 2위 (29개 중) |
| Terminal-Bench 4.0 | Artificial Analysis (발표 트윗 기준) | 64% | 2위 |
| Terminal-Bench 4.0 | Vals AI | 63.13% (±2.20) | 4위 (57개 중) |
Vals 지수 1위는 Claude Sonnet 5.5였고 Claude Opus 5.5가 Carbon 바로 뒤에 붙었습니다. 다만 셋의 점수 차이는 Carbon에 표시된 오차 범위보다 작아서 이 순위만으로 우열을 단정하긴 어렵죠. Terminal-Bench 4.0은 같은 벤치마크인데도 측정 기관마다 점수가 다릅니다. 그 원인은 공개된 기록만으로는 알 수 없습니다. 실행 설정과 반복 횟수, 채점 조건까지 대조해야 설명이 됩니다.
AA 쪽에도 짚을 점이 있습니다. 10월 28일 시점의 AA 지수 페이지 기본 화면에서는 Carbon이 아예 안 보이고 Claude Opus 5.5 (Max)가 맨 위에 있었습니다. 구글도 원문에 "recently updated v5.0"이라고 썼듯, Carbon이 1위를 차지한 지수 자체가 막 갱신된 판이고요.

결국 "1위"는 거짓말은 아니지만, 지표마다 순위가 달라지는 여러 순위표 가운데 일부에서의 1위입니다. AA가 평가한 코딩 에이전트 조합에서는 Claude Code와 Opus 5.5 쪽이 앞섰죠. 그럼 구글이 정작 가장 크게 내세운 분야, 사이버보안 점수는 어떨까요?
사이버보안 점수는 정확히 무엇을 잰 것인가
구글은 사이버 방어를 탐지, 검증, 수정의 세 단계로 나누고 단계마다 외부 벤치마크를 하나씩 붙였습니다. 취약점을 찾는 SEC-bench Pro, 실제로 익스플로잇이 되는지 확인하는 ExploitGym, 패치를 만드는 Collinear의 CWE-bench입니다. 세 점수 모두에 "evaluated without guardrails"라는 단서가 달려 있습니다.
이 단서가 생각보다 큽니다. 일반 개발자에게는 가드레일을 다듬은 뒤에 내놓겠다고 했잖아요. 그러면 우리가 받을 Carbon이 같은 점수를 낸다는 보장은 없습니다. 평가 조건만 놓고 보면 가드레일 없이 쓰는 Fairwind 파트너 쪽에 더 가까운 숫자일 수 있습니다. Argon도 Fairwind 파트너에게는 "without cyber guardrails"로 제공됐거든요.
세 수치 중 가장 낮은 건 검증 단계의 ExploitGym입니다. 다만 과제도 채점 기준도 다른 벤치마크라, 이 숫자만으로 단계별 능력을 바로 비교할 수는 없죠. 보안 팀이 쓴다면 탐지 결과를 그대로 티켓으로 올리지 말고 재현과 검증은 사람이나 기존 도구 쪽에 남겨 두는 게 안전한 배치입니다.



구글 내부 팀은 Carbon을 며칠씩 돌려 대형 코드베이스와 저수준 시스템의 미묘한 버그를 근본 원인부터 찾아 패치했다고 합니다. 장기 작업에 강하다는 주장의 근거가 이 사례입니다. 그런데 며칠씩 도는 에이전트는 그만큼 토큰을 씁니다. 그래서 가격표가 Argon과 같다고 안심할 수는 없습니다.
Argon과 값이 같은데 청구서는 왜 달라질 수 있나
토큰당 가격은 Argon과 똑같습니다. 다른 건 두 가지예요. 도입가가 언제 끝나는지, 그리고 한 과제에 토큰을 얼마나 쓰는지입니다.
| 항목 | Gemini 4 Argon | Gemini 4 Carbon | 참고 |
|---|---|---|---|
| 도입가 (100만 토큰당 입력 / 출력) | $2 / $10 | $2 / $10 | 캐시된 입력은 입력가에서 95% 할인 |
| 도입 기간 후 표준가 | $4 / $20 | $4 / $20 | |
| 도입가 종료일 | 2026-11-30 | 명시 없음 | |
| AA 과제당 비용 (표준가 기준) | $7.68 | $7.76 | Claude Opus 5.5 (max) $10.04, GPT-6 Astra (max) $6.24 (확인 시점 기준) |
| AA 지수 평가 중 출력 토큰 | — | 200M | AA가 제시한 비슷한 가격대 모델의 중앙값 64M |
Carbon 발표문 각주에는 도입 기간이 끝나면 표준가가 적용된다는 말만 있고 끝나는 날짜는 없습니다. Argon 쪽 날짜가 Carbon에도 적용되는지는 알 수 없죠. 예산을 잡을 때는 처음부터 표준가로 계산해 두는 편이 덜 놀랍니다.
출력 토큰은 더 큰 변수입니다. AA는 Carbon을 "very verbose"라고 평가했습니다. 과제당 비용은 Opus 5.5보다 약 23% 싸지만 지수 점수가 Carbon보다 낮은 GPT-6 Astra보다는 약 1.2배 비쌉니다. Vals에서도 테스트당 $10.51, 지연 시간은 47분 45초가 나왔고요.
정리하면 이렇습니다. AA 평가에서는 Carbon이 토큰을 많이 썼습니다. 실제 청구액은 입력·캐시·추론·최종 답변 토큰의 사용량과 각 단가로 정해지는데, AA의 출력 토큰 집계에는 추론 토큰도 들어 있어서 최종 답변이 그만큼 길다는 뜻으로 읽으면 안 되죠. 점수가 조금 낮아도 되는 대량 작업이라면 과제당 비용이 더 낮은 모델을 두고 저울질해 볼 만합니다. 그리고 출력이 길어지면 돈 말고도 부딪히는 벽이 하나 더 있습니다.
모델 ID만 바꾸면 긴 출력이 왜 중간에 끊길까
Carbon의 API 문서는 아직 없으니, 지금 근거로 삼을 수 있는 건 Argon의 long decode 문서뿐입니다. Carbon이 같은 방식을 따를지는 확인되지 않았습니다. Argon에서는 긴 출력을 한 번에 받지 않고 여러 번의 hop으로 나눠 받습니다. 한 hop이 상한에 닿으면 finish_reason: CONTINUATION과 continuation_token이 돌아옵니다. 클라이언트가 같은 요청에 그 토큰을 실어 다시 보내면 이어서 생성됩니다. max_output_tokens로 정한 총량을 다 쓰면 MAX_TOKENS로 끝납니다.
클라이언트가 max_output_tokens를 262,144로 잡아 요청하면 첫 hop은 65,536토큰에서 멈추고 finish_reason CONTINUATION과 continuation_token을 돌려준다.
모든 단계 보기
- 클라이언트가 max_output_tokens를 262,144로 잡아 요청하면 첫 hop은 65,536토큰에서 멈추고 finish_reason CONTINUATION과 continuation_token을 돌려준다.
- 클라이언트가 같은 요청에 continuation_token을 실어 다시 보내면 두 번째 hop이 이어서 생성한다. 상태는 토큰이 들고 다니므로 서버에는 아무것도 저장되지 않는다.
- 같은 방식으로 세 번째 hop이 이어지고, hop이 끝날 때마다 생성한 토큰만큼 max_output_tokens 총량이 줄어든다.
- 네 번째 hop에서 총량 262,144를 다 쓰면 응답은 finish_reason MAX_TOKENS로 끝난다.
비유하자면 긴 파일을 페이지 단위로 받는 페이지네이션과 비슷합니다. 다만 커서가 서버에 저장되지 않고 암호화된 continuation_token 안에 상태가 실려 다닌다는 점이 다르죠. max_output_tokens는 hop 하나가 아니라 모든 hop의 thinking과 출력을 합친 총량이라는 점도 헷갈리기 쉽습니다.
문서에 나온 함정은 세 가지입니다.
- 모델 ID만 바꿔서는 long decode가 켜지지 않습니다. 추가 설정이 없으면 스트리밍 호출과 SDK 호출은 64K, 직접 비스트리밍 REST 호출은 32K에서 멈춥니다.
- 직접 비스트리밍 REST 호출에서
continuation_token없이max_output_tokens를 32,768보다 크게 주면400오류가 난다고 문서에 적혀 있습니다. 같은 문서의 REST 예제와는 어긋나니, 실제 호출로 한 번 확인해 두는 게 좋습니다. - Gemini 3.x에서 넘어온 코드라면 더 조심해야 합니다. 직접 비스트리밍 REST 요청 상한이 예전보다 절반으로 줄었거든요.
SDK에서는 automatic_continuation이 기본값이라, Python 클라이언트로 호출하면 hop 이어 붙이기를 SDK가 대신 해 줍니다. 문서의 예제는 이렇습니다.
from google import genai
from google.genai import types
client = genai.Client() # Reads GEMINI_API_KEY
response = client.models.generate_content(
model="gemini-4-argon",
contents="Write a complete, rigorous proof of the prime number theorem.",
config=types.GenerateContentConfig(
max_output_tokens=262_144, # Total thinking and output for all hops
thinking_config=types.ThinkingConfig(thinking_level="high"),
automatic_continuation=True, # Default. Shown for clarity.
),
)
print(response.text)
print("Finish reason:", response.candidates[0].finish_reason)
print("Prompt size:", response.usage_metadata.initial_prompt_token_count)
print("Billed tokens:", response.usage_metadata.total_token_count)응답이 짧은 챗봇이나 분류 작업이라면 long decode를 신경 쓸 이유가 없습니다. 위험한 건 SDK를 거치지 않고 REST를 직접 부르는 배치 작업이에요. 그 호출이 스트리밍인지, continuation을 직접 이어 붙이고 있는지부터 확인해야 합니다. 비스트리밍 REST에서 출력 상한만 키운 코드라면 문서의 제한 설명대로는 400 조건에 해당하는 자리인데, 그 설명이 같은 문서 예제와 어긋나니 실제 동작은 직접 확인해야 합니다. Carbon처럼 말이 많은 모델이라면 이 경로를 먼저 밟게 될 가능성이 크죠. 여기까지는 문서로 확인되는 이야기입니다. 그런데 발표문의 나머지 절반은 문서로도 독립 측정으로도 확인할 길이 없는 숫자들입니다.
구글이 혼자 잰 숫자는 어떻게 읽어야 하나
발표문 후반의 안전·행동 관련 수치는 대부분 구글이나 구글과 이해관계가 있는 곳이 잰 것입니다. 측정 주체와 공개된 조건을 나란히 놓으면, 외부 벤치마크 이름이 붙은 건 한 줄뿐이고 그 수치도 구글 발표문에 나온 것입니다.
| 구글의 주장 | 측정 주체 | 공개된 조건 |
|---|---|---|
| 고품질 패치 생성에서 이름을 밝히지 않은 다른 연구소의 대형 프런티어 모델 하나보다 10배 이상 나음 | 구글 Chrome 팀 | 발표문에 비교 모델 이름·측정 방법 없음 |
| 웹 침투 테스트 벤치마크에서 우위 | Wiz (구글이 "our leading Cloud security platform"이라 부르는 회사) | 수치 없음 |
| 안전한 코드 생성 성공률 Argon 대비 2배 이상 | 구글 내부 벤치마크 | 조건 비공개 |
| 심각도 높은 misalignment 경보 "almost 80%" 감소 | 구글 내부 실사용 코딩 환경 | 방법론 비공개 |
| overreach 26%, under-service 29% 감소 | 구글 내부 | 방법론 비공개 |
| 근거 없는 주장 Argon 대비 약 2배 감소 | 구글 내부 테스트 | 방법론 비공개 |
| 간접 프롬프트 인젝션 공격 성공률 0.7% → 0.0% | Gray Swan IPI (외부 벤치마크) | Argon과 비교 |
구글이 설명한 행동 변화 자체는 실무에서 반길 만한 방향입니다. 모호한 상황에서는 추측하지 않고 출처를 찾아 불일치를 먼저 알립니다. 증거가 없으면 꾸며내는 대신 단서를 붙이고 막힌 작업은 실행하지 않은 채 남은 요구사항을 목록으로 내놓는다고 하죠. Terminal-Bench 4.0에서 부정행위 시도가 0.4%, 성공이 0.0%였다는 수치도 함께 나왔습니다.
다만 이건 검증된 성질로 보기보다 확인할 가설로 다루는 게 맞습니다. 발표문과 공식 모델 목록에서는 Carbon 전용 모델 카드나 안전 보고서를 찾을 수 없습니다. 블로그가 링크한 Safety and Security report도 Argon을 다룬 문서로 소개돼 있고요. 공개되는 날 우리 팀 과제로 직접 돌려 보기 전까지, 이 표의 대부분은 구글이 스스로 매긴 성적표입니다.
공개일을 기다리는 동안 무엇을 해 두면 되나
모르는 건 한데 모아 두면 이렇습니다. Carbon의 모델 ID, 컨텍스트 창, 최대 출력은 공식 Gemini API 모델 목록에 없습니다. Vals는 컨텍스트 창을 1M으로 적었지만 구글 확인은 없죠. 도입가 종료일, 일반 공개 날짜, Carbon 전용 안전 보고서도 아직입니다. Carbon이 Argon의 상위 등급인지 대체 모델인지, 같은 값인데 이름은 왜 다른지도 발표문은 "Building on Gemini 4 Argon"이라고만 할 뿐 밝히지 않았고요.
그래도 미리 해 둘 수 있는 일은 있습니다. 지금 Argon을 쓰고 있다면 첫째로 SDK부터 long decode를 지원하는 버전으로 올려 두세요.
pip install -U "google-genai>=2.30.1"npm install "@google/genai@>=2.29.1"둘째, 코드에서 max_output_tokens를 직접 넣는 곳을 찾아 스트리밍인지, 비스트리밍 REST인지 표시해 두세요. 문서의 제한 설명과 예제가 어긋나는 400 오류 조건을 실제 호출로 확인해야 할 자리가 거기입니다. 셋째, Argon 도입가가 11월 30일에 끝나니 그 뒤 청구서를 표준가로 다시 계산해 보세요. Carbon으로 옮길 계획이라면 출력 토큰이 늘어나는 몫까지 얹어서요.
처음 질문의 답은 이렇습니다. 1위는 여러 순위표 가운데 일부에서의 1위이고, 그 모델은 일부 사이버 방어 조직에 먼저 가는 단계입니다. 문서에 모델 ID가 올라오는 날, model="gemini-4-argon" 한 줄만 바꾸고 배포하기 전에 하나만 확인하세요. 그 호출이 비스트리밍 REST인지, 그렇다면 continuation 처리 없이 출력 상한만 키워 놓지는 않았는지요.
