Google의 Gemini 4 Argon 발표에서 가장 눈에 띈 건 benchmark 점수가 아니라 verification이었다. 모델이 한 번에 낼 수 있는 output이 1M token까지 늘고 agent로 실제 업무에 투입되면, 병목은 결과를 만드는 속도에서 그 결과가 맞는지 확인하는 속도로 옮겨간다. Google 스스로도 Argon이 다시 쓴 대규모 code는 자동·수동 auditing, emulation testing, review를 거친 뒤에야 production에 나간다고 적었다 [1].
먼저 근거 범위. 2026년 10월 기준으로 Google 공식 발표, Google DeepMind 모델 페이지, 출시 배경을 다룬 Reuters 기사를 서로 대조했다 [1][2][3]. Argon은 아직 제한 출시라 나는 직접 써보지 못했고, 아래 사례와 benchmark 숫자는 전부 Google이 밝힌 값이다. 나는 요즘 AI search에서 무엇이 인용되는지를 재는 일을 하고 있어서, 이 발표를 측정과 검증 쪽으로 기울여 읽는 편향이 있다는 것도 적어둔다.
Argon에서 바뀐 것
Argon은 Google이 Gemini 4 세대의 최상위로 내놓은 frontier 모델이다. Google DeepMind의 Koray Kavukcuoglu는 9월 30일 발표에서 Argon을 실제 software engineering, 법률·금융 같은 enterprise knowledge work, cybersecurity 방어의 복잡한 workflow에서 frontier 성능을 내는 모델로 소개했다 [1]. 엔지니어 입장에서 체감이 큰 변화는 세 가지다.
| 항목 | 발표 내용 | 출처 |
|---|---|---|
| Output 한도 | 기존 64K token에서 1M token으로 확대 | Google blog [1] |
| 가격 | input 100만 token당 2달러, output 100만 token당 10달러, cached input은 input 가격의 95% 할인 | Google blog [1] |
| 출시 방식 | Fairwind Program으로 신뢰받는 cyber defender에게 먼저 제공, 이후 유료 API 고객과 Google AI Ultra 구독자부터 확대 | Google blog [1], DeepMind [2] |
표 1. Gemini 4 Argon 발표의 핵심 변화. 모두 Google이 공개한 내용이다 [1][2].
Reuters에 따르면 이번 출시는 몇 달 지연 끝에 나왔고, Google은 6월 예정이던 Gemini 3.5 Pro 계획을 접었다 [3]. 첫 공개는 일부 cybersecurity 파트너로 한정됐고 일반 공개 일정은 없었다. Google은 미국 행정부의 자발적 출시 전 모델 접근 절차에도 참여했다 [3].
결과마다 무엇과 대조했는지가 적혀 있다
발표 방식부터 평소와 달랐다. 점수표를 앞세우는 대신 Argon을 Google 내부의 어려운 문제에 agent로 붙인 사례를 먼저 보여줬고, 각 결과를 무엇과 대조해 검증했는지도 함께 적었다 [1].
| 영역 | Google이 밝힌 결과 | 발표에 적힌 검증 기준 |
|---|---|---|
| Quantum computing | 병목 subroutine의 spacetime 자원(qubit 수 곱하기 gate 수)을 공개된 baseline보다 40% 줄인 해법을 몇 분 만에 찾음 | 공개된 baseline과 비교 |
| Code migration | re2, libgav1 같은 수만 줄 규모 core library부터 80만 줄이 넘는 Fuchsia Zircon kernel까지 C/C++를 Rust로 이전 | 배포 전 자동·수동 auditing, emulation testing, review |
| Video decoder | memory-safe decoder가 기존 Rust port보다 2.7배 빠르게 동작 | 원본과 동일한 video output |
| Data center memory | fleet 전체 profiling telemetry를 분석해 memory 최적화를 자율 적용, 300 TiB 이상 회수, 총 500 TiB–1 PiB 절감 추정 | 배포 후 회수량 |
표 2. Google이 발표한 Argon 내부 적용 사례와 각 사례의 검증 기준 [1].
내가 이 발표에서 가장 오래 본 건 오른쪽 열이다. quantum 사례는 공개 baseline과 비교했고, video decoder는 원본과 같은 영상을 내는지로 판정했다. 80만 줄짜리 kernel 재작성은 auditing, testing, review라는 별도 단계를 통과해야 배포된다 [1]. 모델이 결과를 빨리 내는 것과 그 결과를 production에 넣어도 된다고 판정하는 것은 다른 단계이고, 이 발표는 두 단계를 나란히 보여준다. lab에서 한 번 돌아간 것과 매일 돌아가는 것의 차이가 정확히 그 두 번째 단계에 있다.
DeepMind 모델 페이지는 cybersecurity 역할을 세 가지로 정리한다. vulnerability를 자율로 찾고, source code 없이 penetration test를 하고, 찾은 문제의 code fix를 자동으로 만든다 [2]. 셋 다 output이 공격 표면이나 운영 code에 바로 닿는 일이라, 사람이 확인하지 않은 결과를 그대로 쓰기 어렵다. benchmark도 있다. CWE-bench v1 68%, 실제 vulnerability 발견 85.8%, Wiz penetration testing benchmark 70.9% [2]. 같은 페이지는 Argon이 “validated, high-quality code fixes”를 자동 생성한다고 적었는데, 여기서 validated가 자동 test인지 사람 review인지는 정의하지 않았다. Reuters는 Argon이 여러 benchmark에서 경쟁 모델을 앞서지만 일부 coding 지표에서는 뒤진다고 전했다 [3].
누가 쓸 수 있느냐도 검증 설계의 일부
출시 방식도 같은 쪽을 가리킨다. Google은 신뢰받는 defender와 내부 팀에는 cyber guardrail 없이 Argon을 제공한다고 밝혔다 [1]. 전체 성능 버전을 검증된 사용자에게 먼저 주고 범위를 단계적으로 넓히는 구조다. 이 safeguard들은 내부·외부 red team이 수동·자동 공격으로 robustness를 시험했다고 한다 [1].
나는 이걸 “누가 이 output을 검증할 수 있는가”가 모델 성능과 나란히 출시 기준이 된 것으로 읽었다. vulnerability를 자율로 찾고 patch까지 만드는 모델이라면, 그 결과를 review할 역량이 있는 조직에 먼저 주는 게 맞다. 이후 확대 순서도 유료 API 고객과 Google AI Ultra 구독자부터다 [1]. 결과를 검토할 역량과 책임이 비교적 분명한 쪽부터 열어간다는 순서로 보인다. 접근 권한 설계가 곧 검증 체계의 일부가 됐다.
output이 길어지면 검증 비용은 같이 커진다
output 한도와 가격을 함께 보면 구조가 보인다. 발표된 가격으로 계산하면 1M token짜리 응답 하나의 output 비용은 10달러다 [1]. 반복되는 긴 context는 cache 할인으로 input 가격의 5%만 낸다. 한 번에 길게 만들고, 같은 context로 여러 번 돌리기 쉬운 가격 구조다.
Reuters는 Google이 이번 출시에서 메시지의 무게를 성능 과시에서 비용 우위로 옮겼다고 짚었다 [3]. 생성이 싸지면 더 많이 돌린다. 어제 한 번 돌리던 분석을 오늘 열 번 돌리면 확인해야 할 양도 열 배가 된다. 1M token짜리 report를 한 번에 받아도, 그 안에서 어느 문장이 grounding이 있고 어느 문장이 그럴듯한 hallucination인지 가려내지 못하면 그건 자산이 아니라 risk로 남는다. 양이 늘수록 검증 안 된 문장 하나가 숨을 자리도 늘어난다.
production 시스템을 직접 운영해보면 이 감각이 익숙하다. 기능을 빨리 만드는 것보다 그게 매일 맞게 돌아가는지 확인하는 장치를 붙이는 데 시간이 더 든다. Google이 대규모 code 재작성에 auditing·testing·review를 붙인 것도 같은 판단으로 보인다 [1]. 그래서 이 흐름에서 값이 오르는 건 더 똑똑한 generator보다 생성물을 검증하는 층, 즉 evidence를 추적하고 reproducibility를 재고 hallucination을 걸러내는 쪽이라고 나는 본다.
agent가 읽는 input도 검증 대상이다
검증은 모델이 내놓는 것에만 필요하지 않다. agent가 읽는 것도 검증해야 한다. Google은 automated red teaming과 adversarial training을 거쳐 Argon이 Gray Swan의 Indirect Prompt Injection(IPI) benchmark에서 가장 높은 robustness를 보였다고 밝혔다 [1]. indirect prompt injection은 agent가 작업 중에 읽는 web page나 문서에 숨겨둔 지시가 모델의 행동을 바꾸는 공격이다.
agent가 telemetry를 훑고, codebase를 읽고, web을 검색해 결과를 만드는 구조에서는 input 하나가 오염되면 그 위에 쌓인 1M token 전체가 흔들린다. 보안 defender에게 먼저 모델을 주면서 injection robustness를 같이 강조했다는 건, agent가 다루는 input의 신뢰도를 output 품질만큼 무겁게 본다는 신호다. output이 길어질수록 “무엇을 읽고 이 결론에 왔나”를 추적할 수 있어야 한다.
고르는 쪽도 확인 가능한 글을 고른다
검증 압력은 AI search에서 content를 고르는 쪽에도 이미 걸려 있다. What Gets Cited 연구는 LLM 6개에 후보 page 두 개를 붙여 252,000번 물은 통제 실험에서, evidence를 제시한 page가 그렇지 않은 page를 이기는 odds ratio가 모델에 따라 2.09에서 10,000 이상까지 나왔다고 보고했다(논문 실험 조건 기준) [5]. 확신 있는 어조와 evidence 제시는 topic 일치, 가격 명시 같은 gatekeeper를 통과한 뒤에 승부를 가르는 2차 요인이었다.
생성 비용이 내려가면 web에 올라오는 글의 양도 는다. 그 상황에서 answer engine이 고르는 건 주장마다 출처가 달려 있어 확인 가능한 글일 가능성이 크다고 나는 본다. 만드는 쪽과 고르는 쪽 모두에서 verifiability가 경쟁력이 되는 흐름이다.
측정을 한 번만 하면 안 되는 이유
측정을 업으로 하면 검증 문제가 더 선명하게 보인다. AI search에 같은 질문을 같은 날 다시 물어도 인용되는 출처가 꽤 바뀐다. Don’t Measure Once 연구에서 24시간 안에 반복한 결과끼리의 인용 출처 Jaccard similarity는 업종별 평균 0.32–0.43이었고, 날짜를 바꿔 비교한 0.34–0.42와 같은 범위였다(논문 실험 조건 기준) [4]. 변동 대부분이 시간에 따른 실제 변화가 아니라 모델의 stochasticity에서 온다는 뜻이다. 저자들은 visibility를 한 시점의 값이 아니라 distribution으로 봐야 한다고 결론 내렸다.
그래서 한 번 잰 숫자로 “올랐다”고 말하면 틀리기 쉽다. 같은 논문에서 반복 2회일 때 standard error는 0.246이었고, 7회 이상이면 0.10 아래로 내려갔다(논문 실험 조건 기준) [4]. AI visibility 숫자를 받으면 나는 먼저 두 가지를 본다. 몇 번 반복해서 잰 값인지, 어떤 경로(API인지 실제 UI인지)로 잰 값인지. 이 둘이 없는 변화는 검증되지 않은 변화다. 그럴듯한 demo와 믿을 수 있는 결과를 가르는 건 결국 “그 숫자를 누가, 어떻게 검증했나”다.
내가 agent output을 받아 쓸 때의 기준
검증은 거창한 시스템보다 몇 가지 습관에서 시작한다. Argon 발표의 검증 기준을 일상 작업으로 옮기면 이렇다.
| 검증 방식 | Argon 발표의 대응 사례 | 일상 작업에 옮기면 |
|---|---|---|
| Baseline 대조 | quantum 해법을 공개 baseline과 비교 [1] | AI가 낸 수치·결론을 기존 자료나 이전 결과와 나란히 놓고 비교 |
| 동일 output 확인 | decoder가 원본과 같은 영상을 내는지 확인 [1] | 다시 쓴 문서·code가 원본과 같은 결과를 내는지 test |
| 단계 분리 | 재작성 후 auditing·testing·review를 거쳐 배포 [1] | 생성과 승인을 다른 사람, 다른 단계로 분리 |
| 반복 측정 | 해당 없음 | 같은 작업을 여러 번 돌려 결과가 흔들리는 폭을 기록 |
| Evidence 추적 | 해당 없음 | 주장 문장마다 출처를 달고, 출처 없는 문장을 표시 |
표 3. Argon 발표에 드러난 검증 기준과 일상 작업 적용. 반복 측정과 evidence 추적은 발표에 직접 나오지 않는 항목이다.
- 한 번 실행한 결과를 결론으로 쓰지 않는다. 같은 prompt, 같은 data로 여러 번 돌려 결과가 얼마나 흔들리는지부터 본다.
- 생성하는 쪽과 승인하는 쪽을 나눈다. Google도 Argon이 쓴 code를 별도 review 단계로 넘긴다.
- “검증됨”에는 기준을 붙인다. DeepMind 페이지의 “validated”처럼 기준 없이 쓰인 검증은 무엇을 확인했는지 알려주지 않는다.
- 측정하지 못한 것과 0을 구분한다. 검증 단계가 실패해서 빈 칸을 “결과 없음”으로 읽으면 결론이 뒤집힌다. pipeline을 짤 때 null과 0을 같은 값으로 저장하지 않는 것도 같은 이유다.
- 검증 시간을 일정에 먼저 넣는다. 생성은 몇 분이면 끝나도 확인은 그렇지 않다. Google의 quantum 해법은 찾는 데 몇 분이 걸렸다지만, kernel 재작성은 auditing, emulation testing, review를 모두 통과해야 배포된다 [1]. 일정에 생성 시간만 적고 검증 시간을 비워두면, 빨라진 생성이 그대로 검증 안 된 결과물 재고로 쌓인다.
한계
이 글은 Google 발표 자료와 언론 보도에 기댄다. Argon은 제한 출시라 나는 써보지 못했고, quantum 40%, memory 300 TiB, decoder 2.7배 같은 숫자는 모두 Google이 자기 시스템에서 밝힌 결과다 [1]. benchmark 숫자도 Google이 공개한 값이고, 외부 기관이 같은 조건으로 재현한 결과는 글을 쓰는 시점에 찾지 못했다 [2].
“병목이 생성에서 검증으로 옮겨간다”는 건 발표 내용에서 내가 끌어낸 해석이다. Google은 검증 비용이나 검증 인력 규모를 공개하지 않았고, 생성량이 실제로 얼마나 늘었는지도 밝히지 않았다. Reuters가 전한 출시 지연과 Gemini 3.5 Pro 계획 철회는 이 해석과 별개 맥락이라 배경으로만 다뤘다 [3]. AI search 측정의 변동 숫자는 Argon과 무관한 다른 engine·시장에서 나온 논문 실험 결과다 [4].
References
- Koray Kavukcuoglu, “Gemini 4 Argon: our next era of frontier intelligence”, Google blog (2026-09-30)
- Google DeepMind, “Gemini 4 Argon with cybersecurity defense capabilities” model page
- Reuters article republished as “Google announces Gemini 4 flagship AI model after months of delays”, Khaleej Times (2026-10-01)
- Schulte, Bleeker & Kaufmann, “Don’t Measure Once: Measuring Visibility in AI Search (GEO)”, arXiv:2604.07585 (2026)
- Vishwakarma, Kumar & Jamidar, “What Gets Cited: Competitive GEO in AI Answer Engines”, SIGIR 2026
