구글 제미나이 4 카본 공개…AA 인텔리전스 인덱스 59점 1위

카본은 제미나이 4 아르곤이 나온 지 약 2주 만에 발표됐다. AA 인텔리전스 인덱스는 코딩과 추론, 과학 문제 해결, 전문 업무 등 9개 벤치마크를 묶은 종합 지수다. 추론 강도 ‘하이’ 기준 59점을 기록한 카본은 아르곤의 50점을 크게 앞섰고, 클로드 오퍼스 5.5(58점)와 GPT-6 아스트라(57점)보다도 높았다. 9개 개별 평가 중 4개에서 선두였다. 평가 대상은 52개 모델로, 구글이 이 지수 1위를 되찾은 것은 약 11개월 만이다.

우선 제공 대상은 사이버 방어 담당자

구글은 단계적 공개 방침을 택했다. 카본을 일부 사이버 방어 담당자에게 먼저 내준 뒤 페어윈드 프로그램의 신뢰 파트너까지 접근 범위를 넓힌다는 설명이다. 미국 정부의 출시 전 모델 시험 자율 참여 절차에도 참여하고 있다. 피드백을 모으고 안전장치를 보완한 다음 개발자와 기업, 일반 사용자에게 제공할 계획이라고 구글은 밝혔다. 매개변수 규모와 구체적인 학습 구조는 공개되지 않았다.

카본에 대해 코라이 카부쿠오글루 구글 딥마인드 수석 부사장은 사이버 보안 능력과 장시간 작업 수행력이 최고 수준이며 구글이 내놓은 모델 가운데 가장 강력하다고 평가했다.

보안 평가 수치와 그 조건

구글이 제시한 보안 성적은 취약점 탐지 ‘SEC-벤치 프로’ 88.2%, 공격 가능성 검증 ‘익스플로잇짐’ 54.8%, 취약점 수정 ‘CWE-벤치’ 71.0%다. 구글은 이들 외부 벤치마크 평가가 안전장치를 적용하지 않은 상태에서 수행됐다고 명시했다. 내부 벤치마크에서는 안전한 코드 생성 성공률이 아르곤의 2배 이상이라고 밝혔다. 크롬 팀은 고품질 보안 패치 생성에서 다른 연구소의 대형 프런티어 모델 한 종보다 10배 이상 나은 성능이 나왔다고 보고했다.

외부 지시문으로 모델의 행동을 조작하는 공격인 프롬프트 인젝션 평가도 공개됐다. 그레이 스완의 간접 프롬프트 인젝션 시험에서 공격 성공률은 아르곤 0.7%, 카본 0%였다.

더 오래 일하고, 토큰은 더 쓴다

여러 단계를 스스로 계획하고 실패한 접근을 고쳐가며 수행하는 에이전틱 작업에서도 변화가 있었다. 구글 내부 팀은 카본이 며칠에 걸쳐 작업을 이어가며 대규모 코드베이스와 저수준 시스템의 복잡한 버그 원인을 찾아 고친 사례를 확인했다고 밝혔다. 내부 평가에서 작업 범위 밖 행동은 26% 줄었고, 해야 할 작업을 놓치는 사례도 29% 감소했다.

모든 평가에서 1위는 아니었다. AA 코딩 에이전트 지수에서는 59점으로 클로드 오퍼스 5.5(62점)에 이어 2위였다. 발스 AI의 발스 인덱스 v2.2에서도 70.36%로 2위였고, 1위 클로드 소네트 5.5는 70.85%였다. 금융 종합 지수와 법률 연구 벤치마크에서는 1위를 차지했다. 다만 아르곤보다 출력 토큰을 64% 더 썼고 추론 토큰은 2.3배였으며, 법률 연구는 작업당 50분 이상이 걸렸다.

초기 가격은 아르곤과 동일

카본의 초기 API 가격은 아르곤과 같다. 입력 100만 토큰당 2달러(약 2800원), 출력 100만 토큰당 10달러(약 1만4000원)다. 캐시된 입력 토큰은 일반 입력 가격보다 95% 낮게 책정됐다. 할인이 끝나면 입력 100만 토큰당 4달러(약 5600원), 출력 100만 토큰당 20달러(약 2만8000원)로 오르며, 종료 시점은 공개되지 않았다.

순다르 피차이 구글 CEO는 X에 아르곤 출시 2주 뒤 나온 카본이 구글의 기술 혁신 속도를 보여주는 사례라고 적었다.