음성 에이전트 입문: 말로 일을 맡기는 AI의 작동 순서와 한계

이 강좌를 끝내면 세 가지를 할 수 있습니다. 첫째, 음성 에이전트가 무엇을 하는 인공지능(AI)인지 자기 말로 설명할 수 있습니다. 둘째, 말이 들어와 답이 나오기까지의 네 단계를 순서대로 말할 수 있습니다. 셋째, 공개된 요금과 벤치마크 수치로 무엇까지 말할 수 있고 무엇은 말할 수 없는지 구분할 수 있습니다. 사전지식은 많이 필요하지 않습니다. 스마트폰 음성 비서를 써 본 경험, 그리고 앱이 인터넷으로 다른 서비스의 데이터를 불러온다는 정도의 감각이면 충분합니다. 이 강좌에서는 프로그램이 다른 프로그램의 기능을 불러 쓰는 연결 창구를 가리켜 API라고 부르겠습니다. 이는 입력 자료가 정의한 용어가 아니라 설명을 위한 표현입니다.

한 문장으로 이해하기

이 강좌에서는 구글이 설명한 모델의 기능을 중심으로, 대화를 이어가며 도구와 API를 호출할 수 있는 음성 AI를 음성 에이전트로 부르겠습니다. 이는 모든 음성 AI에 적용되는 공식 정의가 아니라 이 강좌의 설명 범위입니다. 여기서 중요한 단어는 ‘에이전트’입니다. 이 강좌에서는 말을 알아듣는 데서 멈추지 않고 작업까지 이어간다는 뜻으로 이 단어를 쓰겠습니다. 실제로 구글은 자사 모델이 대화를 계속하면서 도구와 API 호출을 백그라운드에서 실행한다고 설명했습니다(c2). 백그라운드란 대화를 이어가는 동안 뒤에서 작업을 처리하는 방식을 가리키는 표현으로 쓰겠습니다.

왜 필요한가

최근 모델 발표를 보면 목표가 비교적 분명합니다. 구글은 거의 실시간 추론을 활용해 음성 에이전트를 지원하는 두 모델을 발표했습니다(c1). 여기서 실시간 추론은 대화가 진행되는 동안 거의 실시간으로 처리하는 추론을 뜻합니다. 즉 말을 알아듣는 정확도만이 아니라, 대화가 끊기지 않고 이어지는 흐름이 중요한 과제로 다뤄지고 있습니다. 같은 발표에서 구글은 이 모델이 추론하면서 동시에 발화하고, 짧은 응답 신호와 진행 설명으로 백그라운드 작업의 상태를 알린다고 밝혔습니다(c4). 기능 범위도 넓어지고 있습니다. 시각 입력을 거의 실시간으로 처리하고 대화 중 언어를 자동으로 감지해 전환하며(c2), 지원 언어는 97개라고 구글은 밝혔습니다(c3).

어떻게 이루어지는가

이 강좌에서는 작동 순서를 다음 네 단계로 정리해 설명합니다. 모든 음성 AI가 반드시 이 구조를 쓴다는 뜻은 아닙니다.

1. 듣기: 사용자의 음성을 입력으로 받습니다. 시각 입력을 함께 받는 모델도 있습니다(c2).
2. 이해하기: 무엇을 요청한 말인지 정리합니다. 대화 중간에 언어가 바뀌면 자동으로 감지해 전환하는 기능도 있습니다(c2).
3. 도구 호출: 필요한 작업을 API 호출로 실행합니다. 이때 대화를 끊지 않고 백그라운드에서 처리하도록 설계된 모델도 있습니다(c2).
4. 말하기: 결과를 음성으로 답합니다. 구글은 자사 모델이 짧은 응답 신호와 진행 설명으로 백그라운드 작업의 상태를 알린다고 설명했습니다(c4).

하나의 예시로 따라가기

다음은 가상 예시입니다. 설명을 위해 이 에이전트가 일정 서비스와 연결돼 있고, 그 API로 일정을 조회하고 변경할 권한까지 받아 둔 상태라고 가정합니다. 실제 제품에 이런 기능이 있다는 뜻은 아닙니다. 사용자가 “내일 오후에 치과 예약 있었나?“라고 묻습니다. 1단계에서 에이전트가 음성을 입력으로 받습니다. 2단계에서 ‘내일 오후’와 ‘치과’라는 조건을 가진 일정 조회 요청으로 정리합니다. 3단계에서 일정 서비스의 API를 호출합니다. 이 가상 예시에서는 호출이 진행되는 동안 “일정 확인해 볼게요” 같은 짧은 말로 상태를 알리도록 구성할 수 있습니다. 이런 구성이 가능한 배경으로, 구글은 자사 모델이 짧은 응답 신호와 진행 설명으로 백그라운드 작업의 상태를 알린다고 발표했습니다(c4). 4단계에서 조회 결과를 음성으로 답합니다. 사용자가 이어서 “그럼 30분 미뤄줘"라고 하면 같은 네 단계가 한 번 더 돌고, 이번에는 조회 대신 변경 요청이 호출됩니다. 핵심은 같습니다. 듣고, 이해하고, 도구를 부르고, 말합니다.

언제 쓰고 언제 쓰지 않는가

출처에서 확인되는 검토 항목은 세 가지입니다. 첫째, 대화가 끊기지 않고 이어지는지입니다. 구글은 자사 모델이 백그라운드 작업 중에 짧은 응답 신호와 진행 설명을 제공한다고 밝혔으므로, 작업이 진행되는 동안 대화를 어떻게 다루는지가 설계 요소가 됩니다(c4). 둘째, 도구와 API의 연결입니다. 앞의 가상 예시처럼 외부 서비스의 조회나 변경이 필요한 작업은 해당 도구·API와 권한이 연결돼 있어야 합니다(c2). 셋째, 비용입니다. The Decoder는 구글 모델의 오디오 입력과 출력 요금을 각각 분당 0.005달러와 0.018달러로 보도했고, 이를 기준으로 한 시간 대화 비용을 약 1.38달러로 계산했습니다(c5). 이는 특정 제품의 공개 요금이며 모든 서비스의 과금 방식은 아닙니다. 성능 지표는 더 조심해서 읽어야 합니다. 구글 발표에 따르면 해당 모델은 음성 대 음성 품질 지수에서 82.6, τ-Voice에서 68.6%, τ-Voice-banking에서 35.1%를 기록했습니다(c7). 다만 이 두 벤치마크가 무엇을 어떻게 평가하는지는 입력 자료에 상세한 정의가 없습니다. 따라서 이 숫자를 일반적인 업무 성공률로 바꿔 읽을 수 없고, 특정 벤치마크 결과만으로 실제 배치 가능 여부를 확정할 수도 없습니다. 운영 환경, 오류 유형, 어느 정도 오류까지 허용하는지 같은 기준은 입력 자료에 제시되지 않았습니다. 대화의 자연스러움에 관한 평가도 사실과 구분해야 합니다. The Decoder는 경쟁 모델의 풀 듀플렉스 방식이 더 자연스러운 대화에 유리할 것으로 평가했으며, 풀 듀플렉스는 듣기와 말하기를 동시에 처리하는 방식을 뜻합니다(c6). 이는 측정된 성능이 아니라 한 매체의 판단입니다. 마지막으로 구글은 자사 AI 제품이 생성한 모든 오디오에 SynthID 워터마크를 넣는다고 밝혔습니다(c8). 워터마크는 AI가 만든 오디오를 식별할 수 있도록 넣는, 감지 가능한 표시입니다. 구글이 밝힌 목적은 AI 생성 콘텐츠를 탐지할 수 있게 하는 것입니다(c8).

핵심 정리와 확인문제

이 강좌에서 음성 에이전트는 구글이 설명한 모델의 기능을 기준으로, 대화를 이어가며 도구와 API를 호출할 수 있는 음성 AI를 뜻합니다. 작동 순서는 듣기, 이해하기, 도구 호출, 말하기 네 단계로 정리했습니다. 검토할 때는 대화 흐름을 어떻게 유지하는지, 필요한 도구와 권한이 연결돼 있는지, 공개된 요금과 벤치마크 수치가 각각 무엇을 말하고 무엇을 말하지 않는지를 함께 보면 됩니다.

1. 이 강좌가 음성 에이전트라고 부르는 AI를 ‘에이전트’라는 말로 설명하는 이유를 써 보세요.
2. 이 강좌에서 정리한 네 단계를 순서대로 쓰고, 가상 예시의 일정 조회가 각 단계에서 어떻게 진행되는지 한 줄로 붙여 보세요.
3. τ-Voice-banking 35.1%를 근거로 “은행 업무에는 못 쓴다"고 말하거나, 한 시간 약 1.38달러라는 계산을 근거로 “음성 에이전트 비용은 시간당 1.38달러"라고 말하면 각각 왜 지나친 해석인가요?

1번 정답: 말을 알아듣는 데서 멈추지 않고 도구와 API를 호출해 작업까지 이어갈 수 있기 때문입니다. 해설: 구글은 자사 모델이 대화를 이어가면서 도구와 API 호출을 백그라운드에서 실행한다고 설명했습니다(c2). 이 강좌는 그 기능을 기준으로 용어를 씁니다.

2번 정답: 듣기 → 이해하기 → 도구 호출 → 말하기입니다. 해설: 가상 예시에서는 질문 음성을 입력으로 받고(듣기), ‘내일 오후 치과’라는 일정 조회 요청으로 정리하고(이해하기), 일정 서비스의 API를 부르고(도구 호출), 결과를 음성으로 답합니다(말하기). 구글은 백그라운드 작업 중 짧은 응답 신호와 진행 설명으로 상태를 알린다고 발표했습니다(c4).

3번 정답: 앞의 해석은 전체 품질 지표와 특정 벤치마크의 평가 대상이 다르고 그 벤치마크의 상세한 평가 방식도 입력 자료에 없기 때문에 지나칩니다. 뒤의 해석은 그 계산이 특정 제품의 공개 요금을 기준으로 한 값이어서 모든 음성 서비스의 비용으로 일반화할 수 없기 때문에 지나칩니다. 해설: 실제 도입 가능 여부는 제공된 수치만으로 확정할 수 없으며, 운영 환경과 허용 오류 기준은 따로 확인해야 합니다(c7). 요금은 The Decoder가 보도한 해당 모델의 분당 요금을 바탕으로 계산된 값입니다(c5).

참고자료

• 음성 에이전트 입문 참고자료
• 음성 에이전트 입문 참고자료
• 음성 에이전트 입문 참고자료