하드와이어드 방식 입문: 하나의 AI 모델만을 위한 칩

한 문장으로 이해하기

AI 칩에서 하드와이어드(hard-wired) 방식은 단일 AI 모델에 맞춰 제작되어 범용성이 낮은 칩을 가리킨다. 타알라스의 가속기는 이렇게 단일 AI 모델에 맞춰 만든 칩이다. 이는 여러 모델을 두루 지원하는 범용 칩과 대비된다.

어드밴스트 마이크로 디바이시스(AMD) 최고경영자 리사 수는 GPU(그래픽 처리 장치)가 새로 개발되는 AI 모델을 지원할 수 있는 유연성 덕분에 AI 칩 시장의 대부분을 계속 차지할 것으로 본다고 밝혔다.

이 강좌를 마치면 세 가지를 할 수 있다. 첫째, 하드와이어드 칩과 범용 칩의 차이를 설명한다. 둘째, 유연성과 속도의 맞바꿈 구조를 이해한다. 셋째, 이 방식을 검토할 상황과 다시 생각할 상황을 구분한다. 사전지식은 ‘AI 모델과 이를 실행하는 칩이 서로 다른 대상’이라는 구분과 ‘GPU가 여러 AI 모델을 지원할 수 있는 칩’이라는 정도면 충분하다.

왜 필요한가

타알라스는 유연성을 잃는 대신 특정 모델의 출력을 기존 GPU보다 빠르게 처리하는 더 저렴한 칩을 제공할 수 있다고 주장한다. 이 주장이 향하는 곳은 ‘첫 응답까지 걸리는 시간’이다.

이 강좌에서 주목하는 지연은 사용자가 질문을 넣은 뒤 첫 응답이 나오기까지 걸리는 시간이다. 미국 경제 매체 CNBC는 타알라스와 그로크 같은 대안 칩이 AI 모델의 첫 응답 시간이 중요한 저지연 응용에서 특히 중요하다고 설명했다.

즉 이 방식은 모든 계산을 더 잘하겠다는 것이 아니다. 한 모델의 응답을 빨리 내놓는 좁은 목표에 맞춰져 있다.

어떻게 이루어지는가

출처에서 확인되는 범위로만 큰 흐름을 정리하면 다음과 같다.

1. 대상이 될 AI 모델을 하나 정한다. 타알라스의 현재 칩은 메타의 라마(Llama) 3.1 소형 버전을 실행한다.
2. 그 모델을 맞춤형 실리콘, 즉 전용 칩 설계로 변환한다. 타알라스 최고경영자는 회사 웹사이트에서 AI 모델을 맞춤형 실리콘으로 바꾸는 플랫폼을 개발했다고 주장했다.
3. 반도체 공장에서 칩을 만든다.
4. 완성된 칩으로 추론을 돌린다. 추론(inference)이란 학습을 마친 모델이 실제 질문에 답을 내놓는 과정이다.

여기서 한 가지를 구분해 두자. 타알라스의 현재 칩은 대만 반도체 제조사 TSMC의 오래된 공정으로 만들어지고 칩 내부의 SRAM(정적 임의 접근 메모리)을 사용한다. 이는 이 회사 칩의 구현 특성이며, 하드와이어드 방식이라면 모두 그렇다는 뜻은 아니다.

성능 이야기도 조심해서 읽어야 한다. 더 빠르다는 것, 더 싸다는 것, 처음 받은 모델을 두 달 안에 하드웨어로 구현할 수 있다는 것은 모두 타알라스 측 주장이다. 더 레지스터가 전한 초당 최대 1만 7000토큰이라는 수치는 초기 기술 시연 결과로 보도된 것이다.

하나의 예시로 따라가기

앞의 네 단계를 하나의 사례로 이어서 따라가 보자. 아래는 이해를 돕기 위한 가상 예시다.

어느 회사가 고객 문의에 답하는 상담 서비스를 만든다고 하자. 이 회사는 쓸 모델을 하나로 확정한다(1단계). 그 모델을 전용 칩 설계로 변환하고(2단계), 공장에서 칩을 만든다(3단계). 이제 이 칩은 그 모델 하나를 위한 추론에 쓰인다(4단계).

이 선택이 노리는 것은 분명하다. 고객 질문에 대한 첫 응답 시간을 줄이는 것이 목표다. 대신 이 칩은 단일 모델 전용이므로, 여러 모델을 지원할 수 있는 범용 GPU보다 유연성이 낮다.

언제 쓰고 언제 쓰지 않는가

검토할 만한 조건은 이렇다. 단일 모델에 맞춘 처리로 충분하고, 짧은 첫 응답 시간이 서비스의 핵심일 때다. 반대로 쓰는 모델이 하나로 정해지지 않는다면, GPU처럼 여러 모델을 지원하는 유연성을 우선 검토할 수 있다.

흔한 오해도 짚어 두자. 하드와이어드 칩이 언제나 GPU보다 빠르고 싸다고 말할 수는 없다. 타알라스가 내세우는 이득은 ‘특정 모델의 출력’에 한정된 회사 측 주장이다.

또 이 기술이 GPU를 밀어낸다고 보기도 어렵다. AMD는 타알라스의 칩과 기술을 자사 중앙처리장치 및 인스팅트(Instinct) GPU를 포함한 시스템 로드맵에 통합하겠다고 밝혔다. 두 종류의 칩을 같은 로드맵에 함께 두었다는 사실과 GPU 점유율 전망을 근거로 보면 서로 보완하는 관계로 읽는 편이 자연스럽다. 다만 이는 발표 내용에 대한 해석이다.

한계는 유연성이다. 단일 모델용으로 만든 칩은 여러 모델을 지원하는 범용 칩만큼 폭넓게 쓰이지 못한다. 이 점을 감수할 수 있는지가 판단의 출발점이다.

핵심 정리와 확인문제

하드와이어드 방식은 하나의 AI 모델에 맞춰 칩을 제작하는 설계이며, 유연성을 포기하는 대신 특정 모델에서 속도와 비용상의 이득을 목표로 한다. 그 효과는 타알라스의 주장 또는 초기 시연 결과로 제시된 것이므로, 보편적으로 확정된 사실과는 구분해서 받아들여야 한다.

확인문제

확인문제 1. 하드와이어드 칩이 범용 GPU와 맞바꾼 것은 무엇인가?

확인문제 2. 타알라스의 현재 칩은 어떤 모델을 실행하는가?

확인문제 3. 하드와이어드 방식을 검토할 상황과 다시 생각할 상황을 각각 설명하라.

정답과 해설

정답 1. 유연성이다. 해설: 칩이 한 모델 전용이 되는 대신 그 모델에 대해 더 싸고 빠른 출력을 낼 수 있다는 것이 타알라스의 주장이다.

정답 2. 메타의 라마 3.1 소형 버전이다. 해설: 회사는 더 크고 발전한 모델을 위한 칩도 개발하고 있다.

정답 3. 검토할 상황은 쓰는 모델이 하나로 정해져 있고 짧은 첫 응답 시간이 서비스의 핵심일 때다. 해설: CNBC는 이런 저지연 응용에서 타알라스나 그로크 같은 대안 칩이 특히 중요하다고 설명했다. 반대로 모델이 하나로 정해지지 않는다면 GPU처럼 여러 모델을 지원하는 유연성을 우선 검토할 수 있다. 리사 수는 바로 그 유연성 때문에 GPU가 AI 칩 시장의 대부분을 계속 차지할 것으로 본다고 밝혔다.

참고자료

• 하드와이어드 방식 입문 참고자료
• 하드와이어드 방식 입문 참고자료
• 하드와이어드 방식 입문 참고자료