아마존 베드록, 5개 리전서 GPT-6 Sol·Luna 교차 리전 추론 제공

단일 리전 추론은 수요가 그 리전의 용량을 넘으면 호출이 제한될 수 있다. 글로벌 교차 리전 추론은 모델이 배치된 지원 상용 AWS 리전들로 요청을 전달해 처리하는 방식이다.

세 모델은 모두 텍스트와 이미지 입력, 클라이언트 측 도구 사용, 프롬프트 캐싱을 지원한다. 설정값은 모델별로 다르다. Sol과 Luna는 none·low·medium·high·xhigh·max를 받고, Astra는 none을 뺀 나머지를 받는다.

AWS는 모델별 쓰임을 구분해 소개했다. AWS 설명에 따르면 Sol은 복잡한 작업의 추론과 코딩, Luna는 반복 작업의 대량 처리, Astra는 복잡한 추론·코딩에 장문 문서 작업까지 맞는 모델이다. 이 구분은 AWS의 소개이며 독립적인 성능 평가 결과는 아니다.

호출은 프로파일 ID로, 목적지는 베드록이 고른다

호출할 때는 모델 ID 자리에 글로벌 교차 리전 추론 프로파일 ID를 넣는다. 추론 프로파일 ID는 모델 ID 대신 입력해야 교차 리전 호출이 작동하는 식별자다. 요청을 실제로 처리할 목적지 리전은 아마존 베드록이 선택한다. 목적지 리전은 베드록 관리형 용량에서 실행되므로 사용자가 따로 활성화하지 않는다.

과금과 할당량 추적, AWS 클라우드트레일과 아마존 클라우드워치 기록은 모두 호출을 보낸 소스 리전에 유지된다.

준비해야 할 것

활성화는 소스 리전만 하면 된다. 싱가포르(ap-southeast-1)는 기본 활성 리전이다. 자카르타(ap-southeast-3)·말레이시아(ap-southeast-5)·태국(ap-southeast-7)·타이베이(ap-east-2)는 먼저 켜야 하는 옵트인 리전이다. 옵트인 리전은 계정에서 먼저 활성화해야 쓸 수 있는 리전 구분을 말한다.

호출에는 추론 프로파일 호출 권한이 있는 IAM 자격과 최신 AWS SDK 또는 CLI가 필요하다. 오픈AI 호환 API 예제를 쓰려면 오픈AI SDK와 아마존 베드록 토큰 생성기도 필요하다. AWS 안내는 컨버스 API·오픈AI 호환 API·기존 코딩 클라이언트를 통한 호출과 권한 설정, 할당량 관리, 모니터링을 다룬다.

이상의 제공 범위와 운영 안내는 모두 AWS가 밝힌 내용이다. AWS는 리전과 프로파일이 추가되면 추론 프로파일 제공 범위와 리전 지원이 달라질 수 있다며, 구축 전에 모델 카드에서 두 항목을 확인하라고 안내했다.