멀티모달 파운데이션 모델 입문: 이미지·영상·오디오를 함께 배우는 AI

한 문장으로 이해하기

이 강좌를 마치면 여러분은 세 가지를 얻습니다. 첫째, 이 강좌가 다루는 멀티모달 파운데이션 모델이 무엇인지 한 문장으로 말할 수 있습니다. 둘째, 그것이 어떤 순서로 작동하는지 설명할 수 있습니다. 셋째, 언제 쓰고 언제 조심해야 하는지 구분할 수 있습니다. 필요한 사전지식은 많지 않습니다. ‘AI가 자료를 학습해 결과를 만든다’는 말을 들어본 정도면 충분합니다.

먼저 용어를 풀어 봅니다. 이 강좌에서는 이미지·영상·오디오처럼 모델이 함께 학습하는 서로 다른 자료를 ‘모달리티(modality)‘라고 부릅니다. ‘멀티모달(multimodal)‘은 이런 종류가 여러 개라는 뜻입니다. 이 강좌에서 말하는 ‘멀티모달 파운데이션 모델(foundation model)‘은 Flux 3처럼 이미지·영상·오디오를 함께 학습하는 기반 모델을 가리킵니다.

왜 필요한가

하나의 자료 종류만으로는 담기 어려운 정보가 있습니다. 자료를 만든 Black Forest Labs는 이 점을 이렇게 설명합니다. 이미지는 공간의 구조를 보여 주고, 영상은 그것이 시간에 따라 어떻게 변하는지 담으며, 오디오는 물리적 사건과 그때 나는 소리의 관계를 드러냅니다.

그래서 세 종류를 함께 학습하면 서로의 정보 공백을 보완할 수 있다고 Black Forest Labs는 설명합니다. 한 종류가 놓친 부분을 다른 종류가 채워 준다는 것입니다. 이것이 이 강좌의 핵심 한 문장이 말하는 ‘함께 학습한다’는 뜻입니다.

어떻게 이루어지는가

아래 번호 단계는 출처가 설명한 작동 방식을 초보자가 이해하도록 단순화한 것입니다. 실제 사용 때 사용자가 무엇을 넣는지는 다음 대단원에서 따로 살펴봅니다.

1. 이미지·영상·오디오를 하나의 모델에서 함께 다룹니다.
2. 전용 구성 요소가 각 자료를 공유 내부 표현으로 변환합니다.
3. 여러 자료의 공유 표현을 처리하는 구성 요소인 멀티모달 트랜스포머가 이 표현을 처리합니다.
4. 다시 그 표현을 이미지나 영상 같은 출력으로 되돌립니다.

Black Forest Labs는 이 방식을 ‘Self-Flow’라고 부른다고 출처는 전합니다. 회사는 하나의 모델이 콘텐츠를 만드는 일과 이해하는 일을 함께 배우도록 가르친다고 설명합니다.

하나의 예시로 따라가기

공개된 실제 사례인 Flux 3로 따라가 봅니다. Flux 3는 이미지·영상·오디오를 함께 학습한 멀티모달 파운데이션 모델입니다.

텍스트 기반 영상 생성 기능을 사용하는 경우, 사용자가 글로 장면을 설명할 수 있습니다. 그러면 Flux 3는 공유 내부 표현을 거쳐 최대 20초 길이의 영상을 만듭니다. 이때 영상과 함께 생성되는 오디오, 즉 native audio가 같이 만들어집니다. 출처에 따르면 이는 Black Forest Labs 모델로서는 처음입니다. 회사는 여러 종류를 함께 학습한 덕분에 사람의 표정과 물리적 움직임에 맞는 소리를 만드는 데 특히 강점이 있다고 주장합니다. 또한 개별 클립을 이어 붙이는 기능 등도 지원한다고 출처는 전합니다.

언제 쓰고 언제 쓰지 않는가

이런 모델은 여러 종류의 자료를 하나로 다뤄야 하는 작업, 예를 들어 소리까지 있는 짧은 영상을 만드는 일에 맞을 수 있습니다. 반대로 서로 다른 자료가 함께 필요한 작업이 아니라면, 이 사례가 보여 주는 멀티모달 학습의 이점을 그대로 적용할 근거는 부족합니다.

조심할 점도 있습니다. 첫째, 성능 수치의 출처를 봐야 합니다. 출처에 실린 Black Forest Labs의 자체 비교 결과는 예비 결과이며, 보도 당시 독립적인 시험 결과는 없었습니다. 즉 자체 예비 평가만으로 실제 성능을 확정할 수는 없습니다. 둘째, 아직 완전히 열린 상태가 아닙니다. 입력 출처가 보도한 당시 기준으로 기능은 단계적으로 제공되며, Flux 3 Video는 제공 중이고 이미지 기능과 행동 예측 기능은 별도 단계로 계획됐습니다. 셋째, 입력 출처만으로 일반적인 성능 우위까지 확인할 수는 없습니다. 이 강좌는 제품 추천이 아니라 개념 이해를 돕는 설명입니다.

핵심 정리와 확인문제

핵심을 다시 한 문장으로 모읍니다. 이 강좌에서는 Flux 3처럼 이미지·영상·오디오를 함께 학습하는 모델을 멀티모달 파운데이션 모델의 사례로 살펴봤습니다.

확인문제

1. ‘멀티모달’이라는 말은 무엇을 뜻하나요?
2. Flux 3 같은 모델에서 이미지·영상·오디오는 어떤 순서로 처리되나요?
3. Flux 3 같은 모델은 어떤 작업에 맞고, 성능 주장을 받아들일 때는 무엇을 조심해야 하나요?

정답과 해설

1. 정답: 자료의 종류(모달리티)가 여러 개라는 뜻입니다. 해설: 이미지·영상·오디오처럼 서로 다른 종류를 함께 다룹니다.
2. 정답: 각 자료를 공유 내부 표현으로 변환한 뒤 처리하고 다시 출력으로 되돌립니다. 해설: 전용 구성 요소가 각 자료를 공유 내부 표현으로 변환하고, 여러 자료의 공유 표현을 처리하는 구성 요소가 이를 처리한 뒤, 다시 이미지나 영상 같은 출력으로 되돌립니다.
3. 정답: 서로 다른 종류의 자료를 함께 다뤄야 하는 작업에 맞으며, 자체 평가만으로 성능을 확정하지 않도록 조심해야 합니다. 해설: 예컨대 소리가 있는 짧은 영상 생성에 맞을 수 있습니다. 다만 회사 자체 비교 결과는 예비 단계이고 보도 당시 독립적인 검증이 없었으므로, 자체 평가만으로 실제 성능을 확정하지 말아야 합니다.

참고자료

• 멀티모달 파운데이션 모델 입문 참고자료
• 멀티모달 파운데이션 모델 입문 참고자료