멀티모달 입문: 글과 이미지를 함께 받는 AI 이해하기

한 문장으로 이해하기

멀티모달은 이 강좌의 범위에서 글과 이미지를 함께 다루는 방식을 뜻합니다. 이 강좌에서 살펴보는 사례에서는 한 인공지능 모델이 글을 다루는 기능과 이미지를 이해하는 기능을 함께 사용합니다. 글만 받던 모델에 이미지를 이해하는 기능이 더해진 형태라고 보면 쉽습니다.

이 강좌를 마치면 세 가지를 할 수 있습니다. 첫째, 이런 모델이 무엇을 함께 다루는지 자기 말로 설명합니다. 둘째, 사용자가 글과 이미지를 보냈을 때 답이 돌아오기까지의 흐름을 순서대로 말합니다. 셋째, 이런 모델을 쓸 때 붙는 적용 조건과 한계를 구분합니다.

사전지식은 많이 필요하지 않습니다. 챗봇에 질문을 입력하면 글로 답이 돌아온다는 경험, 그리고 사진 파일에 JPEG나 PNG 같은 여러 형식이 있다는 정도면 충분합니다.

왜 필요한가

사람이 일할 때 다루는 자료는 글만이 아닙니다. 화면을 찍은 사진, 도표, 서류 이미지가 섞여 있습니다. 글만 받는 모델에는 이런 자료를 그대로 건넬 수 없습니다.

최근 공개된 사례에서 방향을 볼 수 있습니다. 딥시크는 텍스트 기능에 이미지 이해 기능을 더한 실험적 멀티모달 모델을 공개하고, 이를 V4 시리즈에 ‘V4 플래시 비전 Exp’라는 이름으로 추가했습니다. 회사 설명에 따르면 이 모델은 이미지를 설명하고, 화면 캡처에서 글자를 뽑아내고, 도표를 분석하는 데 쓸 수 있습니다. 모두 글만으로는 다룰 수 없는 일입니다.

어떻게 이루어지는가

사용자 입장에서 보면 흐름은 다음 단계로 정리됩니다. 2~3단계의 구체적인 조건은 앞서 언급한 딥시크 모델의 공개된 조건입니다.

1. 사용자가 글로 된 질문과 이미지를 함께 보냅니다. 이 딥시크 모델에서 이미지는 사용자 메시지에만 넣을 수 있습니다.
2. 서비스가 이미지 형식을 확인합니다. 이 모델은 JPEG, PNG, GIF, WebP를 처리하며, 파일 이름이나 요청에 적어 보낸 형식 표시가 아니라 파일의 실제 내용을 보고 형식을 판별한다고 개발자용 안내 문서에 나와 있습니다.
3. 이미지 크기가 처리에 맞게 조정됩니다. 이 모델은 가로세로 비율에 따라 이미지를 대략 800×800화소 수준으로 맞춘다고 소개됐습니다.
4. 모델이 받은 질문과 이미지를 근거로 답을 만들어 돌려줍니다. 이 마지막 단계는 사용자가 보는 결과를 일반적으로 설명한 것이며, 모델 내부에서 계산이 어떻게 이뤄지는지는 공개된 자료로 확인되지 않습니다.

하나의 예시로 따라가기

가상 예시입니다. 어떤 사람이 회사 웹사이트에서 오류 화면을 만나 그 화면을 캡처했고, 무엇이 잘못됐는지 정리하고 싶습니다.

1단계로 이 사람은 캡처한 이미지와 함께 “이 화면에 보이는 오류 메시지를 읽고 정리해 줘"라는 질문을 사용자 메시지에 담아 보냅니다. 2단계로 이 파일은 PNG이므로 지원 형식에 해당하고, 파일 이름을 잘못 붙였더라도 실제 내용으로 형식이 판별됩니다. 3단계로 캡처 화면이 크든 작든 처리에 맞는 크기로 조정됩니다. 4단계로 사용자는 화면 속 오류 메시지를 정리한 답을 받습니다.

같은 사람이 캡처를 여러 장 모아 한꺼번에 보내려 한다면, 다음 장에서 볼 장수와 크기 조건을 먼저 확인해야 합니다.

언제 쓰고 언제 쓰지 않는가

먼저 흔한 오해입니다. 멀티모달이라고 해서 아무 자료나 다 받는 것은 아닙니다. 앞의 딥시크 모델도 처리하는 이미지 형식이 정해져 있습니다.

적용 조건은 제품마다 다릅니다. 이 딥시크 모델의 경우 이미지를 보내는 방법이 세 가지입니다. 이미지를 글자로 바꿔 요청에 직접 넣는 방법, 누구나 열 수 있는 인터넷 주소를 지정하는 방법, 파일을 한 번 올려 두고 여러 요청에서 식별자로 다시 쓰는 방법입니다. 또 요청 하나에 넣을 수 있는 이미지는 최대 600장이고, 한 변의 최대 길이는 8192화소이지만 이미지가 15장 이상이면 4096화소로 낮아집니다. 이런 숫자는 멀티모달 일반 규칙이 아니라 이 모델의 조건입니다.

사용량을 줄이는 선택지도 있습니다. 이 모델에는 선택 사항인 detail 항목이 있어 이미지를 512×512화소로 축소할 수 있습니다. 출처는 세밀한 시각 정보가 필요하지 않을 때 이 설정으로 계산 단위(토큰)를 절약한다고 설명합니다. 토큰은 모델이 사용량을 세는 단위이며, 이 모델에서는 원본 해상도와 관계없이 이미지 한 장에 최대 384토큰이 부과된다고 소개됐습니다.

한계도 세 가지로 정리됩니다. 첫째, 성능 수치는 회사가 스스로 밝힌 결과입니다. 딥시크는 자체 비교 평가에서 이 모델이 오퍼스 4.8에 가까운 점수를 냈다고 밝혔고, 텍스트 비교 평가 7개 항목에서는 소프트웨어 취약점 탐지를 평가하는 사이버짐을 제외한 항목에서 새 모델이 앞섰다고 밝혔습니다. 둘째, 공개된 자료만으로는 모델 내부의 구체적인 계산 방식을 확인할 수 없습니다. 셋째, 앞에서 본 지원 형식·입력 위치·장수·크기 제한은 멀티모달 전체가 아니라 이 제품에만 해당합니다.

핵심 정리와 확인문제

이 강좌의 사례에서는 한 모델이 글을 다루는 기능과 이미지를 이해하는 기능을 함께 씁니다. 사용자 입장에서는 질문과 이미지를 보내고, 형식이 확인되고, 크기가 조정되고, 답을 받는 흐름입니다. 다만 형식·장수·크기 같은 적용 조건이 제품마다 붙고, 공개된 성능 수치는 회사가 밝힌 결과라는 점을 함께 봐야 합니다.

확인문제 1. 이 강좌에서 살펴본 모델이 함께 다루는 두 가지 입력은 무엇인가요?

확인문제 2. 다음 두 가지는 각각 적용 조건과 한계 중 무엇에 해당하나요. 그리고 그렇게 나눈 이유를 한 문장으로 쓰세요. (가) 이 딥시크 모델에서 이미지는 사용자 메시지에만 넣을 수 있다. (나) 공개된 자료만으로는 모델 내부의 구체적인 계산 방식을 확인할 수 없다.

확인문제 3. 사용자가 질문과 이미지를 보낸 뒤 답을 받기까지의 흐름을 순서대로 쓰세요.

정답 1. 글과 이미지입니다. 해설: 이 모델은 텍스트 기능에 이미지 이해 기능이 더해진 형태로 공개됐습니다.

정답 2. (가)는 적용 조건이고 (나)는 한계입니다. 해설: (가)는 지키면 쓸 수 있는 사용 규칙이라 조건이고, (나)는 규칙을 지켜도 사용자가 알 수 없는 범위라 한계입니다. 본문에서도 마지막 단계는 사용자가 보는 결과를 설명한 것일 뿐이라고 밝혔습니다.

정답 3. 질문과 이미지를 함께 보냄 → 이미지 형식 확인 → 이미지 크기 조정 → 질문과 이미지를 근거로 한 답 생성 순서입니다. 해설: 형식 확인은 파일의 실제 내용으로 이뤄지고, 크기 조정은 가로세로 비율에 따라 이뤄진다고 소개됐습니다.

참고자료

• 멀티모달 입문 참고자료
• 멀티모달 입문 참고자료