마스크 토큰 입문: 심플디자인에서 가린 자리를 채우게 하는 표시

한 문장으로 이해하기

심플디자인에서 마스크 토큰은 아미노산 서열의 일부를 가려, 남은 정보를 바탕으로 가려진 서열을 채우는 과제를 학습하게 하는 표시입니다. 이 강좌에서 토큰은 서열에서 가려진 위치를 나타내는 표시라는 뜻으로만 쓰겠습니다. 강좌를 마치면 마스크 토큰이 심플디자인의 학습에서 맡은 역할을 설명하고, 서열과 구조에 각각 어떤 방식이 쓰였는지 구분하고, 이 결과를 해석할 때의 한계를 말할 수 있습니다. 미리 알아야 할 것은 AI 모델이 데이터를 보며 규칙을 익힌다는 점, 그리고 단백질이 아미노산이 늘어선 서열과 3차원 구조로 설명된다는 점 정도입니다.

왜 필요한가

단백질의 기능에는 아미노산 서열과 3차원 구조 사이의 상호작용이 중요합니다. 그래서 단백질을 설계하려는 모델은 두 요소를 따로가 아니라 함께 다룰 수 있어야 합니다. 애플 연구진이 공개한 심플디자인은 서열과 구조를 함께 생성하는 모델입니다. 이 모델은 별도의 잠재 표현 생성 단계를 거치지 않고, 서열과 구조가 짝지어진 데이터를 직접 학습하는 단일 단계 종단간 방식을 씁니다. 마스크 토큰은 이 학습에서 서열 쪽을 가리는 데 쓰인 표시입니다.

어떻게 이루어지는가

1. 서열의 일부를 마스크 토큰으로 가립니다.
2. 구조에는 노이즈를 더합니다. 노이즈는 원래 값을 흐트러뜨리는 교란을 뜻합니다.
3. 서열의 가리는 정도와 구조의 노이즈 정도를 서로 다르게 줍니다.
4. 모델은 남아 있는 정보를 조건으로 삼아, 가려지거나 흐트러진 쪽을 채우는 과제를 학습합니다.

같은 학습 틀 안에서 3번의 강도 조합만 바꾸면 모델이 배우는 과제가 달라집니다. 다음 장에서 그 세 가지를 하나씩 보겠습니다.

하나의 예시로 따라가기

심플디자인의 학습을 세 가지 조건으로 나눠 따라가 봅시다.

첫째, 서열이 대부분 유지되고 구조가 크게 훼손된 조건입니다. 남아 있는 정보는 서열 쪽입니다. 이때 모델은 알려진 서열로부터 구조를 복원하는 법을 배웁니다.

둘째, 구조가 비교적 유지되고 서열이 많이 가려진 조건입니다. 마스크 토큰이 서열의 많은 자리를 덮고 있고, 단서는 구조 쪽에 남아 있습니다. 이때 모델은 주어진 구조에 맞는 서열을 생성하는 법을 배웁니다.

셋째, 서열과 구조가 모두 부분적으로 교란된 조건입니다. 어느 쪽도 온전하지 않으므로, 모델은 두 요소를 함께 만들어 내는 공동 설계를 배웁니다.

정리하면 심플디자인은 서열 마스킹과 구조 노이즈의 강도를 달리해 세 가지 학습 맥락을 구성했습니다.

언제 쓰고 언제 쓰지 않는가

먼저 구분해야 할 것이 있습니다. 심플디자인에서 서열과 구조에 적용된 교란 방식은 서로 다릅니다. 서열은 마스크 토큰으로 가렸고, 구조는 노이즈를 더해 흐트러뜨렸습니다. 두 가지를 뭉뚱그려 하나의 마스크 방식이라고 말하면 정확하지 않습니다.

결과 해석에도 조건이 붙습니다. 심플디자인은 단백질 공동 설계와 조건 없는 서열·구조 생성 벤치마크에서 경쟁력 있는 성능을 보였습니다. 하지만 제시된 평가는 컴퓨터 기반입니다. 생성된 단백질이 실제 생물학적 시스템에서 접히고 기능하며 안전하게 작동하는지는 실험으로 검증되지 않았습니다. 벤치마크 성적이 좋다는 사실과 실제로 쓸 수 있다는 판단은 같은 말이 아닙니다.

마스크 토큰은 학습 과제를 만드는 장치입니다. 결과물이 현실에서 통한다는 보장까지 해 주지는 않습니다.

핵심 정리와 확인문제

심플디자인에서 마스크 토큰은 아미노산 서열의 일부를 가려, 남은 정보를 바탕으로 가려진 서열을 채우는 과제를 학습하게 하는 표시입니다. 서열은 마스크 토큰으로, 구조는 노이즈로 교란했고, 두 교란의 강도를 달리해 구조 복원·서열 생성·공동 설계라는 세 학습 맥락을 만들었습니다. 다만 평가는 컴퓨터 기반에 한정됩니다.

1. 심플디자인에서 구조가 비교적 유지되고 서열이 많이 가려진 조건일 때, 모델은 무엇을 배우나요?
2. 심플디자인은 서열과 구조에 각각 어떤 교란 방식을 썼나요?
3. 심플디자인의 벤치마크 결과를 두고 “이 모델이 만든 단백질은 실제로 잘 작동한다"고 말해도 될까요?

1번 정답은 주어진 구조에 맞는 서열을 생성하는 법입니다. 남아 있는 단서가 구조 쪽이므로, 모델은 구조를 조건으로 삼아 가려진 서열 자리를 채웁니다. 반대로 서열이 대부분 유지되고 구조가 크게 훼손된 조건에서는 알려진 서열로부터 구조를 복원하는 법을 배웁니다.

2번 정답은 서열에는 마스크 토큰, 구조에는 노이즈입니다. 서열은 일부 자리를 마스크 토큰으로 덮었고, 구조는 노이즈를 더해 흐트러뜨렸습니다. 두 방식은 구분해서 말해야 합니다.

3번 정답은 아니요입니다. 제시된 평가는 컴퓨터 기반이며, 생성된 단백질이 실제 생물학적 시스템에서 접히고 기능하며 안전하게 작동하는지는 실험으로 검증되지 않았습니다. 벤치마크 성적과 실제 작동은 구분해서 말해야 합니다.

참고자료

• 마스크 토큰 입문 참고자료
• 마스크 토큰 입문 참고자료