종단간 학습 입문: 심플디자인 사례로 보는 단일 단계 학습

한 문장으로 이해하기

‘종단간(end-to-end)‘은 한쪽 끝에서 반대쪽 끝까지라는 뜻입니다. 심플디자인에서 종단간 학습은 별도의 중간 표현 학습 단계 없이 서열과 구조의 쌍을 직접 함께 배우게 하는 방식을 가리킵니다. 이 강좌는 이 한 사례로만 개념을 설명합니다. 강좌를 마치면 이 사례에서 종단간 학습이 뜻하는 바를 자기 말로 설명하고, 심플디자인이 어떤 순서로 학습했는지 말하고, 적용 맥락과 실험 검증의 한계를 구분할 수 있습니다. 미리 갖춰야 할 배경지식은 따로 없습니다. 이 강좌에서 ‘학습’과 ‘단계’라는 말이 어떻게 쓰이는지는 본문에서 그때그때 풀어 설명합니다.

왜 필요한가

단백질 설계에서 기존 모델은 구조의 중간 표현을 먼저 학습하고 그 표현에서 생성 모델을 학습하는 다단계 방식을 흔히 사용했습니다. 여기서 중간 표현은 단백질 구조를 이산 표현으로 바꾼 형태입니다. 이산 표현이란 연속적인 값을 정해진 개수의 기호로 끊어 나타낸 형태를 말합니다.

심플디자인은 이 두 번의 학습을 한 번으로 줄였습니다. 아미노산 서열과 연속적인 3차원 구조를 하나의 종단간 학습 과정에서 함께 생성하도록 설계됐습니다. 아미노산 서열이란 단백질을 이루는 아미노산이 이어진 순서를 말합니다. 별도의 중간 표현 학습 단계 없이, 서열과 3차원 좌표의 쌍을 원래 데이터 형태 그대로 직접 학습합니다. 이 사례에서 종단간 학습이 쓰인 이유는 분명합니다. 두 단계로 나뉘어 있던 학습을 하나로 묶기 위해서입니다.

어떻게 이루어지는가

심플디자인의 학습은 다음 순서로 이루어집니다.

1. 아미노산 서열과 3차원 좌표가 짝지어진 데이터를 준비합니다. 학습에는 200만 개가 넘는 단백질 서열·구조 쌍이 쓰였습니다.
2. 서열의 일부를 마스크 토큰으로 가립니다. 마스크 토큰은 원래 값을 가려서 ‘여기는 비어 있다’고 표시하는 기호입니다.
3. 구조에는 노이즈를 더합니다. 노이즈란 원래 값을 흐트러뜨리는 교란을 뜻합니다.
4. 가려진 서열과 흐트러진 구조를 원래대로 맞추게 하고, 그 차이를 하나의 기준으로 재어 모델을 조정합니다. 이 기준을 목적함수라고 합니다. 심플디자인은 서열에는 여러 후보 중 맞는 기호를 고르게 하는 이산 교차 엔트로피를, 구조에는 좌표 같은 수치를 맞추게 하는 회귀 목적을 씁니다. 이 둘을 결합해 단일 단계 종단간 목적함수로 삼습니다.
5. 교란 정도를 다르게 주면서 2~4번을 반복해, 하나의 모델이 여러 과제를 함께 익히게 합니다.

핵심은 4번입니다. 서열과 구조를 위한 두 기준이 따로 학습되지 않고 하나로 묶여 있습니다.

하나의 예시로 따라가기

앞의 5번 단계가 실제로 어떻게 작동하는지 심플디자인에서 확인해 봅시다. 서열과 구조에 주는 교란 정도에 따라 모델이 푸는 문제가 달라집니다.

첫째 경우입니다. 서열은 대부분 그대로 남고 구조가 크게 교란되면, 모델은 구조를 복원하는 과제를 학습합니다. 둘째 경우입니다. 구조가 비교적 그대로 남고 서열이 많이 가려지면, 모델은 서열을 생성하는 과제를 학습합니다. 셋째 경우입니다. 서열과 구조가 모두 부분적으로 교란되면, 모델은 둘을 함께 만드는 공동 설계를 학습합니다. 공동 설계란 서열과 구조를 따로 만들지 않고 함께 만드는 작업을 말합니다.

학습 단계를 나누는 대신 하나의 모델이 교란 정도를 달리해 이 여러 과제를 함께 학습한 것이 심플디자인이 보여준 방식입니다.

언제 쓰고 언제 쓰지 않는가

이 사례에서 확인할 수 있는 적용 맥락은 분명합니다. 서열과 구조를 함께 만들어내는 단백질 공동 설계입니다. 입력 출처는 심플디자인이 공동 설계와, 조건 없이 서열·구조를 생성하는 무조건부 생성 벤치마크에서 경쟁력 있는 성능을 보였다고 보고합니다. 벤치마크란 정해진 과제를 주고 모델의 성능을 서로 비교하는 평가를 뜻합니다.

다만 여기서 멈춰야 하는 지점이 있습니다. 보고된 결과는 컴퓨터 기반 평가에 한정됐습니다. 컴퓨터 평가 뒤 실제 생물학적 환경에서의 접힘·기능·안전성을 확인하는 실험은 수행되지 않았습니다. 평가에서 경쟁력이 있다는 말과 실제 생물학적 기능이나 안전성이 확인됐다는 말은 전혀 다릅니다. 학습 과정을 한 단계로 줄였다는 사실도 실제 환경에서의 작동을 보장하지 않습니다.

핵심 정리와 확인문제

심플디자인에서 종단간 학습은 별도의 중간 표현 학습 단계 없이 서열과 구조의 쌍을 직접 함께 배우게 하는 방식입니다. 심플디자인은 서열과 구조를 하나의 목적함수로 묶어 단일 단계로 학습했습니다. 단일 단계 학습이 항상 더 우수하다는 뜻은 아닙니다. 보고된 것은 특정 벤치마크에서의 경쟁력 있는 결과입니다.

확인문제 1. 심플디자인이 없앤 학습 단계는 구체적으로 무엇이었습니까?

확인문제 2. 심플디자인은 교란 정도를 다르게 주어 어떤 세 가지 과제를 학습했습니까?

확인문제 3. 심플디자인의 평가 결과를 해석할 때 주의해야 할 한계는 무엇입니까?

정답 1. 단백질 구조를 이산 표현으로 바꾸는 별도 모델의 학습 단계입니다. 기존 모델은 이 중간 표현을 먼저 학습한 뒤 그 표현에서 생성 모델을 다시 학습하는 다단계 방식을 흔히 썼습니다. 심플디자인은 서열과 3차원 좌표의 쌍을 직접 학습합니다.

정답 2. 구조 복원, 서열 생성, 공동 설계입니다. 서열이 대부분 남고 구조가 크게 교란되면 구조 복원을, 구조가 비교적 남고 서열이 많이 가려지면 서열 생성을, 두 요소가 모두 부분적으로 교란되면 공동 설계를 학습했습니다.

정답 3. 결과가 컴퓨터 기반 평가에 한정된다는 점입니다. 생물학적 환경에서의 확인은 아직 남아 있는 과제입니다. 따라서 평가 결과를 실제 생물학적 기능이나 안전성의 근거로 읽으면 안 됩니다.

참고자료

• 종단간 학습 입문 참고자료
• 종단간 학습 입문 참고자료