트랜스포머

트랜스포머는 문장이나 다른 연속 데이터에서 각 요소 사이의 관계를 어텐션으로 계산하는 신경망 구조입니다. 오늘날 많은 대형 언어모델의 기반으로 사용됩니다.

모델에 따라 입력을 표현으로 바꾸는 인코더, 그 표현을 이용해 출력을 만드는 디코더, 또는 둘 중 하나만 사용합니다. GPT 계열처럼 다음 토큰을 생성하는 모델은 주로 디코더 중심 구조를 사용합니다.

‘트랜스포머를 썼다’는 사실만으로 모델 성능이 결정되지는 않습니다. 데이터, 모델 규모, 학습 방법, 평가 방식이 함께 영향을 줍니다.