어텐션

어텐션은 모델이 입력의 모든 부분을 똑같이 다루지 않고, 현재 처리하는 요소와 더 관련 있는 부분에 높은 가중치를 주도록 하는 계산 방식입니다.

셀프 어텐션은 하나의 입력 시퀀스 안에서 요소끼리의 관계를 계산합니다. 문장에서 대명사가 어느 명사를 가리키는지처럼 멀리 떨어진 단어 사이의 관계를 표현하는 데 활용됩니다.

이때 ‘집중한다’는 말은 사람의 의식이나 이해를 뜻하지 않습니다. 모델 내부에서 관련도를 수치로 계산하는 연산을 비유적으로 표현한 것입니다.