어텐션 뜻 — 문장 속 각 토큰이 다른 토큰을 얼마나 눈여겨볼지 정하는 계산 · 5분 용어

문장 속 각 토큰이 다른 토큰을 얼마나 눈여겨볼지 정하는 계산이에요.

어텐션은 단어 하나가 문장 속 다른 단어들을 얼마나 세게 쳐다볼지 점수로 정하는 계산이에요. 점수는 정해진 몫을 나눠 갖는 방식이라, 한쪽을 세게 보면 다른 쪽은 약해져요. 시선이 몰리는 곳을 보고 '그것'이 무엇을 가리키는지 같은 뜻이 잡혀요.

어텐션은 2014년 번역 연구에서 크게 주목받았어요. 번역할 때 원문의 어디를 볼지 정하는 장치였죠. 2017년 트랜스포머는 이 어텐션만으로 문장 전체를 읽는 구조를 만들었고, 이를 셀프 어텐션이라고 불러요.

글이 길어질수록 서로 쳐다봐야 하는 짝이 크게 늘어나서 계산도 많아져요. 컨텍스트 창을 늘리기가 쉽지 않은 까닭 중 하나예요.

비유로 보면

시끄러운 급식실에서도 내 이름이 들리면 그쪽으로 귀가 확 쏠리죠. 한쪽에 귀를 기울이면 다른 소리는 작게 들려요. 어텐션은 단어마다 '지금 누구 말에 귀 기울일지'를 나눠 정하는 일이에요.

'민지가 가방을 챙겼는데, 그것은 무거웠다'에서 '그것'은 '민지'보다 '가방'에 시선을 더 많이 줘요.

오해어텐션은 AI가 사람처럼 '집중'한다는 뜻이다.
실제로는사람의 집중은 한 번에 한곳으로 쏠리지만, 트랜스포머는 '헤드'라는 어텐션 계산을 여러 개 동시에 돌려요. 어떤 헤드는 대명사가 가리키는 말을, 다른 헤드는 바로 옆 낱말을 보는 식으로 서로 다른 관계를 따로 잡아요.
오해어텐션은 트랜스포머와 함께 2017년에 처음 나왔다.
실제로는2014년 바다나우·조경현·벤지오의 연구는 긴 문장을 정해진 크기의 숫자 묶음 하나에 억지로 눌러 담던 번역의 병목을, 낱말을 옮길 때마다 원문을 다시 돌아보게 해서 풀었어요. 트랜스포머는 3년 뒤 이 생각을 이어받은 셈이에요.

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: 글이 길어질수록 왜 계산이 빠르게 늘어날까요?
활동: '민지가 가방을 챙겼는데, 그것은 무거웠다'를 낱말 카드로 잘라 책상에 놓고, '그것' 카드가 다른 카드에 점수 10점을 나눠 주게 해 봐요. 모둠마다 점수를 어떻게 나눴는지 비교한 다음, 카드가 4장, 8장, 16장일 때 서로 쳐다보는 짝의 수를 세어 표로 그려요.