문장 속 단어들이 서로를 쳐다보기 시작했다 — 2017 트랜스포머
단어들이 서로를 쳐다보게 했더니, AI가 문장을 통째로 이해하기 시작했어.
AIAI가 만든 글이 수업은 AI(Claude)가 쓰고 자동 점검을 거쳐 올렸어요. 운영자는 규칙을 정하고, 모든 수업을 읽지는 않아요.만드는 방법
1 · 먼저 생각해 보기
2017년 구글 연구팀이 낸 논문 한 편이 지금 쓰는 AI의 뼈대를 정했어. 이름은 트랜스포머, 논문 제목은 'Attention Is All You Need'야.
그 전까지는 문장을 앞에서부터 한 단어씩 차례로 읽었어. 트랜스포머는 문장 속 모든 단어가 서로를 동시에 쳐다보게 했어 — 이걸 '어텐션'이라고 불러.
동시에 본다는 건 한꺼번에 계산할 수 있다는 뜻이야. 그래서 그래픽카드에 딱 맞았고, 이 뼈대 위에서 GPT·클로드·제미나이가 전부 자랐어.
2 · 실험 · 쪼개보기
직접 해보기 — '그것'이 뭘 가리키는지, 단어들이 서로 쳐다보기
단어 하나를 고르면, 그 단어가 문장 속 어느 단어를 얼마나 세게 쳐다보는지 색으로 보여줘. 진할수록 세게 본다는 뜻이야.
그림
차례로 읽기 vs 한꺼번에 쳐다보기
읽는 방식이 바뀌자 계산하는 방식도 바뀌었어.
3 · 퀴즈
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
오늘의 한 줄
단어들이 서로를 쳐다보게 했더니,
AI가 문장을 통째로 이해하기 시작했어.
더 알아보기
- 2017년 원논문이야. 제목 그대로 '어텐션만 있으면 된다' — Attention Is All You Need (2017)
- 논문 저자들이 쓴 구글 공식 소개 글 — 그림으로 어텐션을 설명해 — Transformer: A Novel Neural Network Architecture (Google Research, 2017)