AI가 글을 읽고 쓸 때 쓰는 가장 작은 조각이에요.
AI는 글을 글자 그대로 읽지 않아요. 먼저 문장을 토큰이라는 조각으로 잘라요. 자주 나오는 단어는 통째로 한 조각이 되고, 드문 단어는 여러 조각으로 쪼개져요.
AI가 한 번에 읽을 수 있는 양도, 이용 요금도 토큰 수로 세요. 같은 뜻의 문장이라도 한국어는 영어보다 토큰이 더 많이 드는 편이에요. 그래서 'AI가 다음 말을 고른다'는 건 정확히는 '다음 토큰을 고른다'는 뜻이에요.
글만 그런 게 아니에요. 사진이나 소리를 다루는 AI도 그것들을 작은 조각으로 잘라 토큰처럼 한 줄로 세워 읽어요.
비유로 보면
레고를 떠올려 보세요. 자주 쓰는 모양은 큰 블록 하나로 끝나지만, 특이한 모양은 작은 블록 여러 개를 이어 붙여야 해요. AI에게 문장은 이런 블록을 한 줄로 늘어놓은 거예요.
예를 들면
'unbelievable'은 'un' · 'believ' · 'able'처럼 몇 조각으로 나뉠 수 있어요.
자주 하는 오해
오해AI는 글자를 하나씩 읽는다.
실제로는글자가 아니라 조각 단위로 보기 때문에, 'strawberry에 r이 몇 개 있어?'처럼 글자를 세는 쉬운 질문을 의외로 틀리기도 해요. 낱말 속 글자를 다뤄야 할 때는 한 글자씩 띄어 써 주면 나아지기도 해요.
오해같은 뜻이면 어느 언어로 써도 드는 양이 같다.
실제로는토큰이 더 드는 언어는 같은 창에 담기는 글의 양도 그만큼 줄어요. 여러 AI 회사가 공개한 토큰 계산 도구에 같은 뜻의 한국어·영어 문장을 붙여 넣으면 차이를 직접 볼 수 있어요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
- 질문
- 'AI가 다음 말을 고른다'를 더 정확하게 고쳐 말하면 어떻게 될까요?
- 활동
- 레고 비유로 놀아 봐요. 짝과 함께 긴 낱말 다섯 개를 골라, 자주 보이는 부분은 큰 블록, 드문 부분은 작은 블록으로 나눠 카드에 적어요. 같은 뜻의 문장을 한국어와 영어로 나눠 블록 수를 비교한 뒤, 2023년 '글리치 토큰' 기록(E0191)을 읽고 조각 하나가 어떻게 문제를 일으켰는지 이야기해 봐요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.