토크나이저 뜻 — 문장을 토큰 조각으로 자르고 조각마다 번호를 붙이는 도구 · 5분 용어

문장을 토큰 조각으로 자르고 조각마다 번호를 붙이는 도구예요.

토크나이저는 AI가 글을 읽기 전에 거치는 첫 단계예요. 미리 정해 둔 조각 목록을 보고 문장을 토큰으로 자른 뒤, 조각마다 번호를 붙여요. AI가 실제로 계산하는 건 글자가 아니라 이 번호들의 줄이에요.

조각 목록은 아주 많은 글을 훑어서 자주 함께 나오는 글자 묶음을 모아 만들어요. 그래서 흔한 단어는 한 조각, 드문 단어는 여러 조각이 돼요. 토크나이저가 다르면 같은 문장도 토큰 수가 달라지고, 그만큼 한 번에 읽을 수 있는 양과 요금도 달라져요.

조각 목록이 학습한 글과 어긋나면 AI가 이상하게 굴 수 있어요. 2023년에는 목록에는 있지만 학습 때 거의 보지 못한 '이상한 토큰' 때문에 모델이 엉뚱한 답을 내는 사례가 알려졌어요. 그래서 토크나이저 없이 더 작은 단위를 바로 읽는 방식도 연구되고 있어요.

비유로 보면

휴대폰 스티커 팩만으로 메시지를 쓴다고 해 봐요. 자주 쓰는 말은 스티커 한 장으로 끝나지만, 팩에 없는 말은 작은 글자 스티커 여러 장을 이어 붙여야 해요. 토크나이저는 이 스티커 팩과, 문장을 어떤 스티커로 나눌지 정하는 규칙이에요.

'학교 끝나고 친구랑 떡볶이를 먹으러 갔어'는 어절 6개지만, 토큰으로는 10개 넘게 나뉠 수 있어요.

오해토크나이저는 띄어쓰기를 기준으로 문장을 자른다.
실제로는띄어쓰기가 거의 없는 중국어나 일본어 글도 문제없이 조각으로 잘라요. 많은 토크나이저에서는 빈칸이 낱말 앞에 붙어서 ' cat'과 'cat'이 서로 다른 조각이 되기도 해요.
오해토크나이저가 달라도 결과는 똑같다.
실제로는모델은 자기 토크나이저의 조각 목록에 맞춰 학습돼서, 토크나이저만 다른 것으로 바꿔 끼우면 제대로 작동하지 않아요. 2023년에 알려진 'SolidGoldMagikarp' 같은 글리치 토큰 141개는, 그대로 따라 써 보라고만 해도 모델이 엉뚱한 말을 내놓게 했어요.

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: 토크나이저 없이 더 작은 단위를 바로 읽으면 무엇이 좋고 무엇이 어려울까요?
활동: 스티커 팩 놀이를 해 봐요. 모둠마다 자주 쓰는 말 열 개로 '스티커 팩'을 정하고, 선생님이 불러 주는 문장을 그 팩으로 몇 장에 쓸 수 있는지 세요. 팩에 없는 말은 글자 스티커를 이어 붙여요. 팩이 다른 모둠끼리 장수를 비교한 뒤, Byte Latent Transformer 기록(E0475)이 무엇을 해 보려 했는지 읽어 봐요.