다음 토큰 예측 뜻 — 지금까지의 글을 보고 바로 다음에 올 토큰 하나를 맞히는 일 · 5분 용어

지금까지의 글을 보고 바로 다음에 올 토큰 하나를 맞히는 일이에요.

대형 언어 모델이 글을 쓰는 방식은 생각보다 단순해요. 지금까지 나온 글을 보고, 다음에 올 수 있는 토큰마다 확률을 매긴 뒤 하나를 골라요. 고른 토큰을 붙이고 다시 다음 토큰을 고르는 일을 수백 번 반복하면 긴 답이 돼요.

학습할 때도 같은 연습을 해요. 엄청난 양의 글에서 다음 토큰을 가린 채 맞혀 보고, 틀리면 조금씩 고쳐요. 단순한 연습이지만 아주 많이 하다 보니 문법과 상식, 말투까지 함께 익히게 됐어요.

다만 '그럴듯한 다음 토큰'이 늘 '사실'인 건 아니에요. AI가 자신 있게 틀리는 환각이 생기는 까닭 중 하나예요.

비유로 보면

휴대폰 키보드 위에 뜨는 추천 단어를 떠올려 보세요. 추천 단어를 계속 눌러서 문장을 끝까지 이어 가는 게 바로 이 방식이에요. AI는 훨씬 많은 글을 읽어서 훨씬 그럴듯하게 고를 뿐이에요.

'떡볶이를 맛있게 …' 다음에는 '먹었다'가 높은 확률을, '던졌다'는 아주 낮은 확률을 받아요.

오해AI는 답 전체를 한꺼번에 떠올린다.
실제로는답이 얼마나 길어질지도 미리 정해 두지 않아요. '여기서 끝'을 뜻하는 특별한 토큰이 뽑히는 순간 멈추기 때문에, 같은 질문에도 답 길이가 매번 조금씩 달라져요.
오해확률이 가장 높은 다음 말은 곧 사실이다.
실제로는확률은 '글에 얼마나 자주 나왔나'에 가까워서, 많이 퍼진 틀린 상식도 높은 점수를 받을 수 있어요. '금붕어 기억력은 3초'처럼 자주 쓰이지만 사실과 다른 말이 그런 예예요.

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: 단순한 '다음 말 맞히기'를 아주 많이 하면, 왜 문법과 말투까지 익히게 될까요?
활동: '떡볶이를 맛있게 …'처럼 문장 앞부분을 칠판에 쓰고, 반 친구들이 다음 낱말을 하나씩 적어 내요. 낱말마다 몇 명이 골랐는지 세어 '우리 반 확률표'를 만든 뒤, 오늘의 조각의 「오늘의 다음 조각」에서 공개 AI 모델이 매긴 확률과 견줘 봐요.