글을 한 토큰씩 잇지 않고, 빈칸을 여러 번에 걸쳐 채워 완성하는 모델이에요.
확산 언어 모델은 글을 앞에서부터 한 토큰씩 이어 쓰는 대신, 답 전체 자리를 한꺼번에 놓고 여러 번 고쳐 가며 완성하는 언어 모델이에요. 그림 AI의 확산 모델이 잡티를 조금씩 걷어 내듯, 여러 단계에 걸쳐 글을 다듬어요.
LLaDA 같은 모델은 빈칸에서 시작해요. 처음엔 답 자리가 모두 가려져 있고, 단계마다 가린 칸의 토큰을 맞혀 여러 칸을 함께 채워요. 학습 때도 글 일부를 가리고 맞히는 연습을 해요. 한 번에 여러 토큰을 내니 빨라질 수 있어요.
2025년 6월 Inception Labs는 Mercury Coder Mini가 H100 GPU에서 초당 1,109 토큰을 냈다고 밝혔어요. 다만 여러 칸을 따로따로 동시에 채우다 보니, 서로 어울려야 할 낱말이 어긋날 수 있다는 약점이 연구되고 있어요.
비유로 보면
받아쓰기는 앞에서부터 한 글자씩 써야 하지만, 십자말풀이는 쉬운 칸부터 채우고 그 글자를 힌트 삼아 나머지를 채우죠. 확산 언어 모델은 십자말풀이처럼 글을 완성해요.
예를 들면
처음엔 '□ □ □ □'처럼 모두 가려져 있다가, 한 단계 뒤 '□ 떡볶이를 □ □', 다음 단계 '친구와 떡볶이를 먹으러 갔다'처럼 여러 칸이 한꺼번에 채워져요.
자주 하는 오해
오해AI는 글을 반드시 왼쪽에서 오른쪽으로만 쓸 수 있다.
실제로는2025년 2월 발표된 LLaDA는 80억 파라미터 확산 언어 모델인데, 예시를 보고 배우는 능력에서 LLaMA3 8B와 견줄 만했어요. 유명한 중국 시 구절을 주고 바로 앞 구절을 맞히는 '거꾸로 잇기'에서는 GPT-4o보다 잘했어요. 다음 구절을 잇는 쪽은 GPT-4o가 훨씬 잘했지만요.
오해확산 언어 모델은 처음부터 완전히 새로 학습해야만 만들 수 있다.
실제로는2026년 7월 구글 딥마인드의 DiffusionGemma는 처음부터 새로 학습하지 않고, 이미 있던 Gemma 4를 파인튜닝해서 만들었어요. 원래 모델 학습에 든 토큰의 10%도 안 되는 양이었어요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.