확산 언어 모델Donghyeon Cho, Joowon Kim, Seungho Shin, Eunho Yang
LOWN 공개
AIAI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법
LOWN 공개 — 확산 비전·언어 모델이 잡음을 지우는 단계마다 그림까지 전부 다시 처리하는 낭비를 줄이는 디코딩 방법으로, 먼저 그림 없이 가려진 토큰을 예측해 보고 그 결과가 직전의 그림 조건 예측과 어긋날 때만 그림을 처리한다. 두 예측이 맞으면 앞 예측을 다시 쓰고, 맞은 토큰 수가 그 단계에서 벗겨 낼 토큰 수를 정한다. arXiv 2610.36671
왜 중요한가
저자 측정으로 입력에서 시각 토큰이 89~97%를 차지하는데 그림을 빼도 벗겨질 토큰이 달라지는 단계는 평균 22.8%, 적을 때는 7.9%에 그쳤다. LLaDA-V 점수의 99.6%를 유지하면서 디코딩 연산을 평균 35.3%만 쓰고 학습도 문턱값 조정도 필요 없다고 밝혔다. 확산 모델의 비용이 단계 수가 아니라 그림을 언제 보는가에 걸려 있다는 주장이고, 시각 토큰 가지치기나 키·값 캐시와 겹쳐 쓸 수 있다고 적었다
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
논문arxiv.orghttps://arxiv.org/abs/2610.366712026년 44주차에 더한 기록이에요 · 그 주 보기
노선도에서 — ㉔ 확산 언어 모델 노선
- 앞 역마스크드 확산 언어모델에 고정 크기 '레지스터 토큰'을 두어 청크 사이로 추론 상태를 넘기는 방법을 제안함
- 이 기록 · 역LOWN
- 다음 역아직 다음 역이 없어요