추론 인프라·서빙Google (Leviathan 외)
Speculative Decoding
Speculative Decoding
왜 중요한가
출력 분포를 바꾸지 않으면서 decode의 메모리 바운드 특성을 우회
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2211.171922026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각11.30ChatGPT 리서치 프리뷰 공개공식 발표