한국어EN
모델 아키텍처·학습 기법Noam Shazeer

Fast Transformer Decoding

Fast Transformer Decoding — Multi-Query Attention

왜 중요한가

K/V head를 1개로 줄여 KV 캐시를 디코딩 병목으로 재정의

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/1911.021502026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각11.05On the Measure of Intelligence 발표, ARC 벤치마크 제시논문
같은 축의 가까운 조각06.30GShard논문01.11Switch Transformer논문04.20RoPE / RoFormer논문08.27ALiBi논문
On the Measure of IntelligenDiskANN 발표