한국어EN
추론 인프라·서빙Zheng 외

SGLang 논문

SGLang 논문 — RadixAttention

왜 중요한가

프리픽스 KV 캐시를 radix tree로 자동 재사용

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/2312.071042026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각12.14Weak-to-strong generalization공식 발표12.11Mixtral 8x7B공식 발표
같은 축의 가까운 조각11.30Splitwise논문2024-09멤피스 Colossus 가동공식 발표11.13H200 발표공식 발표01.17SGLang + RadixAttention 공개공식 발표
Mixtral 8x7BWeak-to-strong generalizatio