한국어EN
추론 인프라·서빙UC Berkeley

vLLM + PagedAttention 공개

vLLM + PagedAttention 공개

왜 중요한가

KV 캐시를 OS 페이징처럼 관리해 메모리 낭비를 4% 미만으로, 오픈소스 서빙 표준의 출발점

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 공식 발표vllm.aihttps://vllm.ai/blog/2023-06-20-vllm2026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각06.23Open LLM Leaderboard의 MMLU 점수 불일치 해명공식 발표06.20Textbooks Are All You Need논문
같은 축의 가까운 조각06.01AWQ논문08.21GGUF 포맷 도입보도03.10llama.cpp 저장소 생성공식 발표10.19TensorRT-LLM 공개공식 발표
ZeRO++ 발표Textbooks Are All You Need