vLLM
언어 모델을 빠르고 싸게 돌리는 오픈소스 추론·서빙 엔진
소개
- 처음 공개
- 2023년 6월
- 만든 곳
- 미국 UC 버클리 스카이 컴퓨팅 연구실
- 관리
- 파이토치 재단(리눅스 재단 산하)의 호스팅 프로젝트, 기여자 커뮤니티
- 라이선스
- 아파치 2.0
- 형태
- 오픈소스 LLM 추론·서빙 엔진(소프트웨어 라이브러리)
vLLM은 대형 언어 모델(LLM)을 ‘서빙’하는 오픈소스 프로그램이에요. 서빙은 사용자의 질문을 받아 모델이 답을 만들어 돌려주게 하는 일이에요. 미국 UC 버클리의 스카이 컴퓨팅 연구실에서 개발돼 2023년 6월 20일 공개됐어요. 개발에는 권우석(Woosuk Kwon), 주오한 리(Zhuohan Li) 등 연구자와 데이터브릭스 공동 창업자 이온 스토이카(Ion Stoica)가 참여했어요. 공개 전 두 달 동안 연구팀 LMSYS의 ‘챗봇 아레나’에서 실제로 쓰였고, 코드는 누구나 쓰고 고칠 수 있는 아파치 2.0 라이선스로 공개돼 있어요.
핵심 기술은 ‘페이지드어텐션(PagedAttention)’이에요. 언어 모델은 앞서 읽은 단어 정보를 ‘KV 캐시’라는 메모리에 두는데, 개발팀은 기존 시스템이 이 메모리의 60~80%를 낭비한다고 분석했어요. 페이지드어텐션은 운영체제가 메모리를 작은 칸(페이지)으로 나눠 관리하는 방법을 빌려 KV 캐시를 블록으로 쪼개고, 낭비를 4% 아래로 줄였어요. 개발팀은 허깅페이스 트랜스포머스보다 처리량이 최대 24배 높다고 밝혔어요(자체 발표). 이 연구는 2023년 운영체제 학회 SOSP에서 발표됐어요. 2025년 1월 핵심 구조를 새로 짠 ‘V1’ 엔진의 알파판이 나왔고, 2025년 5월 7일 리눅스 재단 산하 파이토치 재단의 호스팅 프로젝트가 됐어요.
2026년 1월에는 vLLM을 만든 사람들과 핵심 관리자들이 회사 ‘인퍼랙트(Inferact)’를 세웠다고 발표했어요. 회사는 앤드리슨 호로위츠(a16z)와 라이트스피드가 이끈 첫 투자에서 1억 5,000만 달러를 받았고, 기업 가치는 8억 달러라고 밝혔어요. CEO는 vLLM을 처음 만든 사람 중 하나인 사이먼 모(Simon Mo)예요. 인퍼랙트는 vLLM이 500가지 넘는 모델 구조와 200종 넘는 가속기(AI 계산용 칩)를 지원하고 기여자가 2,000명을 넘는다고 소개했어요(자사 발표). a16z는 메타, 구글, 캐릭터닷AI 등이 vLLM을 실제 서비스에 쓴다고 밝혔어요. 2026년 10월 기준 vLLM은 파이토치 재단이 관리하는 아파치 2.0 프로젝트이고, 같은 달 구글 TPU 칩용 ‘vLLM TorchTPU’도 나왔어요.
소개의 출처 10곳 · 2026년 10월 31일 기준
- vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention · vLLM Blog
- vllm-project/vllm · GitHub (vLLM project)
- Efficient Memory Management for Large Language Model Serving with PagedAttention · arXiv
- vLLM V1: A Major Upgrade to vLLM's Core Architecture · vLLM Blog
- PyTorch Foundation Expands to Umbrella Foundation and Welcomes vLLM and DeepSpeed Projects · PyTorch Foundation
- PyTorch Foundation Welcomes vLLM as a Hosted Project · PyTorch Foundation
- Introducing Inferact: Building the Future of AI Inference · Inferact
- Inference startup Inferact lands $150M to commercialize vLLM · TechCrunch
- Investing in Inferact · Andreessen Horowitz
- Introducing vLLM TorchTPU · vLLM Blog
AIAI가 만든 글이 소개는 AI(Claude)가 위 출처 10곳(공식 페이지·공시·언론 보도)을 바탕으로 썼어요.만드는 방법
나온 기록 9
최신 순이에요. 기록을 누르면 출처와 함께 열려요.
분리 서빙이 연구 주장에서 운영 안내로 내려왔다. 평균 처리량이 아니라 p99 지연을 기준으로 삼은 것이 핵심인데, 에이전트 루프는 꼬리 지연에 그대로 노출되기 때문이다. 같은 주 OpenAI가 속도를 별도 과금 등급으로 떼어 낸 것과 같은 압력의 오픈소스 쪽 대응이다.
장기 멀티턴·에이전트 워크로드가 표준이 되면서 KV 캐시가 GPU 메모리를 넘어 스토리지 계층으로 확장되는 추론 아키텍처 전환이다.
주요 오픈 추론 엔진에서 AMD GPU가 NVIDIA 외 실질적 대안으로 최적화되는 과정을 구체적 수치로 남긴 기록이다.
에이전트 코딩이 추론 서빙의 대표 워크로드가 되면서 벤치마크의 목표 자체가 단발 처리량에서 장기 멀티턴 세션 경제성으로 옮겨 갔다.
100만 토큰급 컨텍스트를 단일 노드에서 감당하려는 시도로, 장문맥 에이전트의 메모리 병목 해법이 희소 어텐션과 계층 메모리의 결합으로 수렴하고 있다.
멀티노드 모델 로딩·가중치 교체(RL 롤아웃)가 서빙 스택의 1급 문제로 승격