한국어EN
추론 인프라·서빙vLLM

계층형 KV 캐시 오프로딩(Tiered KV Cache Offloading) 프레임워크를 공개함

AI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법

계층형 KV 캐시 오프로딩(Tiered KV Cache Offloading) 프레임워크를 공개함. 모든 KV가 호스트 DRAM을 경유하는 호스트 중심 설계로, 축출된 KV를 재계산하는 대신 파일시스템(콘텐츠 주소 기반 명명으로 자동 공유)·S3 호환 오브젝트 스토리지·ZMQ 조율과 RDMA 전송을 쓰는 피어-투-피어 등 세 종류 보조 계층에 보존함. 자사 주장으로 Qwen3.6-35B-A3B를 H100 2장에서 측정했을 때 동시 대화 128개를 넘는 구간에서 대안 대비 처리량이 2배 이상이었으며, vLLM v0.22부터 제공됨.

왜 중요한가

장기 멀티턴·에이전트 워크로드가 표준이 되면서 KV 캐시가 GPU 메모리를 넘어 스토리지 계층으로 확장되는 추론 아키텍처 전환이다.

출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요

공식 발표vllm.aihttps://vllm.ai/blog/2026-09-10-tiered-kv-offloading

2026년 38주차에 더한 기록이에요 · 그 주 보기

노선도에서 — ⑧ 추론 인프라·서빙 노선

  1. 앞 역8세대 TPU
  2. 이 기록계층형 KV 캐시 오프로딩(Tiered KV Cache Offloading) 프레임워크를 공개함
  3. 다음 역DeepSeek-V4.1-Flash 공개
노선도에서 보기

같은 주에 나온 조각

StepAudio 3 Realtime 기술 보고서 공개논문'Scaling Storage for 1 Billion ChatGPT Users (Part I)' 공개공식 발표Agents API 퍼블릭 베타 공개공식 발표ChatGPT Work에 Data agent를 공개함공식 발표

같은 축의 가까운 조각

AMD Instinct MI355X에서 MiniMax M3를 최적화한 성능 엔지니어링 결과를 공개함공식 발표GLM 5.3 최적화 1편으로 Hybrid HiSparse 오프로딩을 공개함공식 발표자사 코드 모델 North Mini Code(총 30B·활성 3.3B)용 디코드 메가커널 서빙 엔진을 공개함공식 발표vLLM TT 플러그인을 공개함공식 발표