한국어EN
추론 인프라·서빙Tenstorrent

vLLM TT 플러그인을 공개함

AI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법

vLLM TT 플러그인을 공개함. vLLM의 아웃오브트리 플랫폼 플러그인 메커니즘을 써서 ttnn 라이브러리가 있으면 Tenstorrent 가속기를 자동 등록하며 OpenAI 호환 API를 그대로 유지함. Llama 3.1~3.3, Qwen 2.5~3.6, Mistral, Gemma 3~4, DeepSeek V3 및 멀티모달 변형을 지원하되 모델 구현체는 플러그인이 아니라 TT-Metal에 둠. 프리필 전용·디코드 전용으로 나눈 단계 기반 스케줄링, Galaxy 시스템용 단일 프로세스 레인 데이터 병렬, 온디바이스 샘플링, 비동기 리드백이 GPU 서빙과의 주요 차이이며 투기적 디코딩·LoRA·prompt logprobs·멀티호스트 서빙은 미지원임. 성능 수치는 제시하지 않음.

왜 중요한가

vLLM 코어를 건드리지 않는 플러그인 방식으로 비주류 가속기가 주류 추론 스택에 편입되는 경로를 보여, 하드웨어 다변화의 진입 장벽이 낮아지고 있다.

출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요

공식 발표vllm.aihttps://vllm.ai/blog/2026-09-07-vllm-tt-plugin

2026년 38주차에 더한 기록이에요 · 그 주 보기

노선도에서 — ⑧ 추론 인프라·서빙 노선

  1. 앞 역8세대 TPU
  2. 이 기록vLLM TT 플러그인을 공개함
  3. 다음 역DeepSeek-V4.1-Flash 공개
노선도에서 보기

같은 주에 나온 조각

StepAudio 3 Realtime 기술 보고서 공개논문'Scaling Storage for 1 Billion ChatGPT Users (Part I)' 공개공식 발표Agents API 퍼블릭 베타 공개공식 발표ChatGPT Work에 Data agent를 공개함공식 발표

같은 축의 가까운 조각

GLM 5.3 최적화 1편으로 Hybrid HiSparse 오프로딩을 공개함공식 발표자사 코드 모델 North Mini Code(총 30B·활성 3.3B)용 디코드 메가커널 서빙 엔진을 공개함공식 발표AMD Instinct MI355X에서 MiniMax M3를 최적화한 성능 엔지니어링 결과를 공개함공식 발표계층형 KV 캐시 오프로딩(Tiered KV Cache Offloading) 프레임워크를 공개함공식 발표