추론 인프라·서빙

'순환 상태의 오차는 긴 문맥에서 누적된다'는 통념을 뒤집어 하이브리드 LLM의 순환 절반이 오히려 양자화하기 쉬운 쪽이라고 주장하고, NVFP4의 16원소 블록 스케일링이 잔차 스트림의 극단 이상치를 국소화하는 점과 델타 규칙 순환이 주입된 잡음을 32K 토큰에 걸쳐 평탄하게 유지하는 점 등 네 갈래 기계적 설명을 제시. 수치는 저자 자체 보고.

중요도 점수 기반 KV 축출 계보 전체에 대해 '점수 자체가 필요 없다'는 반증을 제기. 취약한 부분은 프롬프트뿐이며 추론 시퀀스는 텍스트 재진술과 여러 어텐션 헤드에 걸친 복제라는 이중 중복성으로 스스로를 지탱하므로 프롬프트만 지키면 무작위 선택으로 충분하다는 것이 저자들의 설명. 수치는 저자 자체 보고.

별도 디바이스 풀과 KV 캐시 전송을 요구하는 P/D 분리(disaggregation) 대신, 가중치와 KV를 공유한 채 집합 통신 순서와 상태만 격리해 같은 디바이스에서 P/D를 겹치는 갈래. 서빙 인프라의 병목이 추론 서비스에서 RL 롤아웃으로 옮겨간 사례이기도 하다. 수치는 저자 자체 보고.

긴 영상을 통째로 넣는 대신 모델이 스스로 탐색하는 방식 — 멀티모달 입력이 에이전트 루프로 편입

프런티어 모델의 경쟁 축이 코딩에서 자율 과학 연구로 이동. 최상위 모델을 심사된 사용자에게만 여는 계층 배포가 제품 라인으로 굳어졌고, 가격 인하가 성능이 아니라 캐시 읽기 단가에서 나온 점은 장기 에이전트 루프가 과금의 중심임을 보여줌

이차 스케일링 해법으로 각광받던 선형 어텐션 개조 갈래에 대해 '후속학습이 필요 없는 슬라이딩 윈도로 충분하다'는 기준선을 세운 반증 논문 — 선형 어텐션 모델은 처음부터 학습하거나 광범위한 후속학습을 거쳐야 겨우 SWA를 따라잡을 것이라고 저자들이 결론. 수치는 저자 자체 보고.

에이전트용 저지연 유닛이 랙에 통합

멀티노드 모델 로딩·가중치 교체(RL 롤아웃)가 서빙 스택의 1급 문제로 승격

랙당 GPU 72, 단일 스케일업 도메인, HBM4 31TB로 대안 실리콘의 실전 진입

Vera CPU·Groq 3 LPX·BlueField-4·Spectrum-6 통합, 에이전트 워크로드를 명시적 타깃으로

온디바이스 런타임이 모바일 OS를 넘어 브라우저까지 같은 스택으로 덮는 단계. 수치는 벤더 자체 측정

학습용과 추론용 실리콘을 최초로 분리, 범용 가속기 시대의 종언 신호

Ironwood가 발표에서 실제 공급으로

V1 재설계 이후 두 번째 실행 계층 재작성. 서빙 경쟁이 커널에서 스케줄러·실행 코어로 이동

README가 vLLM·SGLang·llama.cpp·MLX 이전을 권고, 서빙 엔진 시장이 2강과 로컬로 정리

커널 계보의 최신 세대, MLSys 2026 정식 게재

비-GPU 추론 IP의 편입. Groq는 독립 법인으로 존속

추론 시대용 TPU. 실제 GA는 2026-03-31

데스크톱에서 200B 추론과 70B 파인튜닝, 로컬이 에이전트 런타임으로

세밀 희소 어텐션을 상용 API에 투입해 장문맥 비용을 인하

4비트의 정밀 규격화

서빙 엔진이 연구 프로젝트에서 인프라 공공재로

프론티어급 MoE 서빙의 오픈소스 재현

양자화 인식 학습이 오픈 웨이트 배포의 표준 절차가 됨

추론 모델을 명시적 타깃으로 삼아 PD 분리·KV 라우팅·오토스케일을 벤더 표준으로

동일 성능 토큰 가격 급락을 태스크별로 분해한 첫 정량 측정

추론 단위경제학의 최초 1차 자료. 전량 유료 과금 가정의 상한값이며 실매출은 훨씬 낮다고 자체 단서

대규모 EP와 PD 분리, FP8의 실증을 5일간 순차 공개

prefix caching 기본값화, V0 대비 최대 1.7배

경쟁사 API 호환을 채택해 전환 비용을 낮추는 전략

자체 발표 기준 업계 최단 구축. 단 초기 계통 연결은 8MW에 불과해 임시 가스터빈에 의존했고 11월에야 150MW로 승압

웨이퍼 스케일 SRAM으로 GPU HBM 대역폭 한계를 우회, 추론 전용 칩 카테고리 대중화

실서비스 기반의 KV 캐시 계층형 관리

랙 하나를 하나의 거대 GPU로 다루는 패러다임

긴 프롬프트가 decode를 멈춰세우는 문제를 해소, vLLM 대비 서빙 용량 2.6~5.6배

prefill과 decode를 별도 GPU 풀로 나눠 지연 지표를 독립 튜닝

멀티턴·에이전트처럼 프롬프트가 겹치는 워크로드를 위한 캐시 계층을 런타임 수준으로

프리픽스 KV 캐시를 radix tree로 자동 재사용

prefill-decode 분리 계보의 최초 제안

연산이 아니라 메모리 용량·대역폭을 세대 차별점으로 내세운 첫 제품

in-flight batching과 paged attention, FP8을 벤더 스택에 통합

메타데이터와 하위호환을 갖춘 단일 파일 배포 포맷, 로컬 모델 유통의 컨테이너 이미지

KV 캐시를 OS 페이징처럼 관리해 메모리 낭비를 4% 미만으로, 오픈소스 서빙 표준의 출발점

활성값 기준 상위 가중치만 보호하는 양자화, TinyChat이 HF FP16 대비 3배 이상

의존성 없는 순수 C/C++ 추론으로 GPU 없이 노트북에서 LLM을 돌리는 길을 염

동일 기법의 독립 정식화, 2~2.5배 가속

출력 분포를 바꾸지 않으면서 decode의 메모리 바운드 특성을 우회

continuous batching의 원형