GLM 5.3 최적화 1편으로 Hybrid HiSparse 오프로딩을 공개함

AIAI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법

GLM 5.3 최적화 1편으로 Hybrid HiSparse 오프로딩을 공개함. HiSparse는 자주 접근되는 토큰은 GPU에 두고 콜드 데이터는 CPU로 내리는 압력 구동형 메모리 계층으로, GPU 메모리가 실제로 부족해질 때만 오프로딩이 발동해 요청을 선점하지 않고 디코딩을 이어 감. H200 8장 노드에서 100만 토큰 컨텍스트 서빙을 목표로 하며, 자사 주장으로 초기 턴 평균 74,160토큰·후속 턴 753토큰의 13턴 OpenHands 에이전트 워크로드에서 384GiB HiSparse 풀 + 128GiB 오프로딩 풀 구성이 기존 512GiB 오프로딩보다 높은 동시 처리량을 보였다고 밝힘. 게시 시점 미출시이며 vLLM v0.30 일반 제공 예정이라고 명시함.