추론 엔진을 열었지만 운영 층은 빠졌다

AIAI가 만든 글AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요.만드는 방법

딥시크가 모델이 아니라 추론 엔진을 아파치 2.0으로 공개한 사례를 범위 중심으로 따져 본 기록이다. 안내 문서가 스스로 빠졌다고 적은 세 항목은 KV 캐시 체계, 사전 계산과 생성을 나눠 운영하는 구조, 복제본 사이의 부하 분산인데 이는 엔진 기능이 아니라 그 기능을 묶어 운영하는 조율 계층이라서 캐시 기능 자체가 없다고 읽으면 틀린다고 설명한다. 모델과 추론 엔진과 온라인 서비스를 세 층으로 가르면 공개된 것은 가운데 층의 핵심이고 문서에도 한 번에 묶어 처리하는 쪽이라고 적혀 있다. 들어 있는 기능으로는 연산이 도는 사이에 다음 일정과 앞선 후처리를 겹치는 비동기 배치, 채택 가능성이 높은 앞부분만 짚어 보는 추측 생성, 묶음 구성이 달라져도 같은 결과를 내려는 고정 연산이 꼽히며 처리량 증가는 자사 기준으로 4~7%다. 동시 요청을 8개에서 256개로 늘리면 장치당 출력은 2,500에서 26,200 토큰으로 늘지만 체감 속도는 327에서 101 토큰으로 떨어진다.

이 글은 AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.