추론 인프라·서빙SGLang (LMSYS)
96대 H100 대규모 EP 재현
96대 H100 대규모 EP 재현 — 출력 토큰 100만당 0.20달러
왜 중요한가
프론티어급 MoE 서빙의 오픈소스 재현
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
공식 발표lmsys.orghttps://lmsys.org/blog/2025-05-05-large-scale-ep/2026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각05.09How far can reasoning models scale?공식 발표05.09Copyright and AI Part 3 사전공개판정부 기록05.07vLLM을 Foundation 호스팅 프로젝트로 편입공식 발표