한국어EN
온디바이스·로컬 추론llama.cpp 커뮤니티llama.cpp커뮤니티 관찰

Discussion #23853

AI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법

Discussion #23853 — NVFP4/MXFP6 혼합정밀 + imatrix 레이어별 최적화 도구 공개. 논의 중 NVFP4가 속도는 앞서나 품질은 Q4_K_M에 못 미친다는 비교 결과 공유

왜 중요한가

하드웨어 네이티브 FP4가 커뮤니티 양자화를 아직 이기지 못했다는 실측. 포맷 경쟁 미결

출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요

공식 발표github.comhttps://github.com/ggml-org/llama.cpp/discussions/23853

2026년 35주차에 더한 기록이에요 · 그 주 보기

노선도에서 — ⑲ 온디바이스·로컬 추론 노선

  1. 앞 역LiteRT-LM
  2. 이 기록Discussion #23853
  3. 다음 역WWDC 2026에서 Foundation Models 프레임워크 확장 발표
노선도에서 보기

같은 주에 나온 조각

Vera Rubin NVL72 양산 진입공식 발표Isaac GR00T 오픈 휴머노이드 레퍼런스 디자인공식 발표Series H공식 발표Tree of Thoughts as a Classical Heuristic Search Problem 발표논문

같은 축의 가까운 조각

0.30에서 MLX 엔진에 llama.cpp 기반 GGUF 호환 추가공식 발표LiteRT-LM 정식 출시(GA)공식 발표WWDC 2026에서 Foundation Models 프레임워크 확장 발표보도Chrome 148 스테이블에서 Prompt API를 웹에 공개공식 발표