온디바이스·로컬 추론Elias Frantar 외 (IST Austria·ETH)
GPTQ 발표
GPTQ 발표 — 175B 모델을 약 4 GPU시간에 3~4비트로 사후 양자화, 단일 GPU에 탑재
왜 중요한가
양자화를 사후 처리로 표준화
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2210.173232026년 8월 24일에 더한 조각 · 그 주 보기
GPTQ 발표 — 175B 모델을 약 4 GPU시간에 3~4비트로 사후 양자화, 단일 GPU에 탑재
양자화를 사후 처리로 표준화