모델 속 숫자를 덜 정밀하게 줄여 크기와 메모리를 아끼는 방법이에요.
AI 모델은 수십억 개의 숫자(가중치)로 이뤄져 있고, 보통 숫자 하나에 16비트쯤을 써요. 양자화는 이 숫자를 8비트나 4비트처럼 더 짧게 반올림해서 저장하는 방법이에요. 16비트를 4비트로 줄이면 모델이 차지하는 메모리가 약 4분의 1로 줄어요.
덕분에 데이터센터에서 돌리던 큰 모델을 집 컴퓨터나 폰에서도 돌릴 수 있게 돼요. 대신 너무 많이 줄이면 답의 질이 떨어질 수 있어서, 어디를 얼마나 줄일지 고르는 방법이 계속 연구되고 있어요. 학습을 마친 뒤에 줄이기도 하고, 줄어들 것을 미리 감안해 학습하기도 해요.
비유로 보면
원주율을 3.14159265로 적는 대신 3.14로만 적는 걸 떠올려 보세요. 공책 자리는 훨씬 덜 들고, 웬만한 계산은 거의 똑같이 맞아요. 다만 너무 줄여서 3으로만 쓰면 답이 눈에 띄게 틀어지죠.
예를 들면
구글은 Gemma 3 27B 모델을 4비트로 줄여, 약 54GB에서 약 14GB로 작아진 버전을 공개했어요.
자주 하는 오해
오해양자화하면 모델이 배운 것을 지운다.
실제로는2022년 LLM.int8() 연구에서는 1,750억 파라미터 모델을 8비트로 바꿨는데도 성능이 떨어지지 않았고, 필요한 메모리는 절반이 됐어요. 양자화는 숫자를 지우는 게 아니라, 개수는 그대로 두고 숫자 하나하나의 자릿수만 줄이는 방법이에요.
오해많이 줄일수록 무조건 좋다.
실제로는내려받는 모델 파일 이름에 흔히 붙는 Q4, Q8 같은 표시는 숫자 하나를 대략 몇 비트로 줄였는지 알려 줘요. 많이 줄일수록 답의 질이 떨어지기 쉬우니, 보통은 내 컴퓨터 메모리에 들어가는 것 가운데 숫자가 가장 큰 쪽을 고르는 게 무난해요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
- 질문
- 어디까지 줄여도 '거의 똑같은 답'이 나올까요?
- 활동
- 원의 둘레 구하기 문제 다섯 개를 원주율 3.14159, 3.14, 3으로 각각 풀어 답의 차이를 표에 적어요. 차이가 '써도 괜찮은 정도'인지 모둠마다 기준을 정해 본 뒤, Gemma 3 기록(E0569)에서 54GB가 14.1GB로 줄어든 비율을 계산해 우리 표의 차이와 견줘 봐요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.