모델 안에서 학습으로 맞춰지는 숫자 하나하나예요.
파라미터는 모델 안에 들어 있는 숫자들이에요. 신경망의 연결마다 붙은 가중치가 대표적이에요. 학습은 결국 이 숫자들을 조금씩 고쳐서 좋은 답이 나오는 조합을 찾는 일이에요.
모델 크기를 '파라미터 몇 개'로 말하기도 해요. 2020년에 나온 GPT-3는 약 1,750억 개였고, 폰 안에 들어가는 작은 모델은 수십억 개 정도예요. 숫자가 많으면 담을 수 있는 패턴이 늘지만, 많다고 무조건 똑똑한 건 아니에요. 무엇을 얼마나 잘 배웠는지가 함께 따라와야 해요.
비유로 보면
음악 믹서에 달린 수많은 손잡이를 떠올려 보세요. 손잡이 하나하나가 파라미터이고, 학습은 좋은 소리가 날 때까지 손잡이를 조금씩 돌리는 일이에요. 다만 AI의 손잡이는 수십억 개가 넘어요.
예를 들면
'7B 모델'의 B는 billion(10억)이라서, 파라미터가 약 70억 개라는 뜻이에요.
자주 하는 오해
오해파라미터가 많을수록 무조건 더 똑똑하다.
실제로는글짓기에서 글자 수가 많다고 좋은 글이 아닌 것과 비슷해요. 한 가지 일에 맞춰 잘 다듬은 작은 모델이 그 일만큼은 훨씬 큰 모델을 앞서기도 하니, 크기보다 내가 할 일로 직접 비교해 보는 게 좋아요.
오해파라미터는 사람이 하나하나 정해 넣는 설정값이다.
실제로는파라미터는 처음에 무작위 숫자로 채워 두고 학습으로 맞춰 가요. 층을 몇 개 쌓을지, 한 번에 얼마나 크게 고칠지처럼 사람이 정하는 값은 '하이퍼파라미터'라고 따로 불러요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
- 질문
- '7B 모델'과 GPT-3는 파라미터 수가 몇 배 차이 날까요?
- 활동
- '7B'의 B가 billion(10억)이라는 걸 써서, 7B 모델(약 70억 개)과 2020년 GPT-3(약 1,750억 개, 기록 E0108)를 같은 단위로 바꿔 적어 보세요. 몇 배인지 계산한 뒤, 1초에 하나씩 센다면 70억까지 세는 데 몇 년이 걸릴지도 어림해 봐요. 마지막으로 파라미터 수만 보고 모델을 고르면 무엇을 놓칠 수 있는지 한 줄씩 적어 보세요. 수업 DAY 05 「이 숫자, 대체 얼마나 큰 걸까?」와 DAY 09 「큰 모델이 무조건 좋을까?」로 이어 가면 좋아요.