스케일링 법칙 뜻 — 모델 크기·데이터·계산량을 늘리면 성능이 예측 가능하게 오른다는 관찰 · 5분 용어

모델 크기·데이터·계산량을 늘리면 성능이 예측 가능하게 오른다는 관찰이에요.

스케일링 법칙은 모델의 파라미터 수, 학습 데이터 양, 계산량을 키울수록 AI의 예측 오차가 꽤 일정한 규칙을 따라 줄어든다는 관찰이에요. 2020년 OpenAI 연구진이 이를 정리해 발표했고, 덕분에 '더 크게 만들면 얼마나 좋아질지'를 미리 어림할 수 있게 됐어요.

2022년 친칠라 연구는 모델만 키울 게 아니라 데이터도 같은 비율로 늘려야 한다고 보여 줬어요. 다만 이름은 '법칙'이어도 자연법칙이 아니라 지금까지 관찰된 경향이에요. 이 경향이 앞으로도 이어질지는 연구자들 사이에서도 의견이 갈려요.

비유로 보면

운동 연습량과 기록을 떠올려 보세요. 연습을 두 배로 늘릴 때마다 기록이 비슷한 비율로 좋아진다면, 다음 대회 기록을 미리 짐작할 수 있죠. 하지만 그 흐름이 언제까지 이어질지는 아무도 장담하지 못해요.

예를 들면

친칠라는 파라미터 700억 개에 데이터를 더 많이 먹여, 파라미터 2,800억 개짜리 모델보다 좋은 성적을 냈어요.

자주 하는 오해

오해스케일링 '법칙'은 중력처럼 늘 성립하는 자연법칙이다.
실제로는스케일링 법칙은 실험 결과에서 찾아낸 경향을 수식으로 정리한 관찰이라, 중력처럼 언제나 성립한다는 보장은 없어요. 2022년 게리 마커스가 이 점을 지적한 글 '딥러닝이 벽에 부딪히고 있다'를 쓴 뒤로, '벽에 부딪힌다'는 말은 이런 의심을 대표하는 표현이 됐어요.
오해성능을 올리려면 모델만 크게 키우면 된다.
실제로는친칠라 연구진은 400개가 넘는 모델을 학습시켜 비교한 끝에, 당시 큰 모델들 상당수가 크기에 비해 글을 덜 읽은 '덜 배운' 상태였다고 결론 냈어요. 같은 계산 예산이라면 모델 크기를 키우는 만큼 학습 데이터도 같은 비율로 늘리는 편이 낫다는 뜻이에요.

수업에서 써 보기

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: 지금까지의 흐름으로 다음을 어림할 때, 무엇을 조심해야 할까요?
활동: 모눈종이에 '연습한 날 수'와 '줄넘기 횟수' 같은 가짜 자료 다섯 점을 찍고 선을 이어 여섯째 날을 어림해 봐요. 그다음 모둠마다 '이 선이 언제 꺾일 수 있을까'를 세 가지 적어요. 마지막으로 기록 E0101과 E0143을 나란히 읽고 두 쪽의 주장을 한 줄씩 정리해요.