증류 뜻 — 큰 모델의 실력을 작은 모델에게 옮겨 가르치는 방법 · 5분 용어

큰 모델의 실력을 작은 모델에게 옮겨 가르치는 방법이에요.

증류는 크고 똑똑한 '선생 모델'의 답을 작은 '학생 모델'이 따라 하도록 학습시키는 방법이에요. 학생은 정답만 보는 게 아니라 선생이 각 답을 얼마나 그럴듯하게 봤는지까지 배워서, 혼자 배울 때보다 빨리 실력이 붙어요. 2015년 힌턴 연구진의 논문이 이 방법을 널리 알렸어요.

이렇게 만든 작은 모델은 빠르고 싸서 폰이나 노트북에서도 돌릴 수 있어요. 대신 선생보다 실력이 조금 떨어지는 경우가 많아요. 다른 회사 AI의 답을 대량으로 모아 허락 없이 증류에 쓰는 일을 두고 분쟁이 벌어지기도 해요.

비유로 보면

전교 1등 친구의 정리 노트를 떠올려 보세요. 교과서를 처음부터 다 읽는 대신, 그 친구가 중요하다고 표시한 곳과 헷갈려한 곳을 따라 공부하면 훨씬 빨리 따라잡을 수 있죠. 그래도 노트만으로 그 친구만큼 잘하기는 어려워요.

예를 들면

선생 모델이 '고양이 70%, 호랑이 25%'라고 본 사진이라면, 학생은 '둘이 꽤 닮았구나'까지 함께 배워요.

자주 하는 오해

오해증류로 만든 작은 모델은 선생 모델과 실력이 똑같다.
실제로는학생은 선생의 실수까지 함께 배워서, 선생이 틀리게 알던 내용은 학생도 따라 틀리기 쉬워요. 둘의 실력 차이는 쉬운 질문보다 드물고 어려운 질문에서 더 크게 드러나는 편이에요.
오해학생 모델은 선생 모델의 정답만 따라 배운다.
실제로는2015년 힌턴·비냘스·딘의 논문은 선생의 확률표를 일부러 '온도'를 높여 평평하게 만든 뒤 학생에게 보여 줬어요. 그래야 1%처럼 아주 작은 확률 속에 숨은 '닮음' 정보까지 학생 눈에 잘 띄기 때문이에요.

수업에서 써 보기

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: 다른 회사 AI의 답을 모아 증류에 쓰는 일은 왜 분쟁이 될까요?
활동: 선생 역할 한 명이 사진 카드 다섯 장마다 '고양이 70%, 호랑이 25%, 개 5%'처럼 확률을 붙여 보여 주고, 학생 역할들은 한 번은 1등 답만, 한 번은 확률표 전체를 보고 새 카드 다섯 장을 맞혀요. 어느 쪽이 더 잘 맞혔는지 비교한 뒤, 2026년 기록(E0866)을 읽고 '허락'이 왜 문제인지 이야기해요.