다 배운 모델에 원하는 일을 골라 조금 더 가르쳐 다듬는 학습이에요.
파인튜닝은 사전학습을 마친 모델에 비교적 적은 예시를 더 보여 줘서, 특정한 일이나 말투에 맞게 다듬는 학습이에요. 처음부터 다시 가르치는 게 아니라, 이미 배운 걸 바탕으로 조금만 고쳐요. 질문에 친절히 답하도록 모범 답안으로 가르치는 것도 파인튜닝의 한 종류예요.
요즘은 원래 숫자는 그대로 두고, 작은 숫자 묶음만 덧붙여 학습하는 방법도 많이 써요. 2021년 발표된 LoRA는 이렇게 해서 학습할 숫자를 크게 줄여, 큰 모델도 비교적 싸게 다듬을 수 있게 했어요. 파인튜닝은 말투와 형식을 바꾸는 데 강하고, 새 사실을 넣을 때는 자료를 찾아 펴 놓고 답하는 RAG가 더 잘 맞는 경우가 많아요.
비유로 보면
이미 축구를 잘하는 친구가 골키퍼를 맡게 됐다고 해 봐요. 축구를 처음부터 다시 배우지 않고, 몇 주 동안 골키퍼 연습만 더 하면 돼요. 파인튜닝도 이미 가진 실력 위에 필요한 기술만 얹는 거예요.
예를 들면
같은 기본 모델에서 코딩 도우미, 수학 튜터, 상냥한 대화 친구가 파인튜닝으로 따로따로 갈라져 나올 수 있어요.
자주 하는 오해
오해파인튜닝은 모델을 처음부터 다시 가르치는 일이다.
실제로는2021년 나온 LoRA 방식은 GPT-3만 한 모델을 다듬을 때 새로 학습하는 숫자를 원래의 약 1만분의 1로 줄였어요. 그러고도 답을 내는 속도는 느려지지 않았으니, 처음부터 다시 가르치는 것과는 규모부터 달라요.
오해새 사실을 넣고 싶으면 파인튜닝이 가장 좋다.
실제로는버스 시간표가 바뀔 때마다 모델을 다시 다듬는 건 번거롭고, 바뀐 시간표 파일만 갈아 끼우는 쪽이 훨씬 빠르고 확인도 쉬워요. 다듬기로 넣은 사실은 어디서 왔는지 출처를 보여 주기도 어려워요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
- 질문
- '우리 학교 급식 안내 도우미'를 만든다면 파인튜닝과 RAG 가운데 무엇이 맞을까요?
- 활동
- 모둠마다 만들고 싶은 AI 도우미 하나를 정하고(예: 수학 튜터, 말투가 상냥한 안내원, 오늘 급식 알려 주기), 바꾸고 싶은 게 '말투·형식'인지 '새 사실'인지 나눠 적어요. 말투면 파인튜닝, 새 사실이면 RAG로 표시한 뒤 이유를 발표해요. FLAN 기록(E0131)을 열어 '지시를 따르도록 다듬기'가 언제 나왔는지도 확인해요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
가중치를 동결하고 저랭크 행렬만 학습해 GPT-3 175B 기준 학습 파라미터를 1만분의 1로, 추론 지연 증가 없음