원래 모델은 그대로 두고 작은 숫자 표만 덧붙여 학습하는 방법이에요.
LoRA는 큰 모델을 파인튜닝하는 방법이에요. 원래 가중치는 얼려 두고, 고칠 숫자 표마다 옆에 작은 표 두 개를 덧붙여 그것만 학습해요. 2021년 마이크로소프트 연구진이 발표했어요.
큰 숫자 표를 통째로 고치는 대신 '얼마나 바꿀지'를 길쭉한 표 두 개의 곱으로 나타내요. 가로세로 4,096칸 표라면 약 1,678만 칸 대신 4,096×8칸 표 두 장, 약 6만 5천 칸만 배우면 돼요. 다 배운 뒤 원래 표에 더해 합치면 답하는 속도도 그대로예요.
2023년 5월 QLoRA는 모델을 4비트로 줄인 채 LoRA를 붙여, 650억 파라미터 모델을 48GB GPU 한 장에서 파인튜닝했어요. 다만 코딩과 수학을 더 가르쳐 본 2024년 연구에서는 LoRA가 전체를 고치는 파인튜닝보다 덜 배웠어요.
비유로 보면
교과서에 직접 줄을 긋고 고쳐 쓰는 대신 포스트잇에 메모해 붙이는 것과 비슷해요. 포스트잇만 떼면 교과서는 처음 그대로이고, 과목마다 다른 포스트잇 묶음을 바꿔 붙일 수도 있죠.
예를 들면
그림 AI에서는 기본 모델 파일은 그대로 두고, 새로 가르친 내용만 담긴 수백 MB짜리 LoRA 파일을 내려받아 얹어 쓰기도 해요.
자주 하는 오해
오해LoRA 파일 하나만 받으면 그 자체로 AI를 돌릴 수 있다.
실제로는LoRA 파일에는 덧붙인 작은 표만 들어 있고 기본 모델은 없어요. 허깅페이스 PEFT로 저장하면 함께 생기는 설정 파일에 어떤 기본 모델용인지 이름이 적혀 있고, 그 모델을 먼저 불러온 뒤에 얹어야 해요. 층의 크기가 다른 모델에는 표 크기가 맞지 않아 붙일 수도 없어요.
오해LoRA로 다듬으면 원래 잘하던 것을 잊어버린다.
실제로는같은 2024년 연구에서 LoRA는 새 일을 덜 배우는 대신, 다듬은 분야 밖의 실력은 전체 파인튜닝보다 더 잘 지켰어요. 논문 제목도 'LoRA는 덜 배우고 덜 잊는다'예요. 무엇을 더 중요하게 볼지에 따라 고르면 돼요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
LoRA·Prefix/Prompt Tuning을 몇 줄로 연결해 소비자용 GPU 파인튜닝 대중화의 기반
가중치를 동결하고 저랭크 행렬만 학습해 GPT-3 175B 기준 학습 파라미터를 1만분의 1로, 추론 지연 증가 없음