사전학습 뜻 — 엄청난 양의 자료로 모델이 두루두루 배우는 첫 번째 큰 학습 단계 · 5분 용어

엄청난 양의 자료로 모델이 두루두루 배우는 첫 번째 큰 학습 단계예요.

사전학습은 AI 모델을 만드는 첫 단계예요. 인터넷 글, 책, 코드 같은 엄청난 양의 자료를 보여 주면서 다음 토큰을 맞히게 해요. 정답 이름표를 따로 붙이지 않아도, 글 자체가 문제이자 답이 돼요.

이 과정에서 모델은 문법, 상식, 여러 분야의 지식을 폭넓게 익혀요. 대신 그래픽카드 수천 장으로 몇 주에서 몇 달이 걸릴 만큼 비싸요. 결과물인 기본 모델은 글은 잘 이어 쓰지만 질문에 친절히 답하는 데는 서툴러서, 이어서 파인튜닝으로 다듬어요. '사전'은 이 다듬기 '전에' 하는 학습이라는 뜻이에요.

비유로 보면

운동선수가 한 종목 기술을 익히기 전에 몇 년 동안 체력과 기본기를 쌓는 것과 비슷해요. 기본기가 탄탄하면 어떤 종목이든 빨리 배워요. 사전학습이 그 기본기 훈련이에요.

예를 들면

'옛날 옛적에'를 주면 이야기를 술술 이어 쓰지만 '숙제 도와줘'에는 엉뚱하게 반응할 수 있는 게, 사전학습만 마친 기본 모델이에요.

자주 하는 오해

오해사전학습을 마친 모델은 바로 친절한 대화 상대가 된다.
실제로는기본 모델에 질문을 하나 넣으면, 답 대신 비슷한 질문을 줄줄이 이어 쓰기도 해요. 인터넷의 문제지나 게시판 글을 흉내 내 이어 갈 뿐, '나는 도와주는 역할'이라는 생각은 아직 없기 때문이에요.
오해사전학습에는 사람이 정답 이름표를 하나하나 붙여 줘야 한다.
실제로는사람이 공을 들이는 건 이름표가 아니라 자료 고르기예요. 같은 글이 여러 번 든 것, 광고, 개인 정보를 걸러 내는 '청소'가 모델 품질을 크게 좌우해요.

수업에서 써 보기

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: 자료가 바닥나면 사전학습은 어떻게 될까요?
활동: 2024년 기록(E0476)을 함께 읽고, '데이터를 AI의 화석연료에 비유했다'는 말이 무슨 뜻인지 모둠마다 한 문장으로 풀어 써요. 그다음 운동선수의 기본기 훈련 비유를 빌려, 기본기 훈련(사전학습)과 종목 연습(파인튜닝)에 드는 시간과 비용을 비교하는 표를 만들어 봐요.