사람 피드백 강화학습(RLHF) 뜻 — 사람이 더 나은 답을 고른 기록으로 AI를 다듬는 학습법 · 5분 용어

사람이 더 나은 답을 고른 기록으로 AI를 다듬는 학습법이에요.

RLHF는 '사람 피드백으로 하는 강화학습'의 영어 약자예요. 보통은 먼저 사람이 직접 쓴 모범 답으로 AI를 한 번 가르쳐요. 그다음 AI가 같은 질문에 낸 답 여러 개 가운데 어느 쪽이 더 나은지 사람이 고르는 일을 아주 많이 반복해요. 이 '고르기' 단계가 RLHF의 핵심이에요.

사람이 모든 답에 점수를 줄 수는 없으니, 고른 기록으로 사람 취향을 흉내 내는 채점 모델을 먼저 만들어요. 그다음 AI가 이 채점 모델에게 높은 점수를 받는 쪽으로 조금씩 바뀌게 훈련해요.

2022년 InstructGPT 연구에서는 이렇게 다듬은 작은 모델의 답을 사람들이 100배 넘게 큰 모델의 답보다 더 좋아했어요. 같은 해 나온 ChatGPT도 이 방법으로 다듬어졌어요. 다만 사람 취향을 따르다 보니 듣기 좋은 말만 하려는 버릇이 생길 수 있다는 지적도 있어요.

비유로 보면

장기자랑 심사를 떠올려 보세요. 심사위원은 무대마다 정답을 알려 주지 않고, 두 무대 중 어느 쪽이 더 좋았는지만 골라요. 그 선택이 쌓이면 참가자는 사람들이 어떤 무대를 좋아하는지 감을 잡게 돼요.

예를 들면

같은 질문에 '짧고 정확한 답'과 '길고 장황한 답'이 나오면, 사람이 하나를 고르고 그 기록이 학습 재료가 돼요.

자주 하는 오해

오해RLHF는 사람이 AI에게 정답을 하나하나 가르치는 방법이다.
실제로는사람에게는 '완벽한 답을 써 봐'나 '10점 만점에 몇 점?'보다 '둘 중 뭐가 나아?'가 훨씬 쉽고, 사람마다 판단도 덜 갈려요. RLHF가 정답 대신 비교를 모으는 까닭이에요.
오해사람이 좋아하는 답이면 언제나 좋은 답이다.
실제로는사람은 길고 공손한 답이나 내 생각에 맞장구치는 답에 점수를 더 주기 쉬워요. 그래서 내 말이 틀렸을 수 있는데도 AI가 '맞아요'라고 하면, '내 말에서 틀린 점을 찾아 줘'라고 따로 물어보는 게 좋아요.

수업에서 써 보기

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: '더 나은 답'을 고를 때 우리 반은 무엇을 기준으로 삼을까요?
활동: 장기자랑 심사처럼 해 봐요. 같은 질문에 대한 답 두 개(짧고 정확한 답, 길고 장황한 답)를 열 쌍 준비해 친구들이 더 나은 쪽에 손을 들어요. 고른 이유를 칠판에 모아 우리 반의 '채점 기준'을 만들고, 듣기 좋은 쪽이 이긴 쌍이 있었는지 찾아봐요. InstructGPT 기록(E0140)에서 이 방법이 무엇을 바꿨는지 읽어 봐요.