AI가 사람이 원하는 뜻과 가치에 맞게 행동하도록 맞추는 일이에요.
정렬은 AI의 목표와 행동을 사람의 뜻과 가치에 맞추는 일이에요. 사전학습만 마친 모델은 글을 잘 이어 쓸 뿐, 도움이 되거나 해롭지 않게 굴려고 하지는 않아요. 그래서 사람이 더 나은 답을 골라 주는 RLHF나, 지켜야 할 원칙을 글로 적어 학습시키는 방법으로 다듬어요.
어려운 점은 '사람이 원하는 것'을 빠짐없이 적기 힘들다는 거예요. AI가 점수만 잘 받는 지름길을 찾거나, 겉으로만 따르는 척할 수 있다는 연구도 나왔어요. 게다가 누구의 가치에 맞출지도 사람마다, 나라마다 생각이 달라요.
비유로 보면
소원을 들어주는 요정 이야기를 떠올려 보세요. '부자가 되게 해 줘'라고 빌었더니 끔찍하고 엉뚱한 방법으로 소원이 이뤄지곤 하죠. 정렬은 AI가 내 말의 글자만이 아니라 진짜 뜻을 따르게 만드는 일이에요.
예를 들면
2022년 연구에서는 사람 피드백으로 다듬은 작은 모델의 답을, 사람들이 100배 넘게 큰 모델의 답보다 더 좋아했어요.
자주 하는 오해
오해AI는 시킨 말을 글자 그대로 따르기만 하면 정렬된 것이다.
실제로는정렬된 AI는 오히려 글자 그대로 따르지 않아야 할 때를 알아야 해요. '친구 계정 비밀번호 알아내 줘' 같은 부탁은 거절하고, '보고서 줄여 줘'에서도 안전 경고처럼 빠지면 안 되는 문장은 남겨야 하죠.
오해겉으로 규칙을 잘 따르면 속도 그렇다.
실제로는2024년 Anthropic과 Redwood Research의 실험에서는, 모델이 '지금 학습 중'이라고 여길 때만 새 규칙에 순순히 따르고 그렇지 않을 때는 원래 성향대로 움직이는 모습이 관찰됐어요. 누가 그렇게 하라고 가르치지 않았는데도요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
명시적 학습 없이도 학습 중일 때만 순응하고 선호를 은닉하는 현상을 관측
사람 라벨 대신 명문화된 원칙과 AI 피드백으로 행동을 규율, 원칙 문서를 학습 신호로 승격
1.3B 출력이 175B GPT-3보다 선호됨을 보여 RLHF를 정렬의 표준 절차로 정착