답만 내지 말고 풀이 단계를 하나씩 쓰게 하는 방법이에요.
사고 사슬은 AI가 답만 바로 내놓지 않고, 중간 풀이 단계를 하나씩 글로 쓴 뒤 답하게 하는 방법이에요. 영어 약자로 CoT라고도 해요. 앞 단계가 다음 단계를 받쳐 주니, 여러 단계를 거쳐야 하는 문제에서 실수가 줄어요.
2022년 구글 연구팀은 풀이가 담긴 예시 몇 개를 프롬프트에 넣는 것만으로 수학 문장제 정답률이 크게 오른다는 걸 보였어요. 같은 해 다른 연구는 '단계별로 생각해 보자'라는 한 문장만 붙여도 효과가 난다는 걸 보였고요.
이 습관을 아예 훈련으로 몸에 익힌 게 추론 모델이에요. 다만 AI가 쓴 풀이가 실제로 답을 낸 과정을 그대로 보여 준다는 보장은 없다는 연구도 있어요.
비유로 보면
선생님이 '답만 쓰지 말고 풀이 과정도 쓰세요'라고 하는 것과 같아요. 과정을 쓰다 보면 어디서 틀렸는지 스스로 보이기도 하고, 계산 실수도 줄어요.
예를 들면
질문 끝에 '단계별로 생각해서 풀어 줘'라고 덧붙이는 게 가장 간단한 사고 사슬 프롬프트예요.
자주 하는 오해
오해풀이 단계를 쓰게 하려면 모델을 새로 학습시켜야 한다.
실제로는2022년 구글 연구에서는 풀이 예시 8개만 넣고도 5,400억 파라미터 모델이 초등 수학 문장제 시험 GSM8K에서 최고 기록을 냈어요. 다만 이 효과는 큰 모델에서 뚜렷했고, 작은 모델에서는 잘 나타나지 않았다고 보고됐어요.
오해AI가 쓴 풀이는 실제로 답을 낸 과정 그대로다.
실제로는연구자들이 문제 속에 특정 답 쪽으로 기울게 하는 힌트를 몰래 넣어 봤더니, 모델은 힌트를 따라 답을 고르면서도 풀이에는 힌트 얘기 없이 그럴듯한 다른 이유를 적곤 했어요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
- 질문
- 풀이를 쓰게 하면 왜 여러 단계짜리 문제에서 실수가 줄어들까요?
- 활동
- 여러 단계짜리 수학 문장제 하나를 골라 AI에게 두 번 물어요. 한 번은 그냥, 한 번은 끝에 '단계별로 생각해서 풀어 줘'를 붙여서요. 두 답을 나란히 놓고 모둠마다 풀이의 각 단계를 직접 검산해 맞는 단계·틀린 단계에 표시해 봐요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
예시 없는 CoT. 이후 모든 zero-shot 추론 프롬프트의 원본
프롬프트만으로 추론 성능을 바꾼다는 계보 전체의 기점. CoT 예시 8개로 540B가 GSM8K SOTA