AI가 다음 토큰을 얼마나 모험적으로 고를지 정하는 손잡이예요.
AI는 다음 토큰 후보마다 확률을 매긴 뒤 제비뽑기하듯 하나를 골라요. 온도는 이 확률표를 얼마나 평평하게 만들지 정하는 숫자예요. 온도를 낮추면 1등 후보가 거의 늘 뽑히고, 올리면 아래쪽 후보도 자주 뽑혀요.
그래서 온도가 낮으면 답이 무난하고 비슷비슷해지고, 높으면 다양해지는 대신 엉뚱한 말도 늘어요. 번역이나 요약에는 낮게, 아이디어 모으기에는 높게 쓰는 경우가 많아요. 온도는 AI를 더 똑똑하게 만드는 게 아니라 얼마나 모험할지만 바꿔요.
온도를 0으로 맞추면 답이 늘 똑같을 것 같지만, 꼭 그렇지는 않아요. 큰 모델은 온도가 0이어도 같은 질문에 다른 답을 낼 수 있다는 실험 결과도 있어요.
비유로 보면
음악 앱을 생각해 보세요. 온도가 낮으면 제일 좋아하는 노래만 반복 재생하고, 높으면 셔플을 켜서 잘 안 듣던 곡까지 섞어 틀어 줘요. 새 노래를 발견할 수도 있지만, 넘기고 싶은 곡이 나올 확률도 같이 올라가요.
예를 들면
'오늘 급식 어땠어?'에 온도가 낮으면 '맛있었어'만 나오고, 높으면 '짰지만 괜찮았어' 같은 답도 섞여 나와요.
자주 하는 오해
오해온도를 올리면 AI가 더 똑똑해진다.
실제로는이 이름은 물리에서 빌려 왔어요. 뜨거울수록 알갱이가 제멋대로 움직이듯 숫자를 올리면 뽑기가 더 들쭉날쭉해질 뿐, 모델이 아는 내용은 하나도 늘지 않아요.
오해온도를 0으로 맞추면 언제나 똑같은 답이 나온다.
실제로는2026년 IBM 연구자의 실험에서 온도 0으로 4,705번 돌려 봤더니, 같은 결정을 매번 되풀이하지 못하는 모델이 여럿 있었어요. 정확도가 높은 모델이라고 답이 더 한결같지도 않았어요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
- 질문
- 번역, 요약, 아이디어 모으기 가운데 온도를 높게 두면 좋은 일은 무엇일까요?
- 활동
- 제비뽑기로 온도를 흉내 내 봐요. '오늘 급식 어땠어?'의 답 후보 네 개를 쪽지에 적되, '낮은 온도' 상자에는 1등 답 쪽지를 일곱 장, 나머지를 한 장씩 넣고, '높은 온도' 상자에는 네 답을 똑같이 두 장씩 넣어요. 상자마다 열 번씩 뽑아 결과를 적고 무엇이 달라지는지 비교해 봐요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
도메인은 금융이지만 감사 재현 요구는 품질 감사와 동일 구조. 정확도 높은 모델을 고르면 재현성이 따라온다는 통념과 달리, 4,705회 실행에서 둘 사이 상관이 드러나지 않음