역전파 뜻 — 틀린 정도를 출력에서 입력 쪽으로 거꾸로 전해 가중치를 고치는 방법 · 5분 용어

틀린 정도를 출력에서 입력 쪽으로 거꾸로 전해 가중치를 고치는 방법이에요.

역전파는 여러 층으로 된 신경망을 학습시키는 핵심 방법이에요. 신경망이 답을 내면 먼저 정답과의 차이(오차)를 재요. 그다음 이 오차를 마지막 층부터 첫 층 쪽으로 거꾸로 전하면서, 가중치마다 오차에 얼마나 책임이 있는지 계산해 그만큼 고쳐요.

층이 하나뿐일 땐 어느 숫자를 고칠지 쉬웠지만, 층이 많으면 가운데 숫자들의 책임을 따지기 어려웠어요. 역전파는 미분의 연쇄 법칙으로 이 문제를 풀어요. 1970년대에 먼저 나온 연구가 있었고, 1986년 러멜하트·힌턴·윌리엄스의 논문이 널리 알렸어요. 지금의 대형 언어 모델도 이 방법으로 학습해요.

비유로 보면

모둠 과제 점수가 낮게 나왔을 때, 발표부터 거꾸로 짚어 가며 '어느 단계에서 얼마나 틀렸나'를 따져 보는 것과 비슷해요. 책임이 큰 부분은 많이, 작은 부분은 조금 고치는 거예요.

예를 들면

AI가 고양이 사진을 '개'라고 하면, 역전파가 그 실수에 영향을 준 숫자 수백만 개를 한꺼번에 조금씩 고쳐요.

자주 하는 오해

오해역전파는 신경망의 계산을 처음부터 다시 하는 방법이다.
실제로는숫자를 하나씩 살짝 바꿔 보고 매번 다시 계산했다면 수십억 번을 새로 돌려야 했을 거예요. 역전파는 거꾸로 한 번 훑는 것만으로 모든 숫자를 고칠 방향을 한꺼번에 구해서, 그 수고를 앞으로 한 번 계산하는 것의 몇 배 정도로 줄여요.
오해역전파는 1986년에 처음 나온 생각이다.
실제로는1974년 폴 워보스는 하버드 박사 학위 논문에서 여러 층 신경망을 오차 역전파로 학습시키는 방법을 이미 적었어요. 이 논문은 '누가 먼저냐'를 따질 때 기준점으로 꼽혀요.

수업에서 써 보기

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: 결과가 틀렸을 때, 어느 단계에 얼마나 책임이 있는지 어떻게 나눌까요?
활동: 네 단계로 만드는 '종이비행기 공장'을 꾸려 봐요(접기 → 날개 다듬기 → 꼬리 접기 → 던지기). 목표 거리에서 얼마나 모자랐는지 잰 뒤, 던진 사람부터 거꾸로 짚어 가며 각 단계가 모자란 거리에 얼마나 책임이 있는지 모둠이 합의해 점수를 나눠요. 책임이 큰 단계만 많이 고쳐 다시 날려 보고, 거리가 어떻게 바뀌는지 기록해요.