가중치가 바뀌지 않는 LLM은 마음이 아니라는 서튼의 진단

Rich Sutton과 제자 Khurram Javed의 요지는 현재 AI가 가는 길이 근본적으로 틀렸다는 것이다. Bitter Lesson의 핵심은 인간 지식에 매달리지 말고 탐색과 학습처럼 계산과 함께 확장되는 방법에 집중하라는 것인데, LLM은 인터넷 전체를 흡수해 계산을 확장한 긍정적 예이자 유한한 인간 지식에 의존해 한계에 부딪히는 부정적 예다. 합성 데이터는 좋은 데이터를 결국 사람이 정하므로 인간 지식의 한계에 갇힌 실수이며, 세계는 어떤 에이전트보다 압도적으로 복잡하다는 대세계 가설상 경험에서 계속 배우는 시스템만이 답이라는 입장이다. 진짜 문제는 배포 후 가중치가 전혀 바뀌지 않는다는 점이고, 파국적 망각은 가중치별 스텝사이즈 메타러닝과 새 유닛을 계속 심는 지속 역전파로 치료 가능하다고 보며, Oak Lab은 5~10년 내 1조 파라미터·20와트 모델을 목표로 한다. 언어 능력은 지능의 4분의 1 정도라는 평가와 대형 랩이 국소 최적에 갇혀 있다는 진단은 2차 요약이라 원 인터뷰와 대조가 필요하다.

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 사실 확인이 된 사건은 기록에 따로 있어요.