모델 아키텍처·학습 기법Keller Jordan
Muon 옵티마이저 공개
Muon 옵티마이저 공개
왜 중요한가
Newton-Schulz 직교화로 AdamW 대비 학습 속도 기록을 경신
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
공식 발표kellerjordan.github.iohttps://kellerjordan.github.io/posts/muon/2026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각12.05ChatGPT Pro 월 200달러 및 o1 정식판·o1 pro mode공식 발표12.05FDPR 확대와 HBM 통제 신설, Entity List 140곳 추가정부 기록12.02DeMo 논문과 코드 공개, DisTrO로 15B 모델 학습 완료공식 발표