모델 안 여러 '전문가' 가운데 몇 개만 골라 계산하는 구조예요.
전문가 혼합, 줄여서 MoE는 모델 안에 '전문가'라고 부르는 작은 신경망 묶음을 여러 개 넣어 두고, 토큰 하나를 처리할 때 그중 몇 개만 골라 쓰는 구조예요.
토큰이 들어오면 '라우터'라는 작은 신경망이 어느 전문가에게 보낼지 정해요. 그래서 전체 파라미터는 아주 많아도 한 번에 하는 계산은 일부뿐이에요. 전체 숫자가 실제로 쓰는 숫자를 크게 넘는 이 구조는 2017년 구글 브레인 연구진이 처음 실제로 보여 줬어요.
2023년 12월 미스트랄의 Mixtral 8x7B는 파라미터가 모두 467억 개지만 토큰마다 약 129억 개만 써서, 129억짜리 모델과 비슷한 속도로 답했어요. 다만 어느 전문가가 불릴지 미리 모르니 467억 개를 모두 메모리에 올려 둬야 해요.
비유로 보면
분식집 주방에 요리사가 여덟 명 있어도, 주문이 들어올 때마다 다 같이 달려들지 않고 주방장이 두 명만 불러 맡겨요. 그러면 손님이 몰려도 빨리 돌아가죠. 다만 누가 불릴지 모르니 여덟 명 모두 주방에 있어야 해요.
예를 들면
Qwen3-Coder-480B-A35B처럼 이름에 'A35B'가 붙은 모델은 전체 4,800억 개 파라미터 가운데 토큰마다 약 350억 개(A는 active, 곧 활성)만 쓰는 MoE 모델이에요.
자주 하는 오해
오해MoE의 전문가들은 수학, 역사처럼 과목을 하나씩 맡는다.
실제로는Mixtral 연구진이 직접 살펴보니 논문·생물학·철학 글을 넣어도 전문가가 불리는 모습이 거의 비슷했고, 수학 문제 자료에서만 조금 달랐어요. 오히려 파이썬 코드의 'self'처럼 글의 짜임에 따라 같은 전문가가 자주 불렸어요. '전문가'는 과목 담당보다 계산을 나눠 맡는 칸에 가까워요.
오해MoE는 따로 만든 AI 여러 개를 이어 붙인 것이다.
실제로는Mixtral은 층마다 전문가 8개를 두고, 층마다 토큰 하나에 2개씩 새로 골라요. 그래서 한 토큰도 층을 지날 때마다 다른 전문가를 거칠 수 있어요. 전문가와 라우터는 한 모델 안에서 동시에 함께 학습해요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
조건부 연산으로 총 파라미터가 활성 파라미터를 크게 넘는 구조를 최초 실증, 모든 MoE의 조상