모델 아키텍처·학습 기법Intern-NCP Team
다음 토큰 예측(NTP)에 더해 여러 토큰에 걸친 이산 '개념'을 예측하는 Next Concept Predi…
AIAI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법
다음 토큰 예측(NTP)에 더해 여러 토큰에 걸친 이산 '개념'을 예측하는 Next Concept Prediction(NCP) 목적함수를 도입한 잠재공간 언어모델 NCP-ArchPreview를 제시함. 은닉 상태에서 곱 양자화 개념 어휘를 만들어 잠재공간을 구성하고 전용 Concept Module이 미래 개념을 예측한 뒤 이를 토큰 수준으로 되먹여 생성을 유도하며 NTP와 NCP를 end-to-end 공동 학습함. 8.9B 파라미터·Dolma-3 5.73T 토큰 규모로 잠재공간 언어모델 중 최대이며, 저자 주장으로 전체 학습 토큰의 51.3%만 쓴 시점에 OLMo-3-7B의 최종 사전학습 손실에 도달하고 최종 다운스트림 매크로 평균에서 2.45점(GSM8K 5.99점) 앞섰다고 밝힘. 17M 파라미터 VQ 모듈만 갱신하는 경량 도메인 적응과 DFlash2 드래프터에 개념 표현을 주입해 평균 수용 길이를 4.17% 개선하는 활용도 보고함.
왜 중요한가
토큰 단위 자기회귀라는 LLM의 기본 학습 목표를 개념 단위 잠재 예측으로 확장한 사례로, 아키텍처 층위의 사전학습 효율 개선 경로를 제시한다.
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
논문arxiv.orghttps://arxiv.org/abs/2609.107152026년 38주차에 더한 기록이에요 · 그 주 보기
노선도에서 — ⑪ 모델 아키텍처 노선
- 앞 역Mistral Small 4
- 이 기록 · 역다음 토큰 예측(NTP)에 더해 여러 토큰에 걸친 이산 '개념'을 예측하는 Next Concept Predi…
- 다음 역아직 다음 역이 없어요