모델 아키텍처·학습 기법

'순환 상태의 오차는 긴 문맥에서 누적된다'는 통념을 뒤집어 하이브리드 LLM의 순환 절반이 오히려 양자화하기 쉬운 쪽이라고 주장하고, NVFP4의 16원소 블록 스케일링이 잔차 스트림의 극단 이상치를 국소화하는 점과 델타 규칙 순환이 주입된 잡음을 32K 토큰에 걸쳐 평탄하게 유지하는 점 등 네 갈래 기계적 설명을 제시. 수치는 저자 자체 보고.

중요도 점수 기반 KV 축출 계보 전체에 대해 '점수 자체가 필요 없다'는 반증을 제기. 취약한 부분은 프롬프트뿐이며 추론 시퀀스는 텍스트 재진술과 여러 어텐션 헤드에 걸친 복제라는 이중 중복성으로 스스로를 지탱하므로 프롬프트만 지키면 무작위 선택으로 충분하다는 것이 저자들의 설명. 수치는 저자 자체 보고.

깊이 재사용(루프)이 예산을 엄격히 맞춘 뒤에도 이득이 남는지를 스케일링 법칙 수준에서 판정한 연구. 저자 자체 보고로 계산 최적 프런티어에서 학습 FLOPs 6.8~18.0% 절감, 이득은 코드에서 가장 크고 샘플 길이와 인컨텍스트 예시 수가 늘수록 커지며, 두 번째 방문이 어텐션 싱크를 줄이고 주의 질량을 내용 관련 토큰으로 재배분한다는 기계적 분석을 제시.

프런티어 오픈웨이트 모델의 아키텍처 선택 근거를 절제 실험 단위로 공개한 사례. 저자 자체 보고로 손실과 다운스트림 정확도가 늘 같이 움직이지는 않으며, 이 아키텍처와 Muon 옵티마이저의 조합이 최적 학습률과 배치 크기를 위로 밀어 배치 크기 워밍업을 불필요하게 만들고 스트레스 테스트에서 안정성을 크게 개선.

인간 뇌는 약 20와트로 작동하지만 AI 슈퍼컴퓨터는 2000만 와트를 쓴다는 대비에서 출발해, 그 격차의 근원을 1945년식 폰노이만 구조의 처리장치·메모리 분리로 짚는다. 딥러닝 워크로드 에너지의 80% 이상이 연산이 아니라 데이터 이동에 소모된다

이차 스케일링 해법으로 각광받던 선형 어텐션 개조 갈래에 대해 '후속학습이 필요 없는 슬라이딩 윈도로 충분하다'는 기준선을 세운 반증 논문 — 선형 어텐션 모델은 처음부터 학습하거나 광범위한 후속학습을 거쳐야 겨우 SWA를 따라잡을 것이라고 저자들이 결론. 수치는 저자 자체 보고.

DeltaNet·Mamba 계열의 상태 갱신 규칙을 '무엇을 언제 연관시키는가'라는 시간 정렬 문제로 재정식화해, 시간 정렬·가소성·망각·유계 리허설을 분리 가능한 설계 축으로 만든 프레임워크. 저자 자체 보고로 대표 변형이 언어모델링에서 경쟁력을 유지하고 가변 자릿수 덧셈에서 길이 외삽을 개선.

검색 시점에 그래프를 조회하는 GraphRAG 계보와 달리 그래프를 모델 가중치로 미리 컴파일해 두는 파라메트릭 지식그래프 갈래를 열면서, 동시에 그 갈래의 병목이 저장이 아니라 어댑터 선택(라우팅)임을 못박았다 — 의미 유사도를 넘어서는 어댑터 선택 기제를 찾는 것이 남은 과제라고 저자들이 결론. 수치는 저자 자체 보고.

N과 D의 독립 가정을 깨 예측 오차를 1.5~3배 줄이고 약 10배 적은 컴퓨트로 외삽

원본 토큰 예산의 10% 미만으로 확산 모델을 얻는 경로를 제시, H100 1장에서 약 1,500 tok/s

LLM 랩이 산업 시뮬레이션 대체 영역으로 확장. 발표 시점에 명명된 출시 모델은 없음

V3.2 대비 토큰당 FLOPs 27%·KV 캐시 10%로 1M 컨텍스트를 상시 지원 대상으로 만듦

별도 모델 계열을 단일 가중치로 통합하는 흐름을 오픈웨이트에서 구현

옵티마이저를 연상 기억 모듈로 재기술하고 자기 갱신 알고리즘을 학습하는 시퀀스 모델 제안

롱컨텍스트 한계를 검색이 아니라 아키텍처로 우회하려는 노선

7월 릴리스의 후속 문서. 온디바이스 계열이 기술보고서 수준의 공개 문서를 갖춘 사례다

공정 비교에서 full attention을 처음 능가, KV 캐시 최대 75% 절감과 1M 컨텍스트 디코딩 최대 6배

추론/비추론 모델을 단일 가중치로 통합한 초기 사례. 이후 업계 표준이 되는 방향

Muon이 1T 스케일에서 검증됨

속도 최적화 프런티어 모델 대비 최대 10배 주장. 확산 LM의 첫 상용 궤도 진입

국내 랩의 효율화 전환점

희소성을 추론 단계가 아니라 사전학습 단계로 이동

자기회귀가 LLM 능력의 필요조건인지 자체를 재질문

저정밀 사전학습을 프론티어 스케일에 안착

엔트로피 기반 동적 패치로 고정 어휘 없이 바이트를 직접 처리, 토크나이저 제거 노선의 최초 대규모 스케일링

Newton-Schulz 직교화로 AdamW 대비 학습 속도 기록을 경신

두 법칙의 충돌이 비임베딩 파라미터 카운팅과 소규모 분석에서 비롯됨을 규명

KV를 저차원 latent로 압축하는 MQA·GQA와 다른 제3의 노선

사전학습 없이 기존 오픈웨이트를 조합해 비영어 능력을 얻는 경로 제시 — 컴퓨트 열위 국가의 전략 원형

추론 비용을 목적함수에 포함해 오늘날 overtraining 규범의 이론적 근거를 제공

선형 시간 시퀀스 모델링으로 Transformer 이후를 진지한 선택지로 만듦

초기 토큰이 어텐션 배수구 역할을 한다는 발견, 2년 뒤 gpt-oss가 학습 가능 sink로 채택

Position Interpolation과 NTK-aware 보간을 통합한 컨텍스트 확장의 사실상 표준 레시피

RNN을 Transformer급으로 학습 가능하게 재구성, 선형 복잡도 부활의 신호탄

MHA와 MQA의 절충으로 기존 체크포인트 업트레이닝이 가능해 업계 표준 KV 절약 기법이 됨

창발이 불연속 메트릭의 산물이라는 반박, 연속 메트릭에서는 매끄러운 곡선

토크나이저와 모델 학습 코퍼스의 불일치가 실제 실패 모드임을 대중화

task vector의 덧셈·뺄셈으로 능력을 주입·제거해 머징을 연산 가능한 대상으로

규모 임계점에서 능력이 창발한다는 주장으로 스케일링 담론의 핵심 서사가 됨

확산 언어모델 계보의 출발점

당시 대형 모델들이 undertrained였음을 폭로, 70B가 280B Gopher를 상회

파인튜닝된 여러 모델의 가중치 평균만으로 성능이 오름을 실증, 모델 머징의 출발점

소형 모델에서 튜닝한 하이퍼파라미터를 대형으로 zero-shot 전이해 한 번에 성공 관행을 가능케 함

위치 임베딩 없이 선형 편향만으로 외삽, RoPE와 양대 노선

회전 위치 임베딩이 이후 모든 컨텍스트 확장 기법의 토대가 됨

MoE를 단순화하고 라우팅 불안정·로드밸런싱 손실의 표준 레퍼런스가 됨

MoE를 600B 규모 시스템으로 끌어올리고 expert parallelism과 자동 샤딩을 확립

K/V head를 1개로 줄여 KV 캐시를 디코딩 병목으로 재정의

조건부 연산으로 총 파라미터가 활성 파라미터를 크게 넘는 구조를 최초 실증, 모든 MoE의 조상