한국어EN
학습 데이터·후속학습Hugging Face

FineWeb 논문 및 FineWeb-Edu 1.3조 토큰

FineWeb 논문 및 FineWeb-Edu 1.3조 토큰

왜 중요한가

LLM 분류기로 교육적 가치를 점수화한 부분집합이 원본보다 나은 모델을 만들어 model-based filtering을 표준화

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/2406.175572026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각06.27ColPali 발표논문06.27Gemini 1.5 Pro 200만 토큰 컨텍스트를 전체 개발자에게 개방공식 발표06.24Mooncake논문
같은 축의 가까운 조각06.17Nemotron-4 340B논문06.12Magpie논문06.06Will we run out of data?공식 발표07.24AI models collapse when trained on recursively generated data논문
MooncakeColPali 발표