RAG·파인튜닝·컨텍스트Michael Günther 외 (Jina AI)
Late Chunking 발표
Late Chunking 발표 — 문서 전체를 롱컨텍스트 임베딩 모델에 통과시킨 뒤 토큰 임베딩을 청크 단위로 풀링
왜 중요한가
청킹으로 문맥이 끊기는 문제를 임베딩 순서 변경으로 해결
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2409.047012026년 8월 24일에 더한 조각 · 그 주 보기