AI 인프라 소프트웨어Tri Dao, Daniel Y. Fu 외 (스탠퍼드)
FlashAttention 발표
FlashAttention 발표 — IO 인지 타일링으로 정확한 어텐션을 유지한 채 GPT-2 3배 가속. Path-X(16K)에서 트랜스포머 최초로 무작위 초과
왜 중요한가
롱컨텍스트 경로의 실질적 개통
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2205.141352026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각05.27Diffusion-LM 발표논문05.26Matryoshka Representation Learning 발표논문05.24Large Language Models are Zero-Shot Reasoners 발표논문05.24Maieutic Prompting 발표논문