2014년 9개 조각

이후 사실상 표준이 되는 옵티마이저. 학습 레시피의 기본값을 바꿈

어텐션 기반 주소지정으로 메모리를 다루는 발상. 메모리 증강 계보의 출발

프레임워크가 커널을 직접 짜지 않아도 되게 만든 첫 계층

시퀀스를 시퀀스로 사상하는 인코더-디코더를 정식화. 오늘의 생성 모델 인터페이스의 조상

작은 3x3 합성곱을 깊게 쌓는 설계를 표준화

고정 길이 벡터 병목을 어텐션으로 푼 논문. Transformer 셀프어텐션의 직접 선행

생성자와 판별자의 경쟁을 학습 신호로 삼는 구조를 제시해 생성모델의 한 축을 염

인코더-디코더 구조와 GRU를 기계번역에 도입해 어텐션 연구의 토대가 됨

이후 DQN·AlphaGo를 낳는 조직 기반이 마련됨