한국어EN
축 ⓪

전사 — 신경망에서 Transformer까지

기록 66 · 정리 노트 0 · 관련 축으로 붙은 사건도 함께 보여요.


Jonas Gehring 외 (Facebook AI
Convolutional Sequence to Sequence Learning(ConvS2S) arXiv 공개
합성곱만으로 번역을 수행해 Transformer 직전의 탈-순환 경쟁 구도를 보여줌
전사 — 신경망에서 Transformer까지논문

Norman P. Jouppi 외 (Google)
In-Datacenter Performance Analysis of a Tensor Processing Un…
1세대 TPU의 설계와 실측을 공개해 전용 가속기 논의의 기준 문헌이 됨
전사 — 신경망에서 Transformer까지논문

Jun-Yan Zhu 외 (UC 버클리)
CycleGAN arXiv 공개
쌍 데이터 없이 학습하는 설계로 생성모델의 데이터 요건을 낮춤
전사 — 신경망에서 Transformer까지논문

Chelsea Finn·Pieter Abbeel·S
Model-Agnostic Meta-Learning(MAML) arXiv 공개
구조에 무관한 메타러닝을 제시해 few-shot 적응 연구를 열음
전사 — 신경망에서 Transformer까지논문

Martin Arjovsky·Soumith Chin
Wasserstein GAN arXiv 공개
GAN 학습 불안정을 거리 함수 문제로 재정의
전사 — 신경망에서 Transformer까지논문

Barret Zoph·Quoc V. Le (Goog
Neural Architecture Search with Reinforcement Learning arXiv 공개
구조 설계 자체를 탐색 문제로 바꾼 논문
전사 — 신경망에서 Transformer까지논문

Nal Kalchbrenner 외 (DeepMind
Neural Machine Translation in Linear Time(ByteNet) arXiv 공개
순환 없이 확장 합성곱으로 시퀀스를 처리한 대안. 탈-순환 경쟁의 한 갈래
전사 — 신경망에서 Transformer까지논문

Google
GNMT를 중국어→영어 번역 실서비스에 100% 적용했다고 발표
신경망 번역이 연구에서 상용 서비스로 넘어간 지점
전사 — 신경망에서 Transformer까지공식 발표

Yonghui Wu 외 (Google)
Google's Neural Machine Translation System(GNMT) arXiv 공개
어텐션 seq2seq를 상용 규모로 구현한 시스템 기술서
전사 — 신경망에서 Transformer까지논문

Google DeepMind
WaveNet 발표
자기회귀 생성이 오디오까지 확장됨을 보임. 이후 TTS·오디오 생성의 기반
전사 — 신경망에서 Transformer까지공식 발표

Facebook AI Research (Soumit
PyTorch 최초 공개
명령형 실행 방식으로 연구 커뮤니티의 프레임워크 판도를 바꾸기 시작
전사 — 신경망에서 Transformer까지보도

Jimmy Lei Ba·Jamie Ryan Kiro
Layer Normalization arXiv 공개
배치에 의존하지 않는 정규화. Transformer가 채택하며 사실상 기본 부품이 됨
전사 — 신경망에서 Transformer까지논문

Google
TPU(Tensor Processing Unit) 최초 공개
범용 GPU가 아닌 신경망 전용 실리콘 노선의 시작
전사 — 신경망에서 Transformer까지공식 발표

Google DeepMind·이세돌
서울 5번기 종료(3월 9~15일)
AI 능력에 대한 대중 인식을 바꾼 사건. 이후 투자·정책 논의의 배경이 됨
전사 — 신경망에서 Transformer까지공식 발표

Google DeepMind
Mastering the game of Go with deep neural networks and tree…
정책·가치망과 몬테카를로 트리 탐색의 결합을 공개. 탐색과 학습의 결합 계보
전사 — 신경망에서 Transformer까지논문

OpenAI
비영리 연구기관 OpenAI 설립 발표, 10억 달러 기금 서약
이후 GPT 계열과 상업화 전환의 출발점이 되는 조직의 출범
전사 — 신경망에서 Transformer까지공식 발표

Kaiming He 외 (Microsoft Rese
Deep Residual Learning for Image Recognition(ResNet) arXiv 공개
잔차연결로 초심층 학습을 가능하게 함. Transformer를 포함한 이후 대부분 구조의 기본 부품
전사 — 신경망에서 Transformer까지논문

Google
TensorFlow를 Apache 2.0으로 오픈소스 공개
내부 시스템을 공개해 프레임워크 경쟁을 열고 딥러닝 도구를 산업 표준화
전사 — 신경망에서 Transformer까지공식 발표

Olaf Ronneberger·Philipp Fis
U-Net arXiv 공개
의료영상용으로 제안됐으나 이후 확산모델 등 생성 분야의 기본 골격이 됨
전사 — 신경망에서 Transformer까지논문

Geoffrey Hinton·Oriol Vinyal
Distilling the Knowledge in a Neural Network arXiv 공개
큰 모델의 지식을 작은 모델로 옮기는 증류를 정식화. 오늘의 소형 모델 계보의 뿌리
전사 — 신경망에서 Transformer까지논문

Volodymyr Mnih 외 (Google Dee
Human-level control through deep reinforcement learning
심층강화학습이 동료심사를 거쳐 공식 성과로 인정된 지점
전사 — 신경망에서 Transformer까지논문

Sergey Ioffe·Christian Szege
Batch Normalization arXiv 공개
깊은 망의 학습을 안정화·가속해 대부분의 아키텍처에 표준 채택됨
전사 — 신경망에서 Transformer까지논문

Diederik P. Kingma·Jimmy Ba
Adam
이후 사실상 표준이 되는 옵티마이저. 학습 레시피의 기본값을 바꿈
전사 — 신경망에서 Transformer까지논문

Alex Graves·Greg Wayne·Ivo D
Neural Turing Machines arXiv 공개
어텐션 기반 주소지정으로 메모리를 다루는 발상. 메모리 증강 계보의 출발
전사 — 신경망에서 Transformer까지논문

Ilya Sutskever·Oriol Vinyals
Sequence to Sequence Learning with Neural Networks arXiv 공개
시퀀스를 시퀀스로 사상하는 인코더-디코더를 정식화. 오늘의 생성 모델 인터페이스의 조상
전사 — 신경망에서 Transformer까지논문

Karen Simonyan·Andrew Zisser
Very Deep Convolutional Networks for Large-Scale Image Recog…
작은 3x3 합성곱을 깊게 쌓는 설계를 표준화
전사 — 신경망에서 Transformer까지논문

Dzmitry Bahdanau·Kyunghyun C
Neural Machine Translation by Jointly Learning to Align and…
고정 길이 벡터 병목을 어텐션으로 푼 논문. Transformer 셀프어텐션의 직접 선행
전사 — 신경망에서 Transformer까지논문

Ian Goodfellow 외 (몬트리올대)
Generative Adversarial Networks arXiv 공개
생성자와 판별자의 경쟁을 학습 신호로 삼는 구조를 제시해 생성모델의 한 축을 염
전사 — 신경망에서 Transformer까지논문

Kyunghyun Cho 외 (몬트리올대)
Learning Phrase Representations using RNN Encoder-Decoder ar…
인코더-디코더 구조와 GRU를 기계번역에 도입해 어텐션 연구의 토대가 됨
전사 — 신경망에서 Transformer까지논문

Google
DeepMind 인수 확인
이후 DQN·AlphaGo를 낳는 조직 기반이 마련됨
전사 — 신경망에서 Transformer까지보도

Diederik P. Kingma·Max Welli
Auto-Encoding Variational Bayes arXiv 공개
확률적 생성모델을 역전파로 학습할 수 있게 만들어 생성모델 계보의 한 축이 됨
전사 — 신경망에서 Transformer까지논문

Volodymyr Mnih 외 (DeepMind)
Playing Atari with Deep Reinforcement Learning arXiv 공개
심층강화학습이 화면 입력만으로 동작함을 보인 초기 사례
전사 — 신경망에서 Transformer까지논문

Alex Krizhevsky·Ilya Sutskev
ImageNet Classification with Deep Convolutional Neural Netwo…
GPU·대규모 데이터·심층 CNN의 결합을 논문으로 정착시킴. 현 딥러닝 시대의 관례적 기점
전사 — 신경망에서 Transformer까지논문

SuperVision (Krizhevsky·Suts
ILSVRC 2012에서 top-5 오류율 15.3%로 우승, 결과는 ECCV 2012 워크숍에서 발표
2위와의 큰 격차로 심층 CNN이 컴퓨터비전의 주류 방법론이 된 전환점
전사 — 신경망에서 Transformer까지공식 발표

Geoffrey Hinton 외 (토론토대)
Improving neural networks by preventing co-adaptation of fea…
단순한 정규화로 과적합을 억제해 이후 표준 기법이 됨
전사 — 신경망에서 Transformer까지논문

Yoshua Bengio·Aaron Courvill
Representation Learning
표현학습을 하나의 문제틀로 정리해 이후 분야의 표준 참고문헌이 됨
전사 — 신경망에서 Transformer까지논문

Geoffrey Hinton·Li Deng·Dong
Deep Neural Networks for Acoustic Modeling in Speech Recognition
서로 다른 산업 그룹이 같은 전환(HMM→DNN)을 확인해 딥러닝이 음성인식 산업 표준이 됨
전사 — 신경망에서 Transformer까지공식 발표

Quoc V. Le·Jeff Dean·Andrew
Building high-level features using large scale unsupervised…
레이블 없는 대규모 데이터와 대규모 연산만으로 고차 개념이 잡힘을 보임. 구글의 딥러닝 투자 상징
전사 — 신경망에서 Transformer까지논문

Dan Ciresan 외 (IDSIA)
IJCNN 2011 GTSRB 교통표지판 인식 대회에서 다중열 심층 신경망이 99.46%로 인간 평균 98.…
특정 시각 인식 과제에서 신경망이 인간을 넘어선 공인 벤치마크 기록
전사 — 신경망에서 Transformer까지공식 발표

James Bergstra 외 (몬트리올대)
Theano 발표
프레임워크가 연구 속도를 결정한다는 구도의 시작. 이후 딥러닝 라이브러리 설계에 영향
전사 — 신경망에서 Transformer까지공식 발표

Vinod Nair·Geoffrey Hinton
Rectified Linear Units Improve Restricted Boltzmann Machines
이후 표준 활성함수가 되는 ReLU의 이점을 입증한 초기 논문
전사 — 신경망에서 Transformer까지공식 발표

ImageNet
제1회 ILSVRC 개최
대규모 이미지 분류를 매년 겨루는 표준 대회가 시작됨. 이후 딥러닝 돌파의 무대가 됨
전사 — 신경망에서 Transformer까지공식 발표

Xavier Glorot·Yoshua Bengio
Understanding the difficulty of training deep feedforward ne…
활성함수와 초기화가 학습 안정성을 좌우함을 규명. Glorot 초기화의 기원
전사 — 신경망에서 Transformer까지논문

Dan Ciresan 외 (IDSIA)
Deep Big Simple Neural Nets Excel on Handwritten Digit Recog…
비지도 사전학습 없이 GPU 가속만으로 최고 성능이 나옴을 보여 순수 지도학습 노선을 되살림
전사 — 신경망에서 Transformer까지논문

Rajat Raina·Anand Madhavan·A
Large-scale Deep Unsupervised Learning using Graphics Processors
GPU를 딥러닝 학습에 본격 적용한 초기 사례. 연산이 자원이라는 전제의 출발
전사 — 신경망에서 Transformer까지공식 발표

Jia Deng·Li Fei-Fei 외 (프린스턴대
ImageNet
WordNet 계층 기반 대규모 이미지 데이터셋을 공개해 데이터가 병목이라는 인식을 만듦
전사 — 신경망에서 Transformer까지공식 발표

Yoshua Bengio 외
Greedy Layer-Wise Training of Deep Networks
층별 비지도 사전학습이 학습 난제를 완화함을 실험으로 보임
전사 — 신경망에서 Transformer까지논문

Geoffrey Hinton·Simon Osinde
A Fast Learning Algorithm for Deep Belief Nets
깊은 망을 학습시킬 수 있다는 것을 다시 보여 2000년대 딥러닝 부활의 계기가 됨
전사 — 신경망에서 Transformer까지공식 발표

Yoshua Bengio 외
A Neural Probabilistic Language Model
단어를 밀집 벡터로 학습하는 신경 언어모형을 제시. word2vec 등 임베딩 계보의 직접 선행 연구
전사 — 신경망에서 Transformer까지공식 발표

Yann LeCun·Léon Bottou·Yoshu
Gradient-based learning applied to document recognition
합성곱·풀링·완전연결을 결합한 실용 CNN 구조를 정립하고 MNIST를 표준 시험대로 만듦
전사 — 신경망에서 Transformer까지보도

Sepp Hochreiter·Jürgen Schmi
Long Short-Term Memory 발표
게이트로 소실 그래디언트를 완화해 장기 시퀀스 학습을 가능하게 함. Transformer 이전 시퀀스 모델의 표준
전사 — 신경망에서 Transformer까지공식 발표

Yoshua Bengio·Patrice Simard
Learning long-term dependencies with gradient descent is dif…
순환신경망의 장기 의존성 학습 곤란을 이론·실험으로 확인해 후속 구조 개발의 동기가 됨
전사 — 신경망에서 Transformer까지보도

Sepp Hochreiter
뮌헨공대 학위논문에서 소실 그래디언트 문제 규명
깊이와 시퀀스 길이가 늘수록 학습 신호가 사라짐을 처음 규명. LSTM·잔차연결의 문제 정의
전사 — 신경망에서 Transformer까지보도

Yann LeCun 외 (AT&T Bell Labs
Backpropagation Applied to Handwritten Zip Code Recognition
가중치 공유와 역전파를 결합해 실제 업무 과제에 신경망을 적용한 초기 사례
전사 — 신경망에서 Transformer까지보도

Kurt Hornik·Maxwell Stinchco
Multilayer feedforward networks are universal approximators
Cybenko와 함께 다층 순방향 신경망의 근사 능력에 대한 토대를 확립
전사 — 신경망에서 Transformer까지보도

George Cybenko
Approximation by superpositions of a sigmoidal function
은닉층 하나로 임의의 연속함수를 근사할 수 있음을 증명해 표현력의 이론적 근거를 제공
전사 — 신경망에서 Transformer까지공식 발표

David Rumelhart·Geoffrey Hin
Learning representations by back-propagating errors
은닉층이 과제에 유용한 내부 표현을 스스로 학습함을 보여 다층 신경망 학습을 실용화
전사 — 신경망에서 Transformer까지논문

John J. Hopfield
Neural networks and physical systems with emergent collectiv…
신경망을 에너지 최소화 물리계로 해석해 연상기억·최적화로 연결, 연구 부활에 기여
전사 — 신경망에서 Transformer까지정부 기록

Kunihiko Fukushima
Neocognitron 발표
국소 수용장과 단순/복잡 세포 계층을 도입해 CNN 구조의 직접 선행 모델이 됨
전사 — 신경망에서 Transformer까지공식 발표

Paul Werbos
하버드 박사 학위논문에서 다층 신경망의 오차 역전파 학습을 기술
1986년 재발견 이전의 최초 서술로 평가됨. 역전파 우선권 논쟁의 기준점
전사 — 신경망에서 Transformer까지보도

Marvin Minsky·Seymour Papert
Perceptrons 출간
한계를 수학적으로 못 박아 신경망 연구가 10여 년 위축되는 계기가 됨
전사 — 신경망에서 Transformer까지공식 발표

Frank Rosenblatt
The Perceptron
오류로부터 가중치를 갱신하는 최초의 학습 절차. Psychological Review 65(6) 386-408
전사 — 신경망에서 Transformer까지보도

John McCarthy·Marvin Minsky·
다트머스 하계 연구 프로젝트 제안서 작성
분야에 이름이 붙은 문서. 이듬해 1956년 워크숍으로 이어짐
전사 — 신경망에서 Transformer까지공식 발표

Alan Turing
Computing Machinery and Intelligence
기계 지능을 내부 구조가 아니라 행동으로 판정하는 틀을 세움. 오늘의 벤치마크 논쟁의 원형
전사 — 신경망에서 Transformer까지공식 발표

Donald O. Hebb
The Organization of Behavior 출간
가중치를 데이터로 바꾼다는 발상의 원형. 이후 신경망 학습 규칙의 이론적 뿌리
전사 — 신경망에서 Transformer까지보도

Warren McCulloch·Walter Pitt
A logical calculus of the ideas immanent in nervous activity
신경세포 활동을 논리 연산으로 형식화한 최초의 시도로 인공신경망의 수학적 출발점
전사 — 신경망에서 Transformer까지공식 발표