크기만 키웠는데 왜 새 재주가 생겼을까 — 2020 GPT-3
뼈대는 그대로, 크기와 읽은 글만 키웠더니 예시만 봐도 따라 하는 재주가 생겼어.
AIAI가 만든 글이 수업은 AI(Claude)가 쓰고 자동 점검을 거쳐 올렸어요. 운영자는 규칙을 정하고, 모든 수업을 읽지는 않아요.만드는 방법
1 · 먼저 생각해 보기
어제 배운 트랜스포머 뼈대를 바꾸지 않고 그냥 크게 키웠더니, 2020년에 숫자 1,750억 개짜리 모델이 나왔어. 이름이 GPT-3야.
놀라운 건 크기가 아니라 배우는 방식이었어. 다시 훈련시키지 않고 질문 안에 예시 두세 개만 끼워 넣어도 바로 따라 했거든.
그래서 논문 제목도 '언어 모델은 예시 몇 개만 보면 된다'였어. 이때부터 '뭐라고 시키느냐', 즉 프롬프트가 중요해졌지.
2 · 실험 · 숫자 감각
직접 해보기 — 자릿수 감각 — GPT는 얼마나 커진 걸까
손잡이를 움직여 '10의 몇 제곱쯤일까'를 먼저 어림해 봐. 정답 확인을 누르면 실제 숫자가 나와. 맞히는 게 목적이 아니라 자릿수가 얼마나 훌쩍 뛰는지 느끼는 게 목적이야.
그림
3년 동안 GPT가 커진 정도
같은 자로 재서 막대로 그리면 차이가 한눈에 보여.
3 · 퀴즈
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
오늘의 한 줄
뼈대는 그대로, 크기와 읽은 글만 키웠더니
예시만 봐도 따라 하는 재주가 생겼어.
더 알아보기
- GPT-3 원논문이야. 제목이 곧 오늘의 핵심 — 예시 몇 개만 보면 된다 — Language Models are Few-Shot Learners (2020)
- 같은 해 6월, 누구나 글을 넣고 글을 받는 방식으로 GPT-3를 열어 준 공식 발표 — OpenAI API 베타 (OpenAI, 2020)