엄청난 양의 글로 학습해, 다음 토큰을 골라 가며 글을 쓰는 큰 AI 모델이에요.
대형 언어 모델(LLM)은 인터넷 글, 책, 코드처럼 어마어마한 양의 글로 학습한 큰 AI 모델이에요. 바탕이 되는 일은 단순해요. 지금까지의 글을 보고 다음에 올 토큰을 하나 고르고, 그걸 붙여 또 다음 토큰을 고르는 걸 반복해요.
'대형'은 파라미터가 수십억에서 수천억 개, 그 이상일 만큼 크다는 뜻이에요. 대부분 2017년에 나온 트랜스포머 구조를 바탕으로 해요. 2020년 GPT-3는 질문 속 예시 몇 개만 보고 새 일을 따라 해 사람들을 놀라게 했고, 2022년 ChatGPT가 대화창으로 나오면서 누구나 쓰는 도구가 됐어요.
다만 그럴듯한 다음 말을 고르는 방식이라, 사실이 아닌 내용을 자신 있게 지어내기도 해요. 이걸 환각이라고 하니, 중요한 내용은 꼭 따로 확인해야 해요.
비유로 보면
휴대폰 키보드의 다음 단어 추천을 떠올려 보세요. '오늘 점심' 다음에 '뭐 먹지'를 띄워 주잖아요. LLM은 그 추천 기능을 상상하기 어려울 만큼 많은 글로 키워서, 문단 하나, 글 한 편까지 이어 쓰게 만든 거예요.
예를 들면
답이 한 글자씩 흘러나오듯 보이는 건, 실제로 토큰을 하나씩 골라 붙이고 있어서예요.
자주 하는 오해
오해대형 언어 모델은 답을 미리 다 생각해 두고 한 번에 쓴다.
실제로는이미 쓴 말을 되돌아가 지우지 못하고 뒤를 이어 붙이기만 해요. 그래서 첫머리가 틀린 쪽으로 출발하면 그 흐름을 끝까지 따라가기 쉬우니, 답을 받은 뒤 '다시 검토해 줘'라고 한 번 더 묻는 게 도움이 될 때도 있어요.
오해자신 있게 말하면 맞는 말이다.
실제로는말투는 맞는 답이든 틀린 답이든 똑같이 매끄러워서 단서가 되지 못해요. 같은 질문을 말만 바꿔 두세 번 물었을 때 답이 서로 다르면, 그 부분은 특히 의심해 보세요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
파라미터 갱신 없이 프롬프트 안 예시만으로 태스크를 수행하는 in-context learning 제시
단어를 밀집 벡터로 학습하는 신경 언어모형을 제시. word2vec 등 임베딩 계보의 직접 선행 연구