추론(실행) 뜻 — 학습이 끝난 모델에 질문을 넣고 답을 받아 내는 실행 단계 · 5분 용어

학습이 끝난 모델에 질문을 넣고 답을 받아 내는 실행 단계예요.

AI에서 추론은 다 만든 모델을 실제로 돌려서 답을 얻는 단계예요. 영어로는 인퍼런스(inference)라고 해요. 학습이 문제집으로 공부하는 시간이라면, 추론은 시험지에 답을 쓰는 시간이에요. 우리가 AI에게 질문을 보낼 때마다 추론이 한 번씩 일어나요.

헷갈리기 쉬운 점이 있어요. 한국어로는 'reasoning'도 추론이라고 옮기는데, 그건 단계를 밟아 따져 보는 생각을 말해요. 여기서 말하는 추론은 그냥 '모델을 실행한다'는 뜻이라서, 이 사전에서는 추론(실행)이라고 적어요.

한 번의 추론은 작지만, 세계 곳곳에서 쉬지 않고 쌓이면 많은 전기와 계산이 들어요. 그래서 폰 안에서 직접 돌리거나 모델을 가볍게 만드는 방법을 많이 연구해요.

비유로 보면

시험공부는 몇 주가 걸려도, 시험지에 답 하나 쓰는 건 몇 초면 돼요. 공부하는 시간이 학습, 답을 쓰는 순간이 추론이에요. AI는 이 '답 쓰기'를 질문이 올 때마다 새로 해요.

AI에게 질문 하나를 보내고 답을 받았다면, 그사이 추론이 한 번 일어난 거예요.

오해'추론'이라고 하면 늘 AI가 깊이 따져 생각한다는 뜻이다.
실제로는영어 원문이 inference면 '실행', reasoning이면 '따져 보기'로 읽으면 돼요. 스팸 메일 한 통을 거르는 아주 단순한 모델도 메일이 올 때마다 추론(실행)을 한 번씩 해요.
오해질문 하나에 드는 계산은 아주 작으니 신경 쓸 필요가 없다.
실제로는질문이 한꺼번에 몰리면 그래픽카드 메모리가 금방 모자라요. 그래서 2023년 UC 버클리 연구진은 메모리를 운영체제처럼 작은 칸으로 나눠 써서 낭비를 4% 아래로 줄인 vLLM을 내놓았어요.

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: 학습과 추론(실행) 가운데, 내가 AI에게 질문할 때마다 일어나는 건 무엇일까요?
활동: 우리 반이 오늘 AI에게 보낸 질문 수를 어림해서 칠판에 적어요. 그 수를 한 학교, 한 도시 크기로 곱해 키워 보면서 '작은 계산이 쌓인다'는 말을 숫자로 느껴 봐요. 그다음 llama.cpp 기록(E0196)을 열어, 큰 서버가 아닌 개인 컴퓨터에서 추론(실행)하려는 시도가 언제 시작됐는지 확인해요.