5부 안을 들여다보기

AI 속을 열면 뭐가 들어 있을까?

AI 속에는 숫자를 주고받는 점들이 층층이 쌓여 있어. 이걸 신경망이라고 불러.

점 하나가 하는 일은 놀랄 만큼 단순해. 들어온 숫자에 무게를 곱해 전부 더하고, 그 합이 문턱을 넘으면 다음 층으로 넘겨.

똑똑함은 점 하나에 들어 있지 않아. 층을 여러 번 지나는 동안 단순한 계산이 쌓여서 복잡한 판단이 되는 거야.

직접 해보기 — 신경망 안에서 벌어지는 일, 순서대로

섞인 조각을 맞는 순서대로 눌러 봐. 점 하나의 일부터, 층을 지나는 길, 무게가 정해지는 과정까지 세 세트야.

입력에서 출력까지, 층을 지나는 길

숫자가 층을 하나씩 지나며 모양을 바꿔 가는 게 신경망이야.

왼쪽에서 오른쪽으로 숫자가 흐른다. 가운데 주황 칸이 층을 쌓는 의미를 만들어 주는 자리다.

1. Q1신경망의 점 하나가 하는 일에 가장 가까운 건?

   1. ① 들어온 숫자에 무게를 곱해 더하고 문턱을 넘는지 본다
   2. ② 문장을 통째로 외운다
   3. ③ 인터넷에서 답을 찾아온다
   4. ④ 규칙을 스스로 글로 적는다

2. Q2신경망이 복잡한 판단을 할 수 있는 이유는?

   1. ① 점 하나가 아주 똑똑해서
   2. ② 층을 여러 번 지나며 단순한 계산이 쌓여서
   3. ③ 사람이 답을 미리 적어 둬서
   4. ④ 화면이 커서

3. Q3'무게'는 무엇을 정하는 값일까?

   1. ① 글자의 크기
   2. ② 화면의 밝기
   3. ③ 신호를 얼마나 세게 넘길지
   4. ④ 인터넷 속도

점 하나는 곱하고 더하는 것밖에 못 해. 그걸 층층이 쌓았더니 판단이 나왔어.

단어 하나가 어디를 쳐다보면 뜻이 잡힐까?

어텐션은 문장 속 단어가 다른 단어를 얼마나 세게 쳐다볼지 정하는 계산이야.

시선은 무한정 늘어나지 않아. 합이 정해진 시선을 나눠 갖는 거라, 한쪽을 세게 보면 다른 쪽은 약해져.

그래서 뜻이 정해져. 어울리는 단어에 시선이 몰리면 '그것'이 누구를 가리키는지가 잡히거든.

직접 해보기 — 시선 세기를 손잡이로 돌려 보기

손잡이를 올릴수록 한 단어에 시선이 몰려. 0이면 모두를 똑같이 보고, 100이면 한 곳만 봐. 막대는 그 단어가 받는 시선의 몫이야.

시선이 정해지는 네 걸음

어텐션은 어려운 마법이 아니라 점수를 매겨 나눠 갖는 계산이야.

14일차에 본 트랜스포머가 문장 전체에 대고 이 네 걸음을 한꺼번에 돌리는 구조다.

1. Q1어텐션이 하는 일을 한 줄로 말하면?

   1. ① 단어를 사전에서 찾는다
   2. ② 한 단어가 다른 단어를 얼마나 세게 볼지 정한다
   3. ③ 문장을 짧게 줄인다
   4. ④ 맞춤법을 고친다

2. Q2'그것은 달았다'가 '그것은 배불렀다'로 바뀌면?

   1. ① 문장이 더 짧아진다
   2. ② 아무것도 달라지지 않는다
   3. ③ 시선이 케이크에서 동생 쪽으로 옮겨 간다
   4. ④ 시선이 고르게 퍼진다

3. Q3한 단어를 아주 세게 보면 나머지는?

   1. ① 사라졌다 돌아온다
   2. ② 똑같이 세진다
   3. ③ 두 배가 된다
   4. ④ 몫이 줄어든다

어텐션은 정해진 시선을 나눠 갖는 일이야. 어디에 몰아주느냐가 곧 뜻이 되고.

컴퓨터는 '사과'라는 말을 어떻게 알아들을까?

컴퓨터는 글자를 모르고 숫자만 다뤄. 그래서 단어 하나를 숫자 여러 개가 묶인 값으로 바꿔 놓고 써.

아무 숫자나 붙이는 건 아니야. 같이 쓰이는 말이 비슷하면 숫자도 비슷해지게 배워서, 뜻이 가까운 말끼리 가까운 자리에 놓이거든.

뜻이 자리로 바뀌면 가깝다·멀다를 계산으로 잴 수 있어. 이게 내일 배울 '비슷한 것 찾기'의 바탕이야.

직접 해보기 — 단어를 뜻 조각으로 켜고 꺼 보기

단어 하나를 일곱 칸짜리 숫자 묶음이라고 치자. 단어를 바꿔 누르면 어떤 칸이 켜지는지 보여. 켜진 칸이 많이 겹칠수록 가까운 단어야.

글자로 볼 때 vs 숫자 묶음으로 볼 때

같은 단어라도 어떻게 담아 두느냐에 따라 할 수 있는 일이 달라져.

'왕에서 남자를 빼고 여자를 더하면 여왕 근처'라는 널리 알려진 예시도 이 자리 감각에서 나온다.

1. Q1단어를 숫자 묶음으로 바꾸는 이유는?

   1. ① 글자를 예쁘게 쓰려고
   2. ② 저장 공간을 아끼려고
   3. ③ 컴퓨터가 숫자만 다루고, 뜻의 가까움을 계산하려고
   4. ④ 맞춤법을 고치려고

2. Q2숫자가 비슷해지는 단어는 어떤 단어일까?

   1. ① 글자 수가 같은 단어
   2. ② 짧은 단어
   3. ③ 먼저 배운 단어
   4. ④ 같이 쓰이는 말이 비슷한 단어

3. Q3실험에서 축구공이 사과와 먼 이유는?

   1. ① 겹치는 칸이 하나뿐이라
   2. ② 글자가 길어서
   3. ③ 나중에 나와서
   4. ④ 칸이 더 많아서

뜻을 숫자 묶음으로 바꾸면, 비슷하다는 말이 '가깝다'가 돼.

두 문장 중 어느 쪽이 더 가까울까?

어제 단어를 숫자 묶음으로 바꿨지. 문장도 똑같이 바꿀 수 있고, 그러면 두 문장 사이 거리를 잴 수 있어.

가깝다는 건 글자가 겹친다는 뜻이 아니야. 겹치는 글자가 하나도 없어도 뜻이 같으면 가까운 자리에 놓여.

반대로 글자는 거의 같은데 뜻이 반대면 멀어져. '재밌어'와 '재미없어'가 그렇지.

직접 해보기 — 어느 쪽이 기준 문장에 더 가까울까

기준 문장 하나에 후보 두 개가 붙어 있어. 더 가까운 쪽을 골라 봐. 바로 채점되고, 왜 그런지도 나와.

가까운 정도를 재 보면

막대가 길수록 두 문장이 가까운 자리에 놓인다는 뜻이야.

검색이 옛날보다 똑똑해진 이유 — 똑같은 낱말을 안 써도 원하는 문장을 찾아 주기 때문이다.

1. Q1두 문장이 '가깝다'는 건 무슨 뜻일까?

   1. ① 겹치는 글자가 많다
   2. ② 같은 날 쓰였다
   3. ③ 길이가 비슷하다
   4. ④ 숫자 묶음으로 바꿨을 때 자리가 가깝다

2. Q2'이 영화 재미없었어'와 '이 영화 진짜 재밌어'는?

   1. ① 글자는 거의 같지만 뜻이 반대라 멀다
   2. ② 글자가 같으니 가장 가깝다
   3. ③ 길이가 같아서 가깝다
   4. ④ 둘 다 영화라서 같은 자리다

3. Q3글자가 하나도 안 겹치면 어떻게 될까?

   1. ① 무조건 멀다
   2. ② 뜻이 같으면 가깝다
   3. ③ 계산을 못 한다
   4. ④ 절반만 가깝다

가깝다는 건 글자가 겹친다는 말이 아니야. 뜻이 겹치면 가까운 자리에 놓여.

AI가 모르는 걸 물으면 어떻게 할까?

외운 것만으로 답하면 모르는 건 그럴듯하게 지어내기 쉬워. 그래서 답하기 전에 관련된 글을 먼저 찾아 와 옆에 펴 두는 방법을 써.

찾는 방법이 바로 어제 배운 거야. 질문을 숫자 묶음으로 바꿔서 가까운 자리에 있는 글 조각을 꺼내 와.

그러면 시험이 아니라 오픈북이 돼. 찾아온 글을 같이 읽으며 답하니까 새로 나온 내용도 다룰 수 있고, 어디서 나온 말인지도 밝힐 수 있어.

직접 해보기 — 오픈북으로 답하는 순서

섞인 조각을 맞는 순서대로 눌러 봐. 답하는 큰 순서, 글을 찾는 속 순서, 출처를 붙이는 순서까지 세 세트야.

질문에서 출처까지

외운 것만 꺼내는 대신, 찾아 와서 펴 놓고 답하는 길이야.

주황 칸이 어제 배운 '가까운 것 찾기'가 들어가는 자리다. 이 방식을 정리한 논문은 2020년에 나왔다.

1. Q1'책 펴놓고 답하기'의 순서로 맞는 건?

   1. ① 답을 먼저 만들고 글을 찾는다
   2. ② 질문을 받고, 관련 글을 찾고, 그걸 보며 답한다
   3. ③ 글을 통째로 외운 뒤 답한다
   4. ④ 질문을 짧게 줄여서 답한다

2. Q2질문에 맞는 글 조각은 어떻게 찾을까?

   1. ① 가나다순으로 앞에 있는 것
   2. ② 가장 긴 조각
   3. ③ 질문과 숫자 묶음 자리가 가까운 조각
   4. ④ 가장 최근에 만든 조각

3. Q3이 방식의 좋은 점이 아닌 것은?

   1. ① 새 내용에 맞출 수 있다
   2. ② 출처를 밝힐 수 있다
   3. ③ 다시 가르치지 않아도 된다
   4. ④ 늘 정답만 나온다

외워서 답하면 지어내기 쉽지만, 찾아서 펴 놓고 답하면 근거가 남아.

다 배운 AI에게 한 가지 일만 따로 더 가르칠 수 있을까?

있어. 크게 한 번 배운 기본 모델 위에, 필요한 일만 골라 조금 더 학습시키는 거야. 이걸 파인튜닝이라고 불러.

처음부터 다시 배우는 게 아니야. 안에 든 숫자는 거의 그대로 두고 아주 일부만 고쳐 — LoRA라는 방법은 고치는 숫자를 만분의 일까지 줄였어.

대신 잘하는 게 정해져 있어. 따로 더 가르치기는 말투와 형식을 바꾸는 데 세고, 어제 배운 책 펴놓고 답하기는 새 사실을 넣을 때 쓰는 거야.

직접 해보기 — 같은 모델, 조금 더 가르치기 전과 후

세 가지 일을 골라 보고, 「전」과 「후」를 번갈아 눌러 봐. 바뀌는 것과 안 바뀌는 것이 갈릴 거야.

AI 하나를 두 단계로 키운다

앞 두 칸은 아주 크게, 뒤 두 칸은 아주 작게.

그래서 똑같은 기본 모델 하나에서 성격이 다른 모델 수천 개가 갈라져 나와.

1. Q1따로 더 가르치기(파인튜닝)가 하는 일은?

   1. ① 모델을 처음부터 다시 만든다
   2. ② 인터넷을 검색해 답에 붙인다
   3. ③ 이미 배운 모델 위에 조금만 더 가르친다
   4. ④ 사람이 답을 손으로 고쳐 준다

2. Q2LoRA 같은 방법이 대단한 이유는?

   1. ① 답이 무조건 맞아져서
   2. ② 모델 크기가 반으로 줄어서
   3. ③ 인터넷 없이도 돌아가서
   4. ④ 고쳐야 할 숫자를 만분의 일까지 줄여서

3. Q3매주 바뀌는 급식표를 알려 주려면?

   1. ① 찾아서 붙여 준다
   2. ② 더 가르친다
   3. ③ 모델을 키운다
   4. ④ 질문을 길게 쓴다

다 자란 모델을 다시 키우는 게 아니라, 필요한 만큼만 조금 다듬는 거야.

답이 두 개 있을 때, 사람은 어느 쪽에 점수를 줄까?

같은 질문에 답을 두 개 내게 한 다음, 사람이 더 나은 쪽을 고르는 일을 수만 번 반복해. 그 고른 기록이 다음 학습의 재료야.

맞고 틀림을 채점하는 게 아니야. 모은 건 사람의 취향이야. 그 취향을 흉내 내는 작은 채점 모델을 먼저 만들고, 그 점수를 따라 AI를 다듬어.

효과가 컸어. 2022년에 공개된 연구에서, 이렇게 다듬은 작은 모델의 답을 사람들은 130배 넘게 큰 모델의 답보다 더 좋아했어.

직접 해보기 — 네가 사람 채점자라면 어느 쪽에 점수를 줄래

여섯 가지 상황에서 답이 둘씩 나와. 더 나아 보이는 쪽에 점수를 줘 봐. 다 고르면 사람들이 쓴 기준이 보일 거야.

사람이 고른 기록이 점수가 되기까지

사람은 답을 써 주지 않아. 둘 중 하나를 고를 뿐이야.

이 방식을 줄여서 RLHF라고 불러. 사람 피드백으로 하는 강화학습이라는 뜻이야.

1. Q1이 방법에서 사람이 하는 일은?

   1. ① 정답을 직접 써 준다
   2. ② 질문을 대신 만들어 준다
   3. ③ 틀린 글자를 고쳐 준다
   4. ④ 두 답 중 더 나은 쪽을 고른다

2. Q2사람이 매번 점수를 안 매겨도 되는 이유는?

   1. ① 고른 기록으로 채점 모델을 먼저 만들어서
   2. ② AI가 스스로 정답을 알아서
   3. ③ 정답표가 인터넷에 있어서
   4. ④ 답이 늘 하나뿐이라서

3. Q3이렇게 다듬으면 주로 달라지는 건?

   1. ① 아는 사실이 늘어난다
   2. ② 쓰기 좋은 답이 된다
   3. ③ 모델이 작아진다
   4. ④ 인터넷이 필요없다

정답을 알려 준 게 아니라, 어느 쪽이 더 나은지만 알려 줬어.

게임하던 그래픽카드가 어쩌다 AI의 심장이 됐을까?

그래픽카드(GPU)는 쉬운 계산을 한꺼번에 아주 많이 하려고 만든 부품이야. 게임 화면의 점 수백만 개를 동시에 칠하려면 그 방법밖에 없었거든.

AI 학습이 딱 그 모양의 계산이라서 심장이 됐어. 학습에 많이 쓰는 카드 한 장 안에는 아주 작은 스위치가 약 800억 개 들어 있어.

그 한 장이 1초에 약 1,000조 번 계산해. 그런데도 모자라서, 라마 3는 1만 6천 장을 한 덩어리로 묶어 54일을 돌려서 만들었어.

직접 해보기 — 자릿수로 느껴 보는 그래픽카드

슬라이더로 10의 몇 제곱쯤일지 어림한 다음 정답 확인을 눌러 봐. 맞히는 게 목표가 아니라 자릿수를 몸으로 느끼는 게 목표야.

똑똑한 몇 명 vs 단순한 수천 명

두 부품은 잘하는 일의 모양이 아예 달라.

14일차에 본 트랜스포머가 '한꺼번에 계산'을 가능하게 만든 순간, 이 부품이 딱 맞아떨어졌어.

1. Q1그래픽카드가 AI 계산에 잘 맞는 이유는?

   1. ① 쉬운 계산을 한꺼번에 아주 많이 한다
   2. ② 어려운 문제를 혼자 끝까지 푼다
   3. ③ 인터넷 속도가 빠르다
   4. ④ 저장 공간이 아주 크다

2. Q2AI 학습용 카드 한 장에 든 작은 스위치는 약 몇 개?

   1. ① 약 8천 개
   2. ② 약 800억 개
   3. ③ 약 80만 개
   4. ④ 약 8경 개

3. Q3라마 3를 학습시킬 때 묶어 쓴 카드 수는?

   1. ① 16장
   2. ② 160장
   3. ③ 1만 6천 장
   4. ④ 1천 6백 장

AI가 그래픽카드를 고른 게 아니야. 계산의 모양이 원래 똑같았던 거지.

AI에게 한 번 물어보면 전기가 얼마나 들까?

한 번은 생각보다 적어. 2025년에 공개된 측정에서 제미나이에 글로 물었을 때 중간값이 0.24와트시였어 — TV를 9초 켜 두는 정도야.

문제는 그런 질문이 쉬지 않고 쌓인다는 거야. 그래서 한 번이 아니라, AI가 사는 건물인 데이터센터 전체의 전기를 봐야 해.

전 세계 데이터센터가 2024년에 쓴 전기는 415테라와트시, 전 세계 전기의 약 1.5%야. 2030년엔 945테라와트시로 두 배가 넘을 거라고 국제에너지기구가 봤어.

직접 해보기 — 같은 단위로 줄 세워 보는 전기

셋 다 와트시(Wh)라는 같은 단위야. 슬라이더로 10의 몇 제곱쯤일지 어림하고 정답 확인을 눌러 봐. 자릿수가 얼마나 벌어지는지 보일 거야.

데이터센터 전기는 전체에서 얼마나 될까

단위는 테라와트시. 1테라와트시는 1조 와트시야.

945테라와트시는 일본 한 나라가 1년에 쓰는 전기와 비슷한 양이라고 국제에너지기구가 설명했어.

1. Q1AI에게 글로 한 번 물어볼 때 드는 전기는?

   1. ① 에어컨을 하루 켜는 정도
   2. ② TV를 9시간 켜 두는 정도
   3. ③ TV를 9초 켜 두는 정도
   4. ④ 전기가 아예 안 든다

2. Q22024년 전 세계 데이터센터 전기는 전체 전기의 몇 %쯤?

   1. ① 약 0.001%
   2. ② 약 50%
   3. ③ 약 15%
   4. ④ 약 1.5%

3. Q3국제에너지기구가 본 2030년 전망은?

   1. ① 두 배 넘게 는다
   2. ② 지금과 비슷하다
   3. ③ 절반으로 준다
   4. ④ 아무도 모른다

한 번 물어보는 건 TV 9초야. 그걸 다 더하면 나라 하나만큼이고.

내 폰은 AI를 혼자 돌릴 수 있을까?

일부는 혼자 돌려. 요즘 폰 안에는 숫자 30억 개쯤 되는 작은 모델이 들어 있어서, 인터넷이 끊겨도 요약하고 다듬고 알림을 정리해.

대신 큰 일은 버거워. 긴 글이나 어려운 질문은 어제 본 그 건물까지 보내서 답을 받아 와. 폰 안 모델과 서버 모델은 크기가 수십에서 수백 배 차이 나거든.

그래서 요즘 폰은 조각을 나눠 써. 할 수 있는 건 안에서 끝내 — 빠르고, 전기도 덜 들고, 내 글이 밖으로 안 나가니까.

직접 해보기 — 이 일은 폰 안에서 끝날까, 밖으로 나갈까

버튼을 눌러 상황을 바꿔 봐. 초록은 폰 안에서 끝나는 조각, 주황은 폰을 떠나는 조각, 흐린 건 아예 안 되는 조각이야.

폰 안 조각 vs 서버 조각

같은 AI인데 어디서 도느냐에 따라 얻는 것과 내주는 것이 달라져.

2024년에 공개된 폰 안 모델은 숫자가 약 30억 개였고, 아이폰에서 1초에 토큰 30개쯤을 만들어 냈어.

1. Q1폰 안에서 도는 AI 모델의 특징은?

   1. ① 서버 모델보다 훨씬 크다
   2. ② 사진은 전혀 못 다룬다
   3. ③ 전기를 더 많이 쓴다
   4. ④ 작고, 인터넷 없이도 돌아간다

2. Q2어려운 질문을 서버로 보내면 생기는 일은?

   1. ① 더 잘하는 대신 내 글이 폰 밖으로 나간다
   2. ② 폰 배터리가 늘어난다
   3. ③ 인터넷이 없어도 된다
   4. ④ 답이 반드시 틀린다

3. Q3요즘 폰이 실제로 하는 방식은?

   1. ① 전부 폰 안에서
   2. ② 조각을 나눠서
   3. ③ 전부 서버로
   4. ④ 아무것도 안 함

폰은 전부 보내지도, 전부 품지도 않아. 할 수 있는 조각만 붙잡아 두는 거야.