임베딩 뜻 — 단어나 문장의 뜻을 숫자 묶음으로 바꿔 놓은 거 · 5분 용어

단어나 문장의 뜻을 숫자 묶음으로 바꿔 놓은 거예요.

컴퓨터는 글자를 모르고 숫자만 다뤄요. 그래서 단어나 문장을 숫자 수백에서 수천 개짜리 묶음으로 바꿔요. 이 숫자 묶음을 임베딩이라고 하고, 벡터라고도 불러요.

숫자는 아무렇게나 붙이지 않아요. 비슷하게 쓰이는 말끼리 숫자도 비슷해지도록 학습해서, 뜻이 가까운 말은 가까운 자리에 놓여요. 그러면 '급식'과 '점심'처럼 글자가 하나도 안 겹쳐도 가깝다는 걸 계산할 수 있어요. 2013년에 나온 word2vec이 이 방식을 널리 퍼뜨렸어요.

임베딩은 뜻으로 찾는 검색과 비슷한 글 추천의 바탕이에요. AI가 자료를 찾아 읽고 답하는 RAG도 임베딩으로 가까운 글을 골라요.

비유로 보면

음악 앱이 노래마다 지도 위 자리를 정해 둔다고 상상해 보세요. 신나는 댄스곡끼리, 잔잔한 발라드끼리 가까이 모여 있어요. 내가 들은 곡 근처의 노래를 추천하듯, 임베딩은 뜻의 지도 위 좌표예요.

예를 들면

'왕'에서 '남자'를 빼고 '여자'를 더하면 '여왕' 근처에 닿는다는 예시가 유명해요.

자주 하는 오해

오해임베딩의 숫자는 사람이 낱말마다 정해 붙인 번호다.
실제로는이름표 같은 번호는 토크나이저가 조각마다 따로 붙여요. 임베딩은 그 번호를 학습으로 정한 좌표로 바꾼 것이라, 숫자 하나하나에는 대개 사람이 읽을 만한 뜻이 따로 없고 다른 낱말과의 거리가 뜻을 담아요.

수업에서 써 보기

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문: 글자가 하나도 겹치지 않는 두 말이 '가깝다'는 걸 컴퓨터는 어떻게 알 수 있을까요?
활동: 칠판에 가로 '신나는 ↔ 잔잔한', 세로 '먹는 것 ↔ 하는 것'의 지도를 그리고, 반 친구들이 낸 낱말 스무 개를 붙일 자리를 함께 정해요. 가까이 붙은 낱말끼리 왜 가까운지 말해 본 뒤, 진짜 임베딩은 이런 축이 수백에서 수천 개라는 점을 떠올려 봐요. 2013년 word2vec 기록(E0037)도 열어 보세요.