글뿐 아니라 사진·소리·비디오까지 함께 다루는 AI를 말해요.
모달은 정보가 들어오는 종류, 곧 글·사진·소리·비디오 같은 감각을 뜻해요. 멀티모달 AI는 이 가운데 여러 가지를 한꺼번에 이해하거나 만들어요. 사진을 보여 주며 질문하거나, 말로 묻고 말로 답을 듣는 게 대표적이에요.
비결은 눈과 귀를 따로 단 게 아니에요. 사진은 작은 네모 조각으로, 소리는 아주 짧은 시간 토막으로 잘라 글의 토큰과 같은 줄에 세워요. 그러면 같은 트랜스포머 뼈대로 함께 처리할 수 있어요.
2021년 CLIP은 사진과 글을 같은 숫자 공간에 놓았고, 2023년 제미나이 1.0은 처음부터 여러 감각을 함께 배우는 방식을 내세웠어요. 2024년 GPT-4o는 글·사진·소리를 한 모델로 다뤄, 말 대답이 사람 대화만큼 빨라졌다고 소개됐어요.
비유로 보면
단톡방에서 친구가 글, 사진, 음성 메시지를 섞어 보내도 우리는 한 번에 알아듣죠. 멀티모달 AI는 이 셋을 같은 대화 안에서 함께 읽고 답하는 친구예요.
예를 들면
냉장고 속을 찍어 보내고 '이걸로 뭐 해 먹을 수 있어?'라고 물으면, 재료를 알아보고 요리를 제안해요.
자주 하는 오해
오해멀티모달 AI는 글 담당, 사진 담당, 소리 담당 AI를 따로 붙여 둔 것이다.
실제로는예전 음성 대화는 실제로 '받아 적기 → 글로 답하기 → 읽어 주기' 세 단계를 이어 붙여서, 말투나 웃음 같은 정보가 중간에 사라지곤 했어요. 2024년 GPT-4o는 이를 한 모델로 합쳐 말 대답을 평균 0.32초 만에 내놓았다고 발표됐어요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.