멀리 있는 서버가 아니라 내 폰이나 노트북 안에서 직접 돌아가는 AI예요.
온디바이스 AI는 AI 모델이 폰이나 노트북 같은 내 기기 안에서 직접 돌아가는 방식이에요. 질문을 멀리 있는 데이터센터로 보내지 않으니 인터넷이 끊겨도 쓸 수 있고, 답도 빨리 나와요. 내가 쓴 글이나 사진을 기기 밖으로 보내지 않아도 된다는 점도 장점이에요.
대신 폰은 메모리와 배터리가 작아서 큰 모델을 담기 어려워요. 그래서 2024년 애플이 소개한 약 30억 파라미터 모델처럼 작은 모델을 쓰고, 양자화 같은 방법으로 더 줄여 넣어요. 쉬운 일은 기기 안에서 끝내고 어려운 일은 서버로 보내 나눠 쓰는 경우가 많아요.
비유로 보면
모르는 게 생길 때마다 도서관까지 가는 것과, 가방 속 포켓 사전을 펴 보는 것의 차이예요. 사전은 금방 펼 수 있고 내가 뭘 찾았는지 남이 알 일도 없죠. 하지만 정말 어려운 내용은 결국 도서관에 가야 해요.
예를 들면
비행기 모드에서도 폰이 받아쓰기를 하거나 사진 속 글자를 읽어 낸다면, 온디바이스 AI가 일하고 있는 거예요.
자주 하는 오해
오해AI는 언제나 인터넷 너머의 서버에서만 돌아간다.
실제로는2025년 구글이 공개한 Gemma 3n은 메모리 약 2~3GB만으로 돌아가면서 글뿐 아니라 사진·소리·비디오 입력까지 받아요. 폰 안에서 도는 AI가 간단한 일만 하던 단계를 넘어서고 있다는 뜻이에요.
오해폰 안의 AI도 서버의 큰 모델과 똑같은 일을 한다.
실제로는애플의 폰 속 모델은 숫자 하나를 평균 3.7비트로 줄여 담고, 요약이나 글 다듬기처럼 일마다 작은 '어댑터'를 갈아 끼우며 써요. 작은 몸집으로 정해진 몇 가지 일을 잘하도록 맞춘 것이라, 서버의 큰 모델과는 맡는 일이 달라요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
- 질문
- 어떤 일은 내 폰 안에서, 어떤 일은 서버에서 하는 게 좋을까요?
- 활동
- 비행기 모드를 켠 폰으로 받아쓰기, 사진 속 글자 읽기, 번역, 긴 글 요약 같은 기능을 하나씩 시험해 보고 '됨·안 됨'을 표에 적어요. 결과를 '빨라야 하는 일', '개인 정보가 담긴 일', '어려운 일'로 나눠 보고, 포켓 사전과 도서관 비유로 왜 그렇게 나뉘는지 설명해 봐요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.