정리 노트온디바이스·로컬 추론
내 데이터로 작은 모델을 학습시킨다
AIAI가 만든 글AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요.만드는 방법
바깥으로 보내기 어려운 자료를 다루는 쪽에서는 판단 모델을 직접 학습시키는 길이 열린다. 한 곳은 평범한 노트북에서 한국어 문의 분류를 학습시켜, 학습 전 250문항 중 82개로 32.8%였던 정답률이 100건 4분에 68.8%, 300건 15분에 83.2%, 1,000건 48분에 86.4%까지 올랐다고 밝혔다. 1만 건을 7시간 52분 학습시킨 뒤에는 600문항 가운데 598개를 맞혀 99.7%에 닿았다. 한 건 분류에 0.11초가 걸려 바깥 창구를 거치는 쪽보다 빨랐다는 점과, 틀린 사례를 모아 다시 학습시키는 운영 고리까지 함께 제시됐다. 데이터가 합성이고 단일 분류 과제라는 한계가 있으며 수치는 한 곳의 자체 측정이다. 다른 곳은 큰 오픈 모델을 돌릴 장비를 사지 않고 시간제로 빌려 띄워, 하루 내내 돌릴 때만 사는 편이 남는다는 손익분기를 내놓았다.
기억할 것
- 노트북 학습으로 분류 정답률이 32.8%에서 86.4%까지 오름
- 1만 건 7시간 52분 학습 뒤 600문항에서 99.7%에 닿음
- 한 건 분류 0.11초로 바깥 창구를 거치지 않아도 됨
- 장비를 사지 않고 시간제로 빌려 먼저 재 보는 길도 있음
이 글은 AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.