AI를 가르치거나 시험하려고 모아 둔 예시들의 묶음이에요.
데이터셋은 AI에게 보여 줄 예시를 한데 모아 정리한 것이에요. 사진과 그 사진의 이름표, 문장과 번역문, 인터넷에서 모은 엄청난 양의 글처럼 종류가 다양해요. 보통 학습용과 시험용으로 나눠서, 처음 보는 문제로 실력을 확인해요.
AI는 데이터셋에 있는 만큼만 배워요. 한쪽으로 치우친 자료로 배우면 답도 치우치고, 틀린 자료가 섞이면 틀린 걸 배워요. 그래서 양만큼이나 무엇을, 어디서, 누구의 허락을 받고 모았는지가 중요해요. 2009년에 공개된 이미지넷은 데이터셋이 분야 전체를 끌어올릴 수 있다는 걸 보여 준 예로 자주 꼽혀요.
비유로 보면
데이터셋은 AI의 문제집이에요. 문제집에 한 단원 문제만 잔뜩 있으면 그 단원만 잘하게 되죠. 시험 문제가 문제집에 미리 들어 있으면, 실력이 아니라 외운 걸 재게 돼요.
예를 들면
MNIST는 손으로 쓴 숫자 사진 7만 장을 모은 데이터셋으로, 연습용으로 아주 유명해요.
자주 하는 오해
오해데이터가 많기만 하면 좋은 AI가 나온다.
실제로는2020년 공개된 글 모음 The Pile은 22가지 출처에서 825GiB를 모아 다양성을 챙겼지만, 그 안에 든 책 모음 Books3 때문에 이를 쓴 모델들이 뒤에 저작권 문제를 떠안았어요. 양과 다양성만으로는 부족하다는 사례예요.
오해시험 문제를 학습 자료에 넣으면 실력이 오른 것이다.
실제로는1998년부터 표준 시험대로 쓰인 MNIST도 학습용과 시험용 사진을 처음부터 따로 나눠 내놓았어요. 연구자들은 시험용 자료를 마지막까지 열어 보지 않고 잠가 두는 걸 기본 규칙으로 삼아요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
WordNet 계층 기반 대규모 이미지 데이터셋을 공개해 데이터가 병목이라는 인식을 만듦
합성곱·풀링·완전연결을 결합한 실용 CNN 구조를 정립하고 MNIST를 표준 시험대로 만듦