여러 AI의 실력을 같은 문제로 재서 비교하는 공통 시험이에요.
벤치마크는 여러 AI에게 똑같은 문제를 풀게 해서 점수로 비교하는 시험지예요. 57개 과목의 객관식 문제를 모은 MMLU, 실제 프로그램에 보고된 문제를 고치게 하는 SWE-bench처럼 재려는 능력마다 따로 있어요. 새 모델이 나오면 보통 이런 점수를 함께 발표해요.
점수만 믿으면 안 되는 이유도 있어요. 시험 문제가 학습 자료에 섞여 들어가면 푼 게 아니라 외운 것일 수 있어요. 또 AI들이 만점 가까이 받으면 시험이 더 이상 실력 차이를 가려내지 못해서, 더 어려운 새 시험을 만들어요.
비유로 보면
모의고사를 떠올려 보세요. 모두 같은 시험지를 풀어야 점수를 비교할 수 있죠. 그런데 누가 시험지를 미리 봤다면, 점수가 높아도 실력이라고 믿기 어려워요.
예를 들면
2019년에는 AI 점수가 비전문가 사람 수준을 넘어서자, GLUE 시험을 더 어려운 SuperGLUE로 바꿨어요.
자주 하는 오해
오해벤치마크 점수가 높으면 그 AI가 무조건 더 실력 있다.
실제로는2024년 GSM1k 연구는 유명한 수학 시험과 비슷한 문제를 새로 만들어 다시 쟀는데, 성적이 최대 8% 떨어진 모델이 있었어요. 가장 앞선 모델들은 덜 떨어졌다고 보고됐지만, 점수를 볼 때는 '어떤 문제로 쟀나'까지 함께 봐야 한다는 걸 보여 준 연구예요.
오해벤치마크는 한 번 만들면 계속 쓸 수 있다.
실제로는과목 57개짜리 시험 MMLU도 2020년에 나온 뒤 5년 가까이 새 모델 발표마다 빠지지 않았지만, 점수가 꼭대기로 몰리자 더 어려운 시험들에 자리를 내주기 시작했어요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
- 질문
- 새 모델 발표에서 점수를 볼 때 무엇을 함께 물어봐야 할까요?
- 활동
- 모둠마다 '우리 반 단어 시험'을 열 문제로 만들어 반을 두 편으로 나눠요. 한 편은 문제를 미리 보고, 다른 편은 처음 보고 풀어요. 점수를 비교한 뒤, 새로 만든 열 문제로 두 편을 다시 재어 점수가 어떻게 바뀌는지 봐요. 그다음 이 사이트의 기록에서 '자사' 표시가 왜 붙는지 하나를 골라 읽어 봐요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.