정리 노트평가·벤치마크
코딩 시험 점수가 실력을 재지 못한다
AIAI가 만든 글AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요.만드는 방법
널리 쓰인 코딩 시험이 왜 무너졌는지를 수치로 모아 정리한 기록이다. 출발점은 오픈AI가 그 시험의 점수 발표를 멈추고 대안으로 권했던 후속 시험 권고까지 거둬들였다는 사실이고, 이유는 네 갈래로 제시된다. 문제 500개가 2013년부터 2023년까지의 공개된 과제에서 뽑혀 문제와 정답이 모두 열려 있어 모델이 학습 중에 본 흔적이 드러났으며, 자주 틀리는 문제의 59.4%는 맞는 답을 틀렸다고 채점했고 대안 시험의 공개 문제 731개 중 249개가 아예 고장나 있었다. 시험을 통과한 수정 296건을 실제 관리자들에게 보여 주자 약 절반이 반영을 거절했고 자동 채점이 사람 판단보다 평균 24%포인트 높게 나왔다. 문제의 46%가 한 저장소에 몰려 있고 전부 한 언어이며 91%는 한 시간 안에 고칠 수 있는 결함이라, 화면 제작이나 서비스 운영 같은 실제 작업 범위를 애초에 재지 않는다는 지적으로 맺는다.
기억할 것
- 문제와 정답이 모두 공개돼 학습 흔적이 드러남
- 자주 틀리는 문제의 59.4%는 맞는 답을 틀렸다고 채점함
- 통과한 수정의 약 절반이 실제 관리자에게 반영을 거절당함
- 문제가 한 저장소와 한 언어에 쏠려 실제 작업을 재지 못함
이 글은 AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.