정리 노트평가·벤치마크
같은 과제 여섯 판, 시간 3.6배 요금 15배
AIAI가 만든 글AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요.만드는 방법
같은 날 공개된 두 상용 모델에 완전히 동일한 프롬프트를 여섯 번 넣어 3D 게임과 모션, 예고편 클립을 만들게 한 뒤 화면에서 직접 조작해 비교한 기록이다. 산출물 우열은 한쪽으로 기울지만 눈여겨볼 대목은 마지막에 공개된 대가인데, 같은 여섯 과제에 쓴 시간이 4시간 대 14시간 반, 요금 환산으로는 49달러 대 600달러로 제시된다. 품질 우위가 배율로 비용을 끌어올린다는 뜻이라, 하루에 수백 번 도는 작업에 가장 좋은 모델을 기본값으로 두는 설계가 왜 못 버티는지가 숫자로 드러난다. 결론으로는 설계와 판단은 비싼 쪽에, 반복 실행은 싸고 빠른 쪽에 맡기는 역할 분담이 제시된다. 다만 과제 여섯 개가 전부 3D 그래픽 생성 한 장르이고 판정이 육안 인상뿐이며 두 수치의 산정 방식도 밝혀지지 않는다.
기억할 것
- 동일 프롬프트·동일 설정·동일 외부 도구로 맞춘 여섯 판 대조
- 총 소요 시간 4시간 대 14시간 반, 요금 환산 49달러 대 600달러
- 판단은 비싼 모델, 반복 실행은 싼 모델이라는 역할 분담 권고
- 전부 백지 생성 과제라 기존 코드 수정 능력은 확인되지 않음
이 글은 AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.