한국어EN
평가·벤치마크OpenAI

SWE-bench Verified 공개

AI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법

SWE-bench Verified 공개 — 개발자 93명이 1,699개 샘플을 3중 주석해 500개 부분집합 구성, 원본의 68.3%를 제외

왜 중요한가

에이전트 코딩 평가의 기준 데이터셋. 원본 벤치마크의 상당수가 부적격이었음을 드러냄

출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요

공식 발표openai.comhttps://openai.com/index/introducing-swe-bench-verified/

2026년 35주차에 더한 기록이에요 · 그 주 보기

노선도에서 — ⑯ 평가·벤치마크 노선

  1. 앞 역GSM1k
  2. 이 기록SWE-bench Verified 공개
  3. 다음 역Epoch AI의 OpenAI 자금 미공개 비판 보도
노선도에서 보기

같은 주에 나온 조각

Hermes 3공식 발표Graph Retrieval-Augmented Generation논문Prompt caching 공개 베타공식 발표Grok-2 / Grok-2 mini 베타 공개공식 발표

같은 축의 가까운 조각

lm-evaluation-harness v0.4.3 배포공식 발표FrontierMath 공개논문GSM1k 공개논문o3의 ARC-AGI 결과 공개공식 발표