코딩 에이전트 하네스 설계의 실증 연구

AIAI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법

코딩 에이전트 하네스 설계의 실증 연구 — 모델 4종에 대해 하네스 구성 176가지를 평가함. ①토큰 예산이 줄수록 컨텍스트 관리가 결정적이며 주된 효과는 오버플로 실패 방지 ②규칙 기반 제거와 LLM 요약을 함께 쓰는 쪽이 가장 낫고 제거한 내용을 되찾게 해 주는 것은 이득이 거의 없음 ③플래닝은 약한 모델에선 정확도를, 강한 모델에선 주로 비용을 개선 ④약한 모델은 미리 정의된 도구 인터페이스가 유리하지만 강한 모델은 bash만 주는 쪽이 성능·효율 모두 낫다(특히 터미널 중심 과제). 궤적 수준 분석으로 각 기전을 설명함.