Verifiable Social Reasoning 공개
AIAI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법
Verifiable Social Reasoning 공개 — 다중 에이전트 시뮬레이션으로 LLM의 사회적 추론을 검증 가능하게 만드는 Fuse 프레임워크. 사람 주석 24,000건으로 충실도를 검증하고 예제 21,000건을 공개함. 모델 12종 평가에서 정보가 사용자를 거쳐 전달되는 상황이 난도를 가중시키고, 모델이 편향된 사용자 프레이밍에 체계적으로 흔들리며 사람보다 더 많은 맥락을 요구함을 보임. 대화가 길어져도 성능이 일관되게 오르지는 않았다.
왜 중요한가
에이전트가 사람 사이에 끼어 일할 때의 실패를 '능력'이 아니라 '중개된 정보'의 문제로 분리해 측정한 벤치마크.
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
논문arxiv.orghttps://arxiv.org/abs/2609.174962026년 39주차에 더한 기록이에요 · 그 주 보기
노선도에서 — ⑯ 평가·벤치마크 노선
- 앞 역RealSWE
- 이 기록 · 역Verifiable Social Reasoning 공개
- 다음 역FDE-Gym