METR
AI 모델의 위험한 능력을 평가하는 미국 비영리 연구 기관
소개
- 나라
- 미국
- 주요 근무지
- 캘리포니아주 버클리
- 설립
- 2022년 ARC Evals로 시작, 2023년 12월 METR로 독립
- 설립자
- 베스 반스(Beth Barnes)
- 형태
- 비영리 연구 기관(미국 501(c)(3)), 기부금으로 운영
METR(미터)는 첨단 AI 모델의 위험과 능력을 평가해 사회에 알리는 미국의 비영리 연구 기관이에요. 이름은 'Model Evaluation & Threat Research(모델 평가와 위협 연구)'의 줄임말이에요. 2022년 AI 안전 연구 단체 '얼라인먼트 리서치 센터(ARC)'가 베스 반스(Beth Barnes)를 채용해 꾸린 평가 팀 'ARC Evals'에서 시작했어요. 이 팀은 OpenAI의 GPT-4와 앤트로픽의 Claude를 각 회사와 협력해 독립적으로 평가했어요. 2023년 12월 ARC에서 독립해 비영리 단체(미국 501(c)(3)) METR가 되었어요. 2026년 10월 기준 반스가 CEO이고, 주요 근무지는 캘리포니아주 버클리예요.
METR는 AI가 사람 도움 없이 얼마나 긴 일을 해낼 수 있는지, 사이버 공격이나 스스로 꺼지지 않게 버티기 같은 걱정스러운 능력이 있는지 평가해요. 2025년 3월 '타임 호라이즌' 연구에서는 AI 에이전트(사람 대신 일을 처리하는 AI)가 50% 확률로 끝내는 일의 길이(사람 전문가가 걸리는 시간 기준)가 6년 동안 약 7개월마다 두 배로 늘었다고 밝혔어요. 2025년 7월 실험에서는 숙련된 오픈소스 개발자들이 AI 도구를 쓰자 일이 오히려 19% 더 오래 걸렸는데, 정작 본인들은 20% 빨라졌다고 느꼈어요. METR는 AI 회사에서 자금을 받은 적이 없고 주로 기부금으로 운영된다고 밝혀요.
2026년 1월에는 평가 과제를 170개에서 228개로 늘린 '타임 호라이즌 1.1'을 내놓았는데, 2024년 이후만 보면 두 배가 되는 데 약 89일이 걸렸어요. 2026년 5월에는 앤트로픽, 구글, 메타, OpenAI에게서 비공개 정보와 내부 모델을 받아, 회사 안에서 쓰는 AI가 통제를 벗어날 위험을 살핀 보고서를 냈고, 이런 독립 평가는 처음이라고 밝혔어요. 10월 15일 앤트로픽은 METR 직원 6명에게 자사 위험 평가 팀과 비슷한 수준으로 내부 도구와 시스템을 쓸 수 있게 했다고 발표했어요(자사 발표). 앤트로픽은 METR의 결과 발표를 막을 수 없고, 정해진 기밀 정보만 가리도록 요구할 수 있다고 밝혔어요.
소개의 출처 11곳 · 2026년 10월 31일 기준
- About METR · METR
- METR – Model Evaluation & Threat Research (home page) · METR
- ARC Evals is now METR · METR
- ARC Evals is spinning out from ARC · METR
- Model Evaluation And Threat Research – Nonprofit Explorer · ProPublica
- Careers – METR · METR
- Measuring AI Ability to Complete Long Software Tasks · METR
- Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity · METR
- Time Horizon 1.1 · METR
- Frontier Risk Report (February to March 2026) · METR
- Anthropic update on independent evaluators · Anthropic
AIAI가 만든 글이 소개는 AI(Claude)가 위 출처 11곳(공식 페이지·공시·언론 보도)을 바탕으로 썼어요.만드는 방법
나온 기록 9
최신 순이에요. 기록을 누르면 출처와 함께 열려요.
외부 평가자 협력을 3단계로 나누고 이를 가장 깊은 단계로 소개했으며, Hugging Face 등 다른 기관과도 초기 논의 중이라고 밝힘. 모델 구조 정보는 유출 위험이 커 꼭 필요할 때만 내부 승인을 거쳐 공유한다는 단서를 붙임
2026-02-24에 예고한 방법론 개편의 첫 후속 결과. 2025년 연구에서 응답자들이 소요시간 영향을 평균 40%p 과대추정했다는 점을 다시 확인했다
선택편향(AI 없이 일하기를 거부하는 참가자 증가)을 이유로 실험 재설계. 2025년 19% 결과를 철회하지는 않았으나 2026년 초 개발자는 더 빨라졌을 가능성이 높다고 밝히며 이를 very weak evidence로 명시
방법론 변경만으로 수치가 움직인다는 것을 발행 기관이 스스로 보여준 사례. 최상위 모델 50% 시간지평 약 5.3시간은 이 개정판 기준이며 이전 판과 직접 비교할 수 없다
12개사 정책의 공통 9요소를 정리해 사실상 업계 준표준 문서가 됨
주요 연구소가 공동 서명한 CoT 모니터링 합의 문서