METR, 앤트로픽 AI 성능 향상 속도 1.9배 분석…핵심 근거 일부 비공개

외부 AI 평가기관 METR는 5일(현지시간) 앤트로픽 내부 모델의 정해진 과제 수행 점수가 2025년 10월 이후 이전보다 약 1.9배 빠르게 높아졌다는 분석을 공개했다. AI가 연구개발 속도를 끌어올렸을 가능성을 제시했지만, 인과관계와 일반 업무에서의 향상 폭까지 확정한 결과는 아니다.

내부 모델 점수의 변화 속도를 비교

METR는 8월 12일부터 10월 29일까지 앤트로픽의 내부 모델 평가자료와 연구개발 과정, 직원 면담 자료 등을 살폈다. 점수 변화 추정치는 앤트로픽의 AECI 평가 지표에서 2025년 10월을 전후한 추세를 비교한 것이다.

METR가 제시한 속도 배율은 1.9배이며 95% 신뢰구간은 1.5~2.8배다. 이는 모델 성능 자체가 1.9배가 됐다는 뜻이 아니라 평가 점수가 개선되는 속도의 추정치다. 분석 방식과 포함한 모델을 바꾸면 값은 1.1~2.9배로 달라졌다.

평가기관은 AI가 현재의 속도 증가에 상당 부분 기여했을 것으로 판단했지만 다른 요인의 영향을 배제하지 못했다고 명시했다. 직원들의 AI 활용 효과에 관한 자체 평가는 해석이 어렵고, 핵심 모델 학습 과정에서 AI가 완전히 자율적으로 큰 성과를 낸 것으로 보기도 어렵다고 설명했다.

비공개 자료와 지표 범위가 남긴 한계

앤트로픽은 METR에 내부 자료 접근을 허용하고 평가 결과 공개를 인정했다. 다만 회사는 공개 보고서에서 METR의 판단에 중요했던 자료 상당 부분을 삭제하도록 요구했다. METR는 독자가 그 근거를 직접 검증하기 어렵다고 밝혔다.

AECI는 답을 확인할 수 있는 비교적 명확한 과제를 다룬다. METR도 이런 점수가 폭넓은 실제 업무 성능을 얼마나 대변하는지는 불확실하다고 적었다. 따라서 이번 결과를 모든 AI 연구나 다른 회사의 개발 속도에 그대로 적용할 수는 없다.

METR는 훈련 연산량 증가 속도가 빨라진 것이 관측된 점수 변화의 주된 설명은 아니라고 판단했다. 반면 AI 활용과 나머지 원인이 차지하는 몫은 확정하지 않았다. 향후 개발이 계속 가속할 것이라는 전망 역시 관측 결과가 아니라 평가기관의 위험 판단이다.

대표 이미지: AI 생성 이미지 / 데이마크

자료

METR — https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/

Anthropic — https://www.anthropic.com/news/an-update-on-independent-evaluators

The Verge / Jay Peters — https://www.theverge.com/ai-artificial-intelligence/1028046/an-anthropic-risk-assessment-from-ai-safety-organization-metr-is-out