오픈AI, 실험실 원자료 해석 시험 공개…자사 최고점 모델도 배점의 3분의 2

오픈AI가 6일 바이오기업 리고와 만든 실험실 데이터 해석 평가 ‘BioBasicsBench’를 공개했다. 자사 모델 GPT-6 Astra는 공통 추론 설정에서 평균 배점의 66.7%를 얻었다. 과제의 일부 항목에 점수를 주는 방식이어서 이 수치를 실험 성공률로 읽을 수는 없다.

논문용 그림 아닌 실험 원자료를 제시

평가는 젤 전기영동 사진과 배양 접시, 현미경 영상, 기기 출력처럼 실험실에서 나오는 자료를 바탕으로 한다. 단백질 분석과 영상·세포 계측, 정량 분석, 핵산 분석, 분자 복제 등 다섯 분야의 일상적 분석 과제 100개로 구성됐다. 모델은 결과를 읽는 데 그치지 않고 실험 대조군의 오류나 자료만으로는 결론을 낼 수 없는 상황도 가려야 한다.

오픈AI에 따르면 리고 연구진이 자체 실험 자료로 문항과 채점 기준을 만들었다. 문항 작성에 참여하지 않은 리고 연구자와 외부 실험실 박사급 연구자의 검토를 거쳐 내부에서 한 번 더 확인했다. 이는 문제 구성에 관한 검토이지 모델 점수를 외부 기관이 재현했다는 뜻은 아니다.

배점 점수와 실제 판단 능력은 다르다

오픈AI는 자사 모델 7종에 추론 강도별 설정을 적용해 총 37개 조합을 시험했다. 각 조합은 100개 과제를 다섯 번씩 풀어 결과 1만8500건을 냈다. 일곱 모델에 공통으로 적용한 ‘xhigh’ 설정에서 GPT-6 Astra의 평균 부분점수는 66.7%, GPT-5.6 Sol은 43.8%였다. 두 수치는 동일한 설정의 회사 자체 평가 결과다.

한 분자 복제 과제에서 Astra는 DNA 조각의 무늬를 구분하고도 대조군의 의미를 거꾸로 해석해 잘못된 배양 집락을 골랐다. 다른 과제에서는 접시의 집락 수를 기준값보다 약 12% 많이 셌다고 오픈AI는 밝혔다. 일부 판단은 맞아도 최종 결론은 틀릴 수 있음을 보여주는 사례다.

독립 벤치마크 집계 사이트 BenchLM은 이 평가의 모델 점수가 모두 제공사 자체 결과이며 과제 원자료가 공개되지 않았다는 이유로 종합 순위에 반영하지 않는다. 사이트의 대표 점수는 모델별 최고 추론 설정을 골라 표시하므로 위 ‘xhigh’ 비교값과 직접 섞어 읽어서는 안 된다. 이번 발표만으로 AI가 실험실 판단을 독자적으로 맡을 수 있다고 결론 낼 수 없다.

대표 이미지: AI 생성 이미지 / 데이마크

출처: 오픈AI(2026-11-06) https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science/

출처: BenchLM(2026-11-06 갱신) https://benchlm.ai/benchmarks/biobasicsbench

출처: R&D World, Brian Buntz(2026-11-06) https://www.rdworldonline.com/openai-unveils-biobasicsbench-a-benchmark-to-gauge-how-well-ai-agents-read-raw-experimental-data-across-100-routine-wet-lab-tasks/