오픈AI, 일상 업무 평가 ‘라이프밸’ 공개…높은 사례 점수는 자체 측정

오픈AI가 2일 보육시설 탐색과 장보기, 행정서비스 이용처럼 일상에서 도움이 필요한 과제를 다루는 AI 평가 체계 ‘라이프밸(LifeVal)’을 공개했다. 회사가 제시한 높은 점수는 선택한 과제의 자체 평가 결과로, 실제 이용자의 업무가 같은 비율로 해결된다는 뜻은 아니다.

과제 선정에 시간사용 조사와 3995명 설문 활용

오픈AI는 미국 시간사용 조사와 다국적 시간사용 연구를 출발점으로 삼고, 3995명에게 개인 비서의 도움이 필요한 활동을 묻는 별도 설문을 더했다고 밝혔다. 회사는 이 설문을 인구 특성을 반영하도록 설계했다고 설명했으나, 공개 페이지에는 응답자의 지역 구성과 문항별 표본 등 세부 정보가 제시되지 않았다.

평가 대상에는 돌봄, 건강, 교육, 가사 행정, 개인 재무, 쇼핑, 정부 서비스 접근이 포함된다. 단순히 질문에 답하는 대신 여러 단계를 거쳐 필요한 정보를 정리하고 다음 행동을 준비하는 과제다. 오픈AI는 지난 1년간 이 평가를 모델 개선에 활용했다고 밝혔다.

사례별 점수와 실제 서비스 성과는 달라

공개된 예시에서 이사 후 유치원 후보를 추리는 과제의 점수는 93.1%, 홍수 대비 자원봉사 계획을 세우는 과제는 98.0%였다. 예산과 통근 조건에 맞는 주택을 찾는 사례에는 100%가 붙었다. 모두 오픈AI가 제시한 평가 수치이며, 주택 구매나 유치원 등록이 끝났다는 뜻은 아니다.

건강 관련 예시에는 새로 당뇨병 진단을 받은 부모를 위한 첫 주 식사 계획 작성이 포함됐다. 오픈AI가 표시한 점수는 90.4%지만, 제시된 답변도 의료진에게 물을 사항을 남겨둔 초안 형태다. 이 점수를 의료 조언의 정확성이나 치료 효과로 읽을 근거는 없다.

AI Affairs와 Unite.AI도 공개된 평가 설계와 사례 점수를 전했다. 다만 두 매체가 같은 과제를 따로 실행해 성능을 검증한 것은 아니다. 공개 페이지에서 전체 과제 수나 세부 채점 기준을 확인할 수 없어 일부 높은 사례 점수를 전체 성능으로 일반화하기 어렵다.

원문: https://openai.com/index/lifeval/

독립 확인: https://www.aiaffairs.com/technology/openai-lifeval-everyday-tasks-benchmark/

대표 이미지: AI 생성 이미지 / 데이마크