콜롬비아 법률문항 1042개로 AI 15종 평가…객관식 성적과 서술 답변 격차

콜롬비아 로스안데스대 연구진이 현지 법률문항 1042개로 AI 모델 15종을 시험한 결과, 객관식 최고 정답률은 90.5%였지만 서술형 답변의 사실성 평가 점수는 어느 모델도 1점 만점에 0.451을 넘지 못했다. 법률 답변이 질문과 관련 있어 보여도 정확한 조문과 판례를 확인해야 한다는 연구 결과다.

객관식 305개, 서술형 737개 따로 평가

연구진은 2일 공개한 사전공개 논문에서 헌법·행정법·형법 등 콜롬비아 법률 10개 분야의 문제를 제시했다. 문항은 객관식 305개, 짧은 서술형 682개, 사례 분석형 55개로 구성했다. 학생과 법률팀이 만든 문제를 법률 전문가가 검토했으며, 모델은 인터넷이나 외부 도구 없이 각 문제에 한 번씩 답했다.

객관식에서는 제미나이 3.1 프로 프리뷰의 정답률이 90.5%로 가장 높았다. 반면 자유서술 답변 737개를 전문가 작성 기준답안과 비교한 자동 평가에서 가장 높은 모델의 사실성 점수는 0.451이었다. 두 수치는 채점 방식과 문제 유형이 달라 같은 의미의 정답률로 나란히 비교할 수 없다. 특히 0.451은 ‘답변의 45.1%가 틀렸다’는 비율이 아니다.

인용한 법조문도 별도 대조

연구진이 서술형 350문항의 답변에서 번호가 붙은 법규 인용 5140건을 별도 분류한 결과, 53.2%는 적절한 근거였고 45.2%는 실제 존재하지만 주장을 뒷받침하지 않는 법규를 가리켰다. 나머지 1.6%는 존재하지 않는 법규로 분류됐다. 이 분류는 자동 평가자가 수행했으며 일부 사례는 법률팀이 다시 확인했다.

미국 법원 판례에 관한 앞선 별개 연구도 AI가 사실과 다른 법률 답변을 내놓는 문제를 보고했다. 다만 두 연구는 국가와 법체계, 시험 모델, 질문 및 채점 기준이 달라 오류율을 직접 비교할 수 없다.

이번 평가에는 검색으로 현행 법령을 찾아 답하는 방식이 포함되지 않았다. 서술형 전체를 사람이 채점한 것도 아니고 사례 분석형은 55문항에 그쳤다. 연구진은 자동 점수가 모델 간 순위를 살피는 데 도움이 되지만 개별 답변의 법적 타당성을 보증하지는 않는다고 밝혔다. 콜롬비아 법률에 관한 이 결과를 한국 법률 상담의 오류율로 옮겨 해석해서도 안 된다.

대표 이미지: AI 생성 이미지 / 데이마크

원문: https://arxiv.org/html/2610.03639
독립 배경 연구: https://arxiv.org/abs/2401.01301