“벤치맥싱 없었다” 정부, 독파모 2차 결과 발표… ‘종합 결과’ 당락

[산업일보]
글로벌 AI 모델 평가지표 ‘아티피셜 애널리시스 인텔리전스 인덱스(AAII)’에서 국내 최고점을 기록한 모티프테크놀로지스가 정부의 ‘독자 인공지능(AI) 파운데이션 모델(독파모)’ 육성 사업 2차 평가에서 탈락했다. 평가를 둘러싸고 제기된 특정 벤치마크 과적합, 이른바 ‘벤치맥싱’ 의혹도 쟁점이 됐다.

정부는 벤치맥싱 논란과 관련해 AAII 측 검증에서 체계적인 암기나 과적합을 입증할 단서가 발견되지 않았으며, 전문가 검증에서도 불공정한 기술 지원 등이 확인되지 않았다고 밝혔다.

과학기술정보통신부와 정보통신산업진흥원(NIPA)은 18일 이 같은 내용의 독파모 2차 단계평가 결과를 발표했다.

2차 평가는 벤치마크 평가(40점), 전문가 평가(35점), 사용자 평가(25점)로 진행됐다. 1차 평가와 달리 글로벌 벤치마크 지표를 도입하고 일반 국민이 참여하는 사용성 평가를 신설했다.

평가 결과 벤치마크 부문에서 4개 팀의 평균은 22.5점이었으며, 1위와 4위 간 격차는 4.0점이었다. 전문가 평가는 평균 28.8점에 1·4위 간 격차 2.4점, 사용자 평가는 평균 17.6점에 5.0점의 차이를 보였다. 류제명 과기정통부 2차관은 모든 평가 영역에서 일관되게 1위를 기록한 팀은 없었으며, 영역별 점수 차이도 크지 않았다고 설명했다.

모티프의 탈락 배경에 대한 설명도 나왔다. 류 차관은 모티프의 기술력이 세계적 수준으로 평가됐지만 전문가 평가와 사용자 평가에서는 다른 모델보다 상대적으로 낮은 점수를 받았다고 설명했다. 사용자 평가 가운데 이번에 신설된 일반 국민 평가에는 10점이 배정됐다. 류 차관은 최종 검토 결과 일반 국민 평가가 당락에 직접적인 영향을 미치지는 않았다고 밝혔다.

정부는 평가 공정성을 둘러싼 벤치맥싱 의혹에 대해서도 설명했다. 앞서 업계 일각에서는 특정 기업이 벤치마크 문제 유형을 사전 학습해 평가에서 유리한 점수를 얻었다는 의혹이 제기됐다.

류 차관은 “AAII 측에 공식 검증을 직접 의뢰한 결과, 시험을 잘 보기 위한 목적의 최적화 시도를 자체 차단하고 있으며, 체계적인 암기나 과적합 문제를 입증할 만한 단서를 찾지 못했다는 공식 답변을 받았다”고 밝혔다. 이어 전문가 검증에서도 불공정한 기술 지원 등이 확인되지 않았으며, 이에 따라 벤치맥싱 의혹은 평가에 반영하지 않았다고 설명했다.

정부는 3단계에 진출한 3개 정예팀을 대상으로 고성능 그래픽처리장치(GPU)인 ‘B200’을 1천 장 수준까지 확대 지원할 방침이다. 3개 팀에 6개월간 지원될 GPU 인프라 대여 비용은 약 1천200억 원 규모다.

정부는 지난해 말 1차 평가를 거쳐 4개 정예팀을 선발하고 2차 평가를 진행했다. 평가 결과 모티프를 제외한 업스테이지, SK텔레콤, LG AI연구원 등 3개 팀이 다음 단계에 진출했다. 정부는 3차 평가를 거쳐 내년 초 최종 2개 정예팀을 선정할 예정이다.

과기정통부는 빠르게 변화하는 글로벌 AI 시장을 고려해 차세대 지원 체계 개편안을 마련해 발표할 계획이라고 밝혔다.