[단독] '독파모 탈락' 모티프 대표 '벤치맥싱 아니다' 항변…"에이전트 성능 위한 협업"

[아이뉴스24 서효빈 기자] 정부의 '독자 인공지능(AI) 파운데이션 모델' 사업에 참여한 모티프테크놀로지스의 '모티프 3' 개발 과정에 벤치마크 성능 개선을 주요 사업으로 하는 해외 업체가 참여한 사실이 확인됐다. 이에 대해 임정환 독파모 대표는 "에이전트 성능을 높이기 위한 협업"이라며 벤치마크 점수만을 겨냥한 것은 아니라고 해명했다. 하지만 AI 업계에서는 "의도와 상관 없이 외부 업체와 협업했다면 적용 전후 성능 변화와 활용 방식을 공개해야 한다"며 과정의 투명성을 지적했다.

모티프 3 개발에 애프터쿼리 참여…'벤치맥싱' 논란

27일 AI 업계에 따르면 미국 AI 데이터 기업 애프터쿼리는 최근 링크드인을 통해 모티프 3 개발 과정에서 자신들이 '유일한 데이터 파트너(sole data partner)'로 참여했다고 밝혔다.

애프터쿼리는 AI 모델의 벤치마크 성능을 평가해 취약한 영역을 파악하고 이를 개선할 수 있는 데이터와 학습 방법을 제공하는 사업을 하고 있다. 업계에서는 특정 벤치마크에서 높은 점수를 얻도록 데이터와 사후학습 방식을 정교하게 설계하는 작업을 '벤치맥싱'이라고 부르기도 한다.

애프터쿼리는 모티프와의 협업 사실을 공개하면서 모티프 3가 τ³-Banking, τ²-Bench Telecom, Terminal-Bench 2.1, SWE-bench Verified 등 주요 벤치마크에서 높은 성능을 기록했다고 강조했다. 이 중 τ³-Banking과 Terminal-Bench 2.1은 현재, τ²-Bench Telecom은 과거 AAII 구성 항목이다.

AAII는 글로벌 AI 분석기관 아티피셜 애널리시스가 여러 벤치마크 성적을 종합해 산출하는 AI 모델 성능지표로, 모티프 3는 독파모 2차 평가에서 47점을 기록해 참여 모델 가운데 가장 높은 성적을 냈다.

앞서 지난 7월 국제머신러닝학회(ICML)를 전후해서는 독파모 참여 업체들이 애프터쿼리로부터 벤치마크 성능 개선을 위한 협업 제안을 받은 것으로 알려졌다. 이후 업계에서는 특정 벤치마크의 특성을 분석해 이에 맞는 데이터와 학습 방식을 적용하는 '벤치맥싱'이 독파모 평가에도 활용될 수 있다는 우려가 제기됐다.

모티프 "벤치마크 점수용 아냐" vs 업계 "외부 협업은 공개해야"

모티프 측은 애프터쿼리와의 협업이 특정 벤치마크 점수를 끌어올리기 위한 것은 아니라고 해명했다. 임정환 모티프테크놀로지스 대표는 본지와의 통화에서 "애프터쿼리는 다양한 종류의 에이전트 태스크 데이터를 판매하는 회사"라며 "일반적인 사용성을 확보하려면 다양한 종류의 에이전트 태스크를 수행할 수 있어야 하고 그러려면 결국 데이터가 필요하다"고 말했다.

이어 "그 데이터를 사용했으니 (벤치마크) 점수가 1점이 오르든 2점이 오르든 어쨌든 에이전트 성능이 오르니까 점수가 오르는 것"이라고 설명했다.

반면 AI 업계에서는 협업 목적과 별개로 벤치마크 특화 노하우를 가진 외부 업체가 학습 과정에 참여한 만큼 협업 내용과 성능 기여도를 투명하게 공개해야 한다는 지적이 나온다.

한 AI 업계 관계자는 "애프터쿼리는 특정 벤치마크의 특성에 맞는 데이터와 학습 노하우를 제공하는 회사"라며 "외부 업체와 협업했다면 적용 전후 성능 변화와 활용 방식을 테크니컬 리포트 등을 통해 공개할 필요가 있다"고 말했다.

이 관계자는 "SK텔레콤의 경우에도 데이터 전문기업 셀렉트스타를 독파모 컨소시엄에 참여시키고 협력 사실을 공개했다"고 덧붙였다.

한편 모티프 3은 독파모 2차 평가에서 글로벌 AI 종합 성능지표인 AAII 47점을 기록해 참여 모델 가운데 가장 높은 성적을 냈지만 종합평가에서는 탈락했다. 이에 모티프는 27일 과학기술정보통신부에 2차 단계 선정 결과에 공식 이의를 제기하고 세부 평가점수와 평가 기준 공개, 재심의를 요청했다.