오픈AI 최신 AI 아스트라가 5위?…AAII 벤치마크 실효성 논란

[아이뉴스24 서효빈 기자] 오픈AI의 새 모델 'GPT-6 아스트라(Astra)'를 두고 인공일반지능(AGI)에 가까워졌다는 평가가 잇따르고 있다. 하지만 우리 정부의 '독자 AI 파운데이션 모델' 평가에 활용된 AAII(아티피셜 애널리시스)에서는 기대 이하의 성적을 기록하면서 벤치마크가 실제 성능을 충분히 반영하는지를 놓고 미국 현지에서 논란이 일고 있다.

7일 AI 업계에 따르면 글로벌 AI 모델 분석기관 AAII가 아스트라 공개 직후 AAII v4.1.1로 평가한 결과 최대 추론 모델은 61점을 기록했다. 전체 202개 모델 가운데 공동 5위다. 전작인 'GPT-5.6 Sol'과 같은 점수로 세대가 바뀐 신형 모델임에도 종합 점수에서는 뚜렷한 도약이 나타나지 않았다

반면 모델 공개 이후 성능을 두고는 호평이 이어졌다. 코딩과 장기 업무 수행, 컴퓨터 사용, 외부 도구 활용 등 에이전트형 작업 능력이 전작보다 크게 개선됐다는 평가다. 단순 질의응답 성능을 넘어 여러 단계를 거쳐 복잡한 업무를 스스로 수행하는 능력이 강화됐다는 점이 주목받았다. 젠슨 황 엔비디아 최고경영자(CEO)는 아스트라 공개 이후 "AGI가 도래했다"고 평했다. 그렉 브록먼 오픈AI 사장도 아스트라를 "세대적 도약"이며 "AGI 시대에 온 것을 환영한다"고 평가했다. 인공일반지능(AGI)은 특정 과제에 한정되지 않고 인간처럼 다양한 분야의 문제를 이해하고 학습해 해결할 수 있는 범용 인공지능을 뜻한다.

이같은 호평과는 달리 벤치마크 점수가 낮게 나오자 AAII를 둘러싼 논란이 제기됐다. 아스트라 공개 당일 레딧의 한 이용자는 "Sol과 같은 AA 점수를 받은 것을 보면 이 벤치마크를 얼마나 신뢰할 수 있는지 의문이 든다"고 꼬집었다. 해외 테크 전문 매체 더 디코더도 "기존 벤치마크가 GPT-6 아스트라의 실제 발전을 포착하지 못했다"고 지적했다.

AAII는 정부의 '독자 AI 파운데이션 모델' 평가에 활용된 바 있다. 독파모 2차 평가에서 모티프테크놀로지스의 '모티프3'가 AAII에서 참여 모델 중 가장 높은 47점을 받았지만 종합평가에서 탈락하는 과정에서 벤치맥싱 논란을 일으킨 바 있다. 벤치맥싱이란 AI가 전반적인 성능을 키우기보다 벤치마크 점수를 높이는 데만 집중해 사후 학습과 데이터를 최적화하는 것을 가리킨다.

AAII가 아스트라에 대한 평가 역시 제대로 반영하지 못한다는 지적이 제기되면서 독파모 3차 평가 방식에도 관심이 쏠리고 있다. AAII가 AI의 전반적인 성능을 충분히 반영하지 못한다면 평가 비중이나 활용 방식에 대한 재검토가 필요하기 때문이다. 최병호 고려대 인공지능연구소 교수는 "벤치마크와 실제 사용성 사이에 괴리가 있을 수밖에 없다"며 AI 평가에서 지나치게 벤치마크에 의존하는 것을 경계해야 한다고 지적했다.