2026년 8월 18일 과학기술정보통신부는 ‘독자 AI 파운데이션 모델’ 프로젝트 2차 평가 결과를 발표했다. 업스테이지·SK텔레콤·LG AI연구원 팀은 다음 단계로 진출했고, 모티프테크놀로지스는 탈락했다. 논쟁은 모티프의 Motif 3가 글로벌 평가기관 Artificial Analysis의 지능지수, 즉 AAII에서 국내 참가 모델 가운데 가장 높은 성적을 냈다는 사실에서 시작됐다.
그러나 “성능 1위가 탈락했다”는 문장은 절반만 맞다. 모티프가 앞선 것은 전체 평가가 아니라 100점 중 25점이 배정된 AAII 항목이다. 그렇다고 논쟁이 단순한 오해로 끝나는 것도 아니다. 국가가 막대한 계산자원과 정책 지원을 집중할 모델을 고른다면, 무엇을 성능으로 정의했고 성능 외 요소에 왜 그만큼의 점수를 주었는지 시민이 이해할 수 있어야 하기 때문이다.
AAII 1위는 왜 종합평가 1위를 뜻하지 않았나
2차 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 벤치마크 안에서도 글로벌 범용 성능을 보는 AAII가 25점, 한국어·수학·지식·장문 이해·지시 이행·안전성·신뢰성을 평가한 NIA 지표가 15점이었다. 전문가 평가는 개발전략과 기술, 개발성과와 계획, 국내외 생태계 파급효과를 보았고, 사용자 평가는 AI 전문 사용자 49명과 일반 국민 185명의 사용 경험을 반영했다.
8월 20일 공개된 세부 결과에 따르면 모티프는 AAII 환산점수 11.9점으로 가장 높았다. NIA 평가는 SK텔레콤이 13.4점, 전문가 평가는 LG AI연구원이 29.5점으로 최고점을 받았다. AI 전문 사용자 평가는 SK텔레콤이 11.6점, 국민 평가는 LG가 7.6점으로 앞섰다. 업스테이지는 개별 항목 1위가 없었지만 종합 결과로 통과했다. 이는 다섯 개 항목의 가중합이 단일 순위와 다른 결과를 만들 수 있음을 보여준다.
정부 브리핑에 따르면 네 팀의 벤치마크 평균은 40점 만점에 22.5점이었고 1위와 4위 차이는 4점이었다. 전문가 평가는 평균 28.8점에 격차 2.4점, 사용자 평가는 평균 17.6점에 격차 5점이었다. 정부도 특정 항목 하나가 당락을 결정했다기보다 작은 차이가 합쳐진 결과라고 설명했다.
벤치마크는 중요하지만 국가 AI 전체를 측정하지 못한다
AAII는 에이전트, 코딩, 과학적 추론과 일반 역량을 여러 평가로 결합한 지표다. Artificial Analysis도 이 지수가 모델 비교에 유용하지만 모든 사용 사례에 직접 적용되지는 않는다고 밝힌다. 현재 방법론은 주로 텍스트와 영어에 기반한다. 한국 행정문서 처리, 국내 법률 맥락, 한국어 안전성, 국산 반도체에서의 효율을 모두 한 숫자로 설명할 수는 없다.
반대로 “생태계가 중요하다”는 말도 무제한의 재량을 정당화하지 않는다. 현장 실증, 국산 NPU와의 결합, 오픈 생태계 기여는 AI 주권에 필요한 요소다. 그러나 질적 평가의 비중이 커질수록 평가자의 판단 근거, 이해충돌 관리, 팀별 점수와 불확실성을 더 자세히 공개해야 한다. 공개되지 않은 재량은 다양성을 지키는 장치가 아니라 정책 신뢰를 약화하는 요인이 될 수 있다.
Epoch AI의 ‘주목할 만한 모델’ 데이터베이스도 같은 교훈을 준다. 이 분류는 단순 성능 순위가 아니라 출시 당시 최고 수준의 진전, 높은 인용, 역사적 중요성, 대규모 사용, 상당한 개발비용 같은 여러 기준을 사용한다. 정부는 네 팀 모델이 모두 이 목록에 등재됐다고 설명했지만, 등재 자체가 네 모델의 순위나 정책 지원의 우선순위를 결정하지는 않는다.
AI 주권은 ‘국가대표 한 팀’을 뽑는 일이 아니다
Stanford HAI의 2026 AI Index는 AI 주권이 국가정책의 핵심 축이 되고 있지만 모델 생산은 여전히 미국과 중국에 집중돼 있다고 진단한다. 오픈소스 기여는 참여 지역과 언어를 넓히지만, 계산자원·데이터·인재·배포 인프라의 격차까지 자동으로 없애지는 않는다.
따라서 AI 주권은 가장 높은 점수의 모델 하나를 소유하는 상태가 아니다. 필요한 모델을 국내에서 개발하거나 수정할 역량, 민감한 데이터를 통제할 능력, 국산 하드웨어와 연결할 도구, 실패를 독립적으로 평가할 제도, 여러 기업이 다음 도전을 이어갈 생태계가 함께 있어야 한다. 앞서 이 블로그가 살펴본 각국의 AI 주권 경쟁도 모델 국적보다 이 통제구조의 중요성을 강조했다.
그 관점에서 성능·사용성·생태계를 함께 평가한 방향 자체는 타당하다. 문제는 ‘무엇을 함께 보았는가’가 아니라 ‘왜 그 비율로 보았으며 결과를 재현할 수 있는가’다. 정책목표가 프런티어 모델 확보인지, 공공서비스 적용인지, 국내 산업생태계 육성인지에 따라 가중치는 달라져야 한다. 서로 다른 목표를 한 점수로 합치면 높은 총점은 얻을 수 있어도 무엇에 강한 모델인지 흐려진다.
다음 평가에서 공개해야 할 다섯 가지
- 목적의 우선순위: 최고 성능·공공 활용·산업 육성 가운데 무엇이 핵심 목표인지 먼저 밝힌다.
- 전체 점수표: 모든 팀의 세부 점수와 종합점수, 환산 방식을 공개한다.
- 불확실성: 반복 평가의 변동폭과 평가자 간 편차를 함께 제시한다.
- 가중치 민감도: 배점을 조금 바꿨을 때 순위가 얼마나 달라지는지 보여준다.
- 탈락 이후의 경로: 특정 항목에서 세계적 경쟁력을 보인 팀이 생태계에서 사라지지 않도록 후속 지원 원칙을 마련한다.
NIST의 생성형 AI 위험관리 프로필은 모델 평가를 일회성 시험이 아니라 거버넌스·위험 파악·측정·관리로 이어지는 생애주기 과정으로 본다. 국가 AI도 선발일의 점수만으로 완성되지 않는다. 배포 이후 성능 저하, 안전사고, 데이터 편향과 실제 비용을 계속 공개하고 다시 평가해야 한다.
이번 결과가 보여준 것은 모티프의 실패도, 벤치마크의 무용함도 아니다. 하나의 숫자로는 국가 AI의 가치를 모두 설명할 수 없다는 사실이다. 다만 여러 기준을 합칠수록 평가는 더 투명해야 한다. AI 주권은 정부가 승자를 정하는 권한에서 생기지 않는다. 시민과 연구자, 기업이 그 선택의 근거를 검증할 수 있을 때 비로소 공공의 역량이 된다.
국민이 AI를 실제로 사용하고 평가하는 문제는 ‘모두의 AI’와 교육의 변화에서 살펴본 AI 리터러시와도 연결된다. 사용자 참여가 장식적인 점수가 되지 않으려면 평가 과제와 표본 구성, 응답 편차까지 공개돼야 한다.
핵심 자료
- 대한민국 정책브리핑, 독자 AI 파운데이션모델 프로젝트 2차 단계평가 결과, 2026년 8월 18일.
- 과학기술정보통신부, 2차 단계평가 기준과 결과 상세 설명, 2026년 8월 20일.
- Artificial Analysis, Intelligence Benchmarking Methodology, 2026년 확인.
- Epoch AI, Data on AI Models, 2026년 8월 25일 갱신.
- Stanford HAI, The 2026 AI Index Report, 2026년.
- NIST, Generative AI Profile, 2024년 7월 26일·2026년 4월 8일 갱신.
댓글
댓글 쓰기