벤치마크 데이터셋 현황 분석 및 정부 주도의 벤치마크 마련 필요성

연구 배경 및 필요성

AI 기술의 고도화와 대규모 언어모델(LLM)의 확산으로 모델 출시와 경쟁이 가속화되면서, AI 성능을 공정하고 신뢰성 있게 비교·검증할 수 있는 평가 체계의 중요성이 커지고 있다.특히 자연어 이해·추론·복합 문제 해결 등 정량화가 어려운 능력이 핵심 성능으로 부상함에 따라, 기존 통계 기반 평가 방식만으로는 AI의 실제 역량과 활용 가능성을 충분히 설명하는 데 한계가 나타나고 있다.이러한 환경에서 벤치마크 데이터셋은 AI 모델의 성능과 한계를 객관적으로 검증하는 핵심 평가 인프라로 주목받고 있으며,본 보고서는 국내외 주요 벤치마크 데이터셋 현황을 분석하고 언어·제도·활용 맥락을 고려한 평가 체계 마련의 필요성과 시사점을 제시한다.

벤치마크 데이터셋이란?

벤치마크 데이터셋은 표준화된 문제와 평가 기준을 통해 동일한 조건에서 여러 AI 모델의 성능을 객관적으로 비교·검증할 수 있도록 설계된 평가 인프라로,최근 대규모 언어모델(LLM) 평가의 핵심 수단으로 활용되고 있다.

글로벌 주요 벤치마크 데이터셋 현황 및 특징

LLM 평가를 위한 벤치마크 데이터셋은 크게 ①범용 능력(General Capabilities), ②도메인 특화(Domain-Specific), ③목적 지향(Target-Specific)으로 구분이 가능하다.본 보고서는 벤치마크 데이터 제안 논문의 학술적 영향력, 허깅페이스 Open LLM Leaderboard 등주요 공개 리더보드에서의 활용도, 글로벌 주요 기업의 성능 공개 시 활용 사례, 그리고 서베이 연구 논문을 종합적으로 검토하여 9가지* 주요 LLM 벤치마크 데이터셋을 선정·정리하고 그 현황을 제시한다.* MMLU, SuperGLUE, HLE, MATH, GPQA, HumanEval, TruthfulQA, IFEval, AgentBench

국내 LLM 벤치마크 데이터셋 현황 및 과제

국내 LLM 벤치마크는 한국어 이해와 지식 평가를 중심으로 구축되어 왔으며, 해외 주요 벤치마크를 기반으로 한 현지화 중심의 발전을 통해 기본적인 평가 체계는 일정 수준까지 확보한 것으로 평가된다.다만 상위권 LLM의 성능 고도화로 범용 벤치마크의 변별력이 약화되고, 법·행정·의료 등 핵심 도메인과 AI 안전·에이전트·멀티모달 등 목적 지향 평가 영역에서는 국내 벤치마크가 여전히 제한적인 상황이다.특히 민간·비영리 주체 중심의 구축 방식은 민감 데이터 접근, 비용 부담, 장기 운영 측면에서 구조적 한계를 드러내고 있어,사회·제도적 맥락을 반영한 평가 과제의 고도화와 함께 공정성·재현성·지속성을 갖춘 공공 중심의 벤치마크 체계로의 전환 필요성이 제기된다.

국내 AI 활용 환경을 반영한 벤치마크 마련의 전략적 의미

국내 AI 활용 환경을 반영한 공공 벤치마크 마련은 기업 규모나 자본력과 무관하게 동일한 기준에서 모델 성능을 검증할 수 있는 공정한 경쟁 환경을 조성한다.민간 중심의 평가 방식은 이해관계 개입, 비용 부담 등 평가의 공정성과 접근성에 한계가 있는 반면, 정부 주도의 평가 인프라는 스타트업·중소기업·연구 기관까지 동등하게 기술력을 입증할 수 있는 기반을 제공한다.

사회·문화적 활용 맥락을 반영한 벤치마크는 글로벌 AI 평가 체계에서 한국이 단순한 기준 수용자에 머무르지 않고, 평가 관점과 맥락을 제시하는 참여 기반을 확보하는 데 기여한다.

특히 공공부문 AI 활용은 국민의 권리와 안전에 직접적인 영향을 미치는 만큼, 행정·법·제도·문화·안보적 맥락을 반영한 안전·책임 평가 기준 마련이 중요하다.국내 활용 환경을 반영한 벤치마크는 단순 성능 비교를 넘어, 한국 사회에서 허용 가능한 AI 활용 범위와 책임 기준을 구조적으로 검증하는 핵심 평가 수단으로 자리 잡을 것으로 기대된다.

벤치마크 데이터셋 마련을 위한 정부의 전략적 역할

벤치마크 데이터셋은 난이도나 규모보다 ‘무엇을 평가할 것인가’에 대한 사회적 합의에서 출발하며, 산·학·연 주체 간 공감대가 형성될 때 공신력 있는 평가 기준으로 자리 잡을 수 있다.이를 위해서는 개별 기업이나 연구자 중심의 단발성 논의를 넘어, 실제 활용 시나리오에 기반한 평가 과제를 지속적으로 논의할 수 있는 협력 구조가 필요하다.이러한 사회적 합의를 실질적인 평가 인프라로 연결하기 위해서는 정부의 조정·중개 역할이 필수적이다.정부 주도의 민관 협력 거버넌스는 AI 생태계 내 다양한 주체의 역할을 유기적으로 연결하고, 국가 차원의 자원을 결집함으로써 사회적 맥락과 활용 환경을 반영한 벤치마크 데이터셋 구축을 가능하게 한다.아울러 AI 기술 발전 속도가 빨라짐에 따라 벤치마크 데이터와 리더보드는 장기적 유지·관리 없이는 변별력과 신뢰성을 상실할 수 있어, 지속 가능한 운영 체계 마련이 중요하다.특히 벤치마크 갱신, 리더보드 운영, 평가 과제의 리타이어먼트 관리는 민간 단독으로 수행하기 어려운 영역으로, 공공의 중립적 관리가 요구된다.이러한 점에서 벤치마크는 단기 성과 비교를 넘어 정부가 책임지고 운영해야 할 국가 차원의 AI 평가 인프라로서, 국내 AI 기술 고도화와 산업 경쟁력 강화를 뒷받침하는 기반으로 기능할 수 있다.

작성 및 문의

인공지능정책실 미래전략팀 정현영 선임연구원(053-230-1203, hyeon0@nia.or.kr)