[IT & Future Strategy] 에이전틱 AI의 자율성 확대와 신뢰 확보를 위한 정책 과제
연구 배경 및 목적
AI가 단순 답변 도구를 넘어 스스로 판단·계획·실행하는 에이전틱 AI로 전환하기 시작하면서, 기존의 결과 확인 중심의 버튼 승인(Button Approval) 방식으로는 신뢰 가능한 자율성 확보에 대한 우려 사항 등장
에이전틱 AI 오류는 잘못된 정보 출력에 그쳤던 기존 AI와 달리, 외부 시스템 접근·실행으로 직결되는 등 되돌리기 어려운 피해로 이어질 수 있다는 점에서 위험의 성격이 근본적으로 변화
① 주요국 AI 관련 제도(EU·한국·싱가포르·미국) 조사를 통해 각 국의 노력 확인 ② 하네스 엔지니어링(Harness Engineering) 기반 설계 수단 및 관련 사례를 통한 신뢰 기반 자율성 확보 방안을 도출하여 ③ 향후 에이전틱 AI가 신뢰 가능한 자율성을 갖추기 위한 정책적 논의 기여를 목적으로 함
분석 내용
[주요국 제도 비교] EU AI Act, 한국 AI 기본법, 싱가포르 MGF, 미국 AI RMF 분석 결과, 특히 EU와 한국은 법적 근거를 기반으로 한 제도적 대응 체계를 갖추고 있으며, 4개국 AI에 대한 위험 관리·인간 감독·투명성·지속적 모니터링 등을 공통 요건으로 다루고 있음을 확인
[위험 유형 분류] 싱가포르 GovTech, ARC 프레임워크는 에이전틱 AI 위험을 ① 파괴적·미승인 행동 ② 시스템 경계에서의 명령 오해석 ③ 외부의 적대적 조작으로 유형화하며, 다중 에이전트·외부 시스템 연결 시 공격 표면(Attck Surface)이 확대됨을 경고
[신뢰 기반 자율성 설계 방안] 하네스 엔지니어링(Harness Engineering)은 실행 환경 전반을 설계하는 방법론으로, ① 안전장치 설정 ② 최소 권한 원칙 ③ 인간 개입 지점 ④ 관측 가능성 등의 기능을 통해 각 국 제도가 요구하는 신뢰성 요건을 현장에서 구현하는 수단으로 활용 가능
결론 및 시사점
[정보 제공에서 행동으로의 전환] 에이전틱 AI 시대에는 사후 결과 승인이 아닌, 에이전트가 작동하는 환경과 범위 자체를 사전에 구조적으로 설계·관리하는 방향으로 정책 패러다임 전환 필요
[에이전틱 AI 개념 정의] 에이전틱 AI에 대한 사회적 정의와 기준의 명확성이 부족한 상태에서 실효성 있는 법·제도 수립이 구조적으로 어려운 만큼, 국제적 논의를 병행하여 국내 기준 정립을 위한 논의 필요
[검증 체계 구축] 신뢰성 요건을 갖추더라도 현장 적용 수준을 판단할 기준이 없으면 실효성이 제한되므로, 이를 실질적으로 판단할 수 있는 성능 평가 프레임워크 및 안전·신뢰 검증 체계 등을 구축하여 제도와 현장을 연결하는 방안 마련
[에이전틱 AI 생태계 논의 확산] 과기정통부 주도로 출범한 에이전틱 AI 얼라이언스(’26.4.1. 출범)와 같이, 산·학·연·관의 다양한 의견을 수렴하고, 에이전틱 AI의 기술 개발·산업 적용·생태계 확산·안전 확보 등을 아우르는 논의의 장을 통해 안전하고 신뢰 가능한 에이전틱 AI 생태계 조성을 기대
작성 및 문의
인공지능정책실 미래전략팀 이석형 선임연구원(053-230-1285, lesh@nia.or.kr)