금융회사의 인공지능(AI) 활용 범위가 빠르게 넓어지면서 AI의 오류와 편향, 보안 위협 등을 사전에 점검할 수 있는 금융권 전용 평가체계가 마련된다.
금융보안원은 금융회사가 사용하는 AI의 안전성과 신뢰성을 기술적으로 검증할 수 있는 ‘금융 AI 안전성·신뢰성 평가 프레임워크’를 개발했다고 12일 밝혔다. 금융산업에 특화된 AI 안전성·신뢰성 평가체계가 마련된 것은 국내에서 처음이다.
최근 금융당국의 망분리 규제 완화와 생성형 AI 도입 확대 등으로 금융권의 AI 전환(AX)이 속도를 내고 있다. 특히 AI가 상담이나 내부 업무 지원을 넘어 금융회사의 핵심 업무로 적용되는 사례가 늘어나면서 잘못된 답변을 생성하는 이른바 ‘환각’이나 시스템 오작동, 보안사고 등 새로운 위험을 관리할 필요성도 커지고 있다.
이번 프레임워크는 AI를 단순히 성능 측면에서 평가하는 데 그치지 않고 신뢰성과 보안성을 함께 들여다보는 것이 특징이다.
신뢰성 분야에서는 ▲모델 성능 관리 ▲데이터 품질 관리 ▲공정성·편향성 ▲설명가능성 등 4개 영역을 살핀다. AI가 일정 수준의 성능을 유지하는지와 환각 등 오류 발생 여부를 점검하고, 활용 데이터의 정확성과 완전성, 의사결정 과정의 편향 여부와 설명 가능성 등도 평가한다.
안전성 분야에서는 ▲AI 특화 보안위협 관리 ▲공격 탐지·대응 ▲AI 모델과 관련 자산 보호 ▲외부 모델·데이터 검증 ▲기존 금융보안 체계의 AI 환경 확장 적용 ▲운영 전 보안 검증 및 관리체계 구축 여부 등을 평가한다. 외부에서 도입한 AI 모델이나 데이터를 사용할 경우 해당 모델의 신뢰성과 안전성뿐 아니라 공급망에서 발생할 가능성이 있는 보안 문제도 검증하도록 했다.
금융보안원은 금융위원회의 ‘금융분야 인공지능 가이드라인’을 비롯해 국내 관련 제도와 국제 표준, 해외 AI 평가기준 등을 분석해 이번 체계를 설계했다. 이를 통해 금융회사가 요구받는 신뢰성·보안성 원칙을 실제 기술 수준에서 확인할 수 있도록 했다는 설명이다.
평가체계는 올해 시범 운영을 거쳐 내년부터 현장에 적용된다. 금융보안원은 오는 14일 금융회사 대상 온라인 설명회를 열고 9월 중 수요조사를 진행한 뒤 하반기 시범검증에 들어갈 예정이다.
시범검증 과정에서는 금융회사별 AI 활용 환경에 평가체계를 직접 적용해 실효성을 점검하고 부족한 부분을 보완한다. 이후 2027년 금융보안원 대의원사를 대상으로 평가를 우선 실시한 뒤 운영 상황에 따라 적용 대상을 확대하는 방안을 검토한다.
향후에는 이번 프레임워크를 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI 기본법)’에 따른 AI 안전성·신뢰성 검증·인증체계로 활용하는 방안도 추진한다.
박상원 금융보안원장은 “금융산업의 특수성을 반영한 첫 AI 안전성·신뢰성 평가체계라는 데 의미가 있다”며 “실제 AI 서비스에서 발생할 수 있는 위험을 검증할 수 있도록 기술적 평가기준을 강화하고 향후 금융권 표준체계로 발전시키겠다”고 밝혔다.
