강좌 강좌
AI 위험관리 입문: 인공지능 위험관리 프레임워크(AI RMF)의 목적과 쓰임
이 강좌는 미국 국립표준기술연구소(NIST)의 인공지능 위험관리 프레임워크(AI RMF)를 소개한다. 학습목표는 AI RMF의 자발적 성격과 목적, 신뢰성 고려가 반영되는 설계·개발·사용·평가 네 활동, 생성형 AI 프로파일의 공개 목적을 설명하는 것이다. 사전지식은 'AI가 어떤 결과를 내놓는 소프트웨어'라는 이해면 충분하다.
한 문장으로 이해하기
AI 위험관리는 AI의 설계·개발·사용·평가 전반에 위험과 신뢰성 고려사항을 반영하는 활동이며, 인공지능 위험관리 프레임워크(AI RMF)는 이를 돕기 위해 미국 국립표준기술연구소(NIST)가 만든 자발적 틀이다.
신뢰성이라는 말의 구체적 정의는 이 강좌의 입력 출처가 제공하지 않는다. 이 강좌에서는 위험을 고려할 때 함께 살펴보는 성질이라는 제한적인 뜻으로만 사용한다. 자발적이라는 말은 조직이 스스로 선택해 쓰도록 NIST가 의도한 틀이라는 뜻이다.
왜 필요한가
NIST는 개인·조직·사회와 관련된 인공지능 위험을 더 잘 관리하기 위해, 민간·공공 부문과 협력해 AI RMF를 개발했다. 즉 이 프레임워크가 겨냥하는 위험은 어느 한 회사의 손해에 그치지 않고, AI를 쓰는 사람과 조직, 그리고 사회에 미치는 영향까지 포함한다.
AI RMF의 목적은 AI 제품·서비스·시스템의 설계·개발·사용·평가에 신뢰성 고려사항을 반영하는 능력을 높이는 것이다. AI RMF 1.0은 2023년 1월 26일에 공개되었고, 정보 요청과 공개 의견을 위한 초안, 워크숍 등 합의를 지향하는 공개적인 절차를 거쳐 만들어졌다.
어떻게 이루어지는가
출처가 확인해 주는 범위에서, AI RMF가 신뢰성 고려사항을 반영하도록 돕는 네 가지 활동을 정리하면 다음과 같다. 이는 시간 순서가 아니라 위험 고려가 필요한 활동의 범위다.
- 설계: AI 시스템을 어떤 모습으로 만들지 정하는 활동에 위험과 신뢰성 고려를 반영한다.
- 개발: 시스템을 실제로 만드는 활동에 신뢰성 고려사항을 반영한다.
- 사용: 시스템을 운용하는 활동에서도 위험 고려를 반영한다.
- 평가: 시스템을 따져 보는 활동에도 위험 관점을 반영한다.
다만 각 활동에서 구체적으로 어떤 방법과 도구를 써야 하는지는 이 강좌의 입력 출처가 제시하지 않는다. 세부 실행법은 AI RMF 원문과 관련 자료에서 별도로 확인해야 한다.
하나의 예시로 따라가기
아래는 이해를 돕기 위한 가상 예시다. 등장하는 회사, 서비스, 활동 내용은 모두 임의로 지어낸 설명용 설정이며, NIST의 공식 권고나 실제 사례가 아니다.
한 온라인 서점이 독자에게 책을 추천하는 AI 기능을 만든다고 가정한다. 설계 활동에서는 ‘특정 독자에게 치우친 추천이 나올 수 있다’는 걱정을 문서에 적어 둔다. 개발 활동에서는 그 걱정을 개발팀이 계속 참고한다. 사용 활동에서는 걱정했던 문제가 실제로 나타나는지 지켜본다. 평가 활동에서는 이 기능의 위험이 잘 고려되었는지 따져 본다. 이 가상 예시의 핵심은 위험 고려가 어느 한 활동만의 일이 아니라, 네 가지 활동 어디에서나 함께 반영된다는 점이다.
언제 쓰고 언제 쓰지 않는가
적용 조건부터 보면, AI RMF는 NIST가 자발적 사용을 의도한 틀이다. 조직이 스스로 판단해 활용하는 지침이라는 뜻이다.
흔한 오해도 짚어 두어야 한다. 자발적이라는 말은 위험관리가 불필요하다는 뜻이 아니라, 채택 여부를 조직이 스스로 정한다는 뜻일 뿐이다. 또한 이 강좌의 입력 출처만 보고 각 활동의 구체적 실행법이나 법·제도와의 관계를 판단해서는 안 된다.
한계도 분명하다. 이 강좌의 입력 출처만으로는 세부 실행법, 법이나 제도와의 관계, 그리고 AI 위험관리가 실패하는 원인을 설명할 수 없다. 이런 내용은 AI RMF 원문 등 추가 자료에서 확인해야 한다.
한편 NIST는 기본 프레임워크 외에 추가 자료도 공개하고 있다. 그 예로 NIST는 2024년 7월 26일 생성형 AI 프로파일(NIST-AI-600-1)을 공개했는데, 이 자료는 생성형 AI의 고유한 위험 식별을 돕고 조직의 목표와 우선순위에 맞는 위험관리 행동을 제안한다.
핵심 정리와 확인문제
AI 위험관리는 AI의 설계·개발·사용·평가 전반에 위험과 신뢰성 고려사항을 반영하는 활동이다. AI RMF는 NIST가 민간·공공 부문과 협력해 만든 자발적 프레임워크로, 개인·조직·사회와 관련된 AI 위험을 더 잘 관리하는 것을 목표로 하며, 생성형 AI의 고유한 위험을 다루는 생성형 AI 프로파일도 함께 공개되었다.
확인문제 1. AI RMF는 어떤 성격의 틀인가?
정답·해설: NIST가 자발적 사용을 의도한 프레임워크다. 조직이 스스로 채택해 신뢰성 고려 능력을 높이도록 돕는 지침이며, 자발적이라는 말이 위험관리가 불필요하다는 뜻은 아니다.
확인문제 2. AI RMF는 AI 제품·서비스·시스템의 어떤 활동들에 신뢰성 고려사항을 반영하도록 돕는가?
정답·해설: 설계·개발·사용·평가다. 가상 서점 예시처럼 네 가지 활동 어디에서나 위험 고려를 함께 반영하는 것이 핵심이다.
확인문제 3. 2024년 7월 26일 NIST가 공개한 생성형 AI 프로파일(NIST-AI-600-1)은 무엇을 다루는 자료인가?
정답·해설: 생성형 AI의 고유한 위험 식별을 돕고, 조직의 목표와 우선순위에 맞는 위험관리 행동을 제안하는 자료다.