[레포트] 책임있는 AI (Responsible AI) 를 이론에서 실천으로

特集

LimChaejeong

2023.04.30

안녕하세요, 임채정입니다.
이번 2023년도 4월 20일과 21일에 일본 도쿄에서는 AWS Summit Tokyo를 개최했습니다.
다음 블로그는 금요일에 있던 [책임있는 AI (Responsible AI) 를 이론에서 실천으로]세션을 레포트로 정리한 내용입니다.

아젠다

  1. 세션 개요
  2. Responsible AI 의 배경
  3. 실천편 1 : 기계학습 프로젝트의 단계를 생각
  4. 실천편 2 : AWS 를 활용한 Responsible AI 의 실현
  5. 마무리

1. 세션 개요

개요

인공지능 기술을 사용할 때 생기는 윤리적인 문제에 대한 대응 방안을 설명한 발표입니다. 이 발표에서는 Responsible AI를 실제로 구현하는 방법을 안내하면서, 인공지능을 사용할 때 생길 수 있는 윤리적인 문제를 미리 예측하고 예방하는 방법을 제시합니다.

이 발표에서는 기술적인 내용뿐만 아니라, 기업이나 단체에서 인공지능을 사용할 때 필요한 법적, 윤리적 책임에 대해서도 다루고 있습니다. 또한, Responsible AI를 구현하는 데 필요한 데이터 수집, 모델 개발, 평가, 배포 등의 과정에서 주의해야 할 점과 Best Practice도 제시합니다.

발표자

片山 洋平

발표 난이도

Level 200 : 初級者向け

2. Responsible AI 의 배경

AI 나 ML 의 개발이 활발해지는 것과 같이 책임감을 가지고 사용하고자 하는 인식이 생겨나고 있다.
이런 프로그램은 인간에 대한 편견을 배제라고 객관적인 평가를 원하지만 실제로는 학습을 통해서도 편견이 생긴다.

그렇기 때문에 프로그램에 바이어스가 존재해 악용되는 경우가 생겨난다. 이런 바이어스의 악순환을 조심해야 한다.
바이어스란 서브그룹에 대한 시스템의 동작에 유해한 차이가 있는 것으로 [바라지 않는 변견]이라고 할 수 있다.

Responsible AI 란?

  • 공평성
    • 시스템이 유저 집단에 영향을 줄 수 있다는 것을 알아야 한다.
      • ex. 성별, 민족 등
  • 설명 가능성
    • AI 시스템의 출력결과를 이해하고 평가하는 구조
  • 견고성
    • AI 시스템의 확실한 운영을 실현하기 위한 구조
  • 프라이버시와 세큐리티
    • 프라이버시를 배려한 데이터의 이용
    • 도난, 유출로 부터 보호
  • 거버넌스
    • Responsible AI 의 실천을 정의하고 그것을 준수하기 위한 프로세스
  • 투명성
    • 이해관계자가 중분한 정보를 얻는 형태로 AI를 사용가능한 구조

결론

  • 급속하게 확대하고 있는 AI 나 ML을 사용할 때에는 책임감을 가지고 사용을 해야 한다.
  • 기계학습의 모델에는 의식하지 않은 바이어스가 포함되어 있을 가능성이 있다.
  • Responsible AI 는 몇가지의 측면이 있어 포괄적으로 생각해야 한다.
  • 조직의 비지니스 과제를 정의할 때 바이어스가 없는 메커니즘이 중요하다.

3. 실천편 1 : 기계학습 프로젝트의 단계를 생각

기계학습의 라이프사이클의 어떤 단계에도 Responsible AI 를 생각해야 한다.

  • 비지니스 과제의 정의
    • 비지니스 과제를 명확하게 할 필요가 있다. -> 유저케이스의 제약사항을 이해하는 것을 개발에 참가한 모든 사람들의 책임이다.
  • 과제의 정식화
    • 처리 방법에 대해서 다양한 이해관계자나 팀과 의논해서 다른 시점을 고려한 ML 솔루션을 책정한다.
      • 알고리즘은 논리적 문제에 적합한가? 사용가능한 다른 해결책은 없는가?
  • 데이터
    • 적절한 높은 품질의 데이터를 수집한다.
    • 샘플링, 라이센스, 프라이버시, 동의 등의 문제나 법적 고려 사항이 없는지 확인한다.
  • 알고리즘
    • 설명가능한 알고리즘이나 특정 방법으로 트레이닝가능한 알고리즘을 선택해 바이어스를 경감한다.
  • 모델
    • 전처리, 모델의 학습, 튜닝에 바이어스를 줄일 수 있는 기술을 사용한다.
    • 공평성의 지표를 사용해서 결과가 어느 정도의 공평성인지 평가한다.
  • 배포, 모니터링 & 재학습
    • 모델의 드리프트를 체크해서 모델이 계획했던 데로 사용되고 있는 것을 확인한다.

결론

  • 기계학습의 프로젝트의 라이프사이클의 전체에서 항상 Responsible AI 를 생각해야 한다.
  • 다양한 이해관계자와의 회의를 통해 다른 시점을 공유한다.
  • 사용한 데이터의 제약사항이나 바이어스를 확인하고 전처리해야 한다.
  • 모델의 설명가능성을 이해하고 바이어스를 줄이기 위한 튜닝을 한다.
  • 모델의 드리프트를 모니터링한다.

4. 실천편 2 : AWS 를 활용한 Responsible AI 의 실현

Amazon SageMaker Ground Truth

데이터의 처음부터 필요에 의해 사람의 리뷰를 받으면서 정확한 라벨을 붙일 수 있게 지원한다.

aws 엑스퍼트

AI/ML 라이프사이클 전체를 통틀어 best practices, 검사, 핸즈온을 실시

Amazon SageMaker Clarify

데이터의 준비부터 전개까지 잠재적인 바이어스를 검출한다.

  • 데이터를 준비할 때 바이어스를 검출
  • 훈련된 모델의 바이어스를 검출
  • 모델의 전체적인 동작을 설명
  • 개별의 예측을 설명
  • 시간 경과에 따른 바이어스와 드리프트를 검출
  • 검사하는 사람에게 전체적인 리포트를 제공

ML Governance tools

액세스 컨트롤을 간소화해서 투명성을 높이는 것으로 바이어스와 같은 정보를 파악한다.

  • Amazon SageMaker Role Manager
    • 템플릿에서 액세스 허가를 정의
  • Amazon SageMaker Model Cards
    • AI 에서 의도하는 유저케이스와 공평성로의 고려를 문서화
  • Amazon SageMaker Model Dashboard
    • 모델의 검사 사항등을 모니터링

결과

  • 기계학습의 라이프사이클 전체에서 Amazon SageMaker Clarify 를 사용하여 바이어스를 확인하고 의도하지 않은 바이어스를 줄인다.
  • ML Governance tools 를 사용하여 세큐리티와 거버넌스를 높인다.

5. 마무리

  • 기계학습의 모델에는 의도하지 않은 바이어스(편견)이 들어가 있을 가능성이 있어 Responsible AI 에 대해 고려해야 한다.
  • ML 라이프사이클 전체에서 Amazon SageMaker Clarify 를 사용하여 구축하고 AI 시스템에 있는 바이어스를 줄인다.
  • AI 시스템의 Responsible AI 에 대해 고려하기 위해 이해관계자와의 대화를 시작하자.
AWS