머신러닝 공정성 입문: 데이터와 예측의 편향 점검하기

한 문장으로 이해하기

머신러닝 모델을 책임감 있게 평가한다는 것은 전체 손실 지표만 계산하는 데서 멈추지 않는다는 뜻이다. 여기서 전체 손실 지표란 모델의 전체 손실을 나타내는 지표를 말한다. 책임 있는 평가는 이 지표 계산에 더해 학습 전 데이터 점검과 학습 후 예측 평가를 함께 수행한다.

여기서 말하는 편향(bias)은 윤리·공정성 맥락의 편향, 곧 사람의 판단에 스며든 치우침을 가리킨다. 이 강좌의 학습목표는 세 가지다. 첫째, 사람의 편향이 머신러닝 알고리즘에 의해 의도하지 않게 재현될 수 있음을 인식한다. 둘째, 모델 학습 전에 데이터에서 잠재적인 편향의 원인을 살핀다. 셋째, 학습 후 예측 결과를 공정성 관점에서 평가한다.

사전지식으로는 머신러닝 입문 수준의 개념이 필요하다. 구체적으로는 선형 회귀, 로지스틱 회귀, 분류, 수치형·범주형 데이터 처리, 그리고 데이터셋·일반화·과적합의 기초가 여기에 해당한다.

왜 필요한가

모델의 성능을 확인할 때 흔히 전체 손실 지표 하나만 계산한다. 그러나 책임 있는 평가를 위해서는 그것만으로 충분하지 않다. 학습에 쓰인 데이터 자체를 점검하고, 모델이 내놓는 예측 결과를 편향 관점에서 따로 평가해야 한다.

그 이유는 사람의 편향이 머신러닝 알고리즘에 의해 의도하지 않게 재현될 수 있기 때문이다. 곧, 사람의 치우침이 학습 데이터에 나타나 있으면 알고리즘이 그것을 의도치 않게 되풀이할 수 있다. 그래서 학습 전 데이터 점검과 학습 후 예측 평가를 함께 수행하는 것이 책임 있는 인공지능(AI) 개발의 기본이다.

어떻게 이루어지는가

편향 점검은 다음 네 단계로 정리할 수 있다.

1. 편향 유형 파악: 머신러닝 알고리즘이 의도치 않게 재현할 수 있는 사람의 일반적인 편향 유형을 먼저 이해한다.
2. 데이터에서 편향 식별: 모델을 학습시키기 전에 데이터에서 잠재적인 편향의 원인을 살핀다.
3. 편향 완화 전략 검토: 식별된 편향의 영향을 줄이기 위한 완화 전략을 검토한다.
4. 공정성 관점의 예측 평가: 학습이 끝난 모델의 예측 결과를 공정성 관점에서 평가한다. 이 평가와 관련해 인구 통계적 동등성(demographic parity), 기회 균등(equality of opportunity), 반사실적 공정성(counterfactual fairness) 같은 개념이 다루어진다.

하나의 예시로 따라가기

아래는 개념 이해를 돕기 위한 가상 예시이며, 출처 자료의 실제 사례가 아니다.

어느 학습자가 회원의 서비스 재가입 여부를 예측하는 분류 모델을 만드는 연습을 한다고 가정하자.

1단계 — 편향 유형 파악: 모델을 만들기 전에, 사람의 편향이 어떤 유형으로 나타날 수 있는지 공부한다.

2단계 — 데이터에서 편향 식별: 학습 데이터를 열어 레이블(모델이 맞히려는 정답 값, 여기서는 재가입 여부)과 데이터의 상태를 살핀다. 학습 전에 잠재적인 편향의 원인이 있는지 확인하는 단계다.

3단계 — 편향 완화 전략 검토: 앞 단계에서 의심스러운 부분을 찾았다면, 그 영향을 줄일 수 있는 완화 전략을 검토한 뒤 모델을 학습시킨다.

4단계 — 공정성 관점의 예측 평가: 학습이 끝난 모델의 예측 결과를 전체 손실 지표 하나로만 판단하지 않고, 공정성 관점에서 별도로 평가한다. 이 평가와 관련해 인구 통계적 동등성, 기회 균등, 반사실적 공정성 같은 개념을 학습해 적용해 본다.

이 예시의 핵심은 순서다. 학습 전에 데이터를 점검하고, 학습 후에 예측을 평가한다.

언제 쓰고 언제 쓰지 않는가

편향 점검의 관점은 전체 손실 지표만으로 모델을 평가하는 것으로 충분하지 않을 때 필요하다. 곧, 모델을 운영에 투입하기 전에 책임감 있게 평가할 때 학습 전 데이터 점검과 학습 후 예측 평가를 함께 수행하는 것이 기본 자세다.

다만 이 강좌의 범위에는 한계가 있다. 여기서 다룬 것은 편향을 점검하는 기본 관점이지, 특정 상황에서 어떤 공정성 개념을 어떻게 적용해 판정할지에 대한 구체적인 기준이 아니다. 인구 통계적 동등성, 기회 균등, 반사실적 공정성이라는 개념이 공정성 평가와 관련해 다루어진다는 사실까지가 이 강좌의 범위다. 각 개념의 정의와 계산법은 별도의 학습이 필요하다. 또한 데이터 점검이나 예측 평가 중 하나만 수행하는 것은 책임 있는 평가라고 보기 어렵다. 두 가지를 함께 수행해야 한다.

핵심 정리와 확인문제

머신러닝 모델을 책임감 있게 평가하려면 전체 손실 지표만 계산하지 말아야 한다. 학습 전에 데이터에서 잠재적인 편향의 원인을 살피고, 학습 후에 예측 결과를 공정성 관점에서 평가해야 한다. 사람의 편향은 머신러닝 알고리즘에 의해 의도하지 않게 재현될 수 있기 때문이다.

확인문제

1. 전체 손실 지표만 계산하는 평가가 책임 있는 모델 평가로 충분하지 않은 이유는 무엇인가?
2. 편향 점검에서 학습 전 데이터 점검과 학습 후 예측 평가 중 하나만 해도 충분한가?
3. 편향 점검은 모델 학습 전과 후에 각각 무엇을 살피는가?

정답과 해설

1. 정답: 사람의 편향이 머신러닝 알고리즘에 의해 의도하지 않게 재현될 수 있기 때문이다. 해설: 그래서 손실 지표 계산에 더해 학습 데이터를 점검하고 예측 결과를 편향 관점에서 평가해야 한다.
2. 정답: 충분하지 않다. 해설: 책임 있는 평가는 학습 전에 데이터에서 잠재적인 편향의 원인을 살피는 일과, 학습 후에 예측 결과를 공정성 관점에서 평가하는 일을 함께 수행하는 것이다.
3. 정답: 학습 전에는 데이터에서 잠재적인 편향의 원인을 살피고, 학습 후에는 모델의 예측 결과를 공정성 관점에서 평가한다. 해설: 이 순서를 지켜 두 점검을 함께 수행하는 것이 책임 있는 평가의 기본이다.

참고자료

• 머신러닝 공정성 입문 참고자료