분류 모델 입문: 확률을 두 범주 중 하나로 바꾸기

한 문장으로 이해하기

분류(Classification)는 입력 예시가 미리 정해진 클래스, 즉 범주 중 어디에 속하는지를 예측하는 과제다.

이 강좌를 마치면 두 가지를 할 수 있다. 첫째, 분류가 무엇을 예측하는 과제인지 자기 말로 설명할 수 있다. 둘째, 확률을 예측하는 로지스틱 회귀 모델이 왜 이진 분류 모델로 바뀌는지 설명할 수 있다.

사전지식으로는 머신러닝 입문, 선형 회귀, 로지스틱 회귀의 개념을 알고 있으면 좋다. 특히 로지스틱 회귀(Logistic Regression)가 시그모이드(Sigmoid) 함수로 모델 출력을 0과 1 사이 값으로 바꾸어 확률을 예측한다는 점이 출발점이 된다.

왜 필요한가

로지스틱 회귀 모델의 출력은 확률이다. 가상 예시로, 어떤 이메일이 스팸일 가능성을 0과 1 사이의 숫자로 알려 주는 모델을 떠올려 보자. 그런데 이메일 시스템이 실제로 해야 하는 일은 그 메일을 스팸함으로 보낼지 받은편지함에 둘지, 두 범주 중 하나로 판정하는 것이다.

확률을 예측하는 로지스틱 회귀 모델은 이렇게 두 클래스 중 하나를 예측하는 이진 분류(Binary Classification) 모델로 변환할 수 있다. 이때 확률을 이진 범주로 바꾸기 위해 결정해야 하는 대상이 임곗값(Threshold)이며, 적절한 임곗값을 결정하는 일은 출처 모듈이 제시하는 학습 주제다.

범주가 두 개인 문제는 이진 분류, 범주가 여러 개인 문제는 다중 클래스 분류(Multi-class Classification)로 구분한다. 이 강좌는 이진 분류에 집중한다.

어떻게 이루어지는가

확률 예측 모델이 분류 모델이 되는 과정을 단계로 정리하면 다음과 같다.

1. 모델이 입력 데이터를 받아 계산한다.
2. 시그모이드 함수가 계산 결과를 0과 1 사이의 값으로 바꾸어 확률로 만든다.
3. 이 확률 예측 모델을 두 범주 중 하나를 예측하는 이진 분류 모델로 변환한다. 이를 위해 임곗값이라는 결정 기준이 필요하다.
4. 이렇게 만든 분류 모델이 잘 작동하는지 평가 지표를 계산하고 선택해 확인한다.

출처 모듈의 학습목표에 따르면, 이진 분류에서는 적절한 임곗값을 결정하는 일, 평가 지표를 계산하고 선택하는 일, 그리고 ROC와 AUC라는 도구를 해석하는 일이 함께 다뤄진다. 이 강좌는 그중 가장 기초인 ‘확률을 범주로 바꾸려면 결정 기준이 필요하다’는 개념까지만 다룬다. 임곗값을 정하는 구체적인 규칙과 평가 지표, ROC·AUC의 해석은 다음 단계 학습 주제로 남겨 둔다.

하나의 예시로 따라가기

가상 예시: 스팸 메일 필터를 만드는 상황을 가정한다. 아래 숫자는 개념 설명을 위해 임의로 설정한 값이며 실제 통계가 아니다.

로지스틱 회귀 모델이 새 이메일 하나를 분석해 ‘스팸일 확률 0.82’를 출력했다고 하자. 이 값은 아직 확률일 뿐, ‘스팸’이나 ‘정상’이라는 범주 판정이 아니다.

시스템이 메일을 스팸함으로 보내려면 이 확률을 두 범주 중 하나로 바꾸는 결정 기준, 즉 임곗값이 필요하다. 확률 예측 모델에 이 결정 기준을 더해 이진 분류 모델로 변환하면, 같은 모델이 ‘스팸’ 또는 ‘정상’이라는 판정을 내리는 분류기가 된다.

어떤 임곗값이 적절한지 결정하는 방법은 출처 모듈이 제시하는 별도의 학습 주제이므로, 이 강좌에서는 ‘결정 기준이 필요하다’는 사실까지만 확인해 둔다.

언제 쓰고 언제 쓰지 않는가

분류 모델이 적합한 상황은 예측 결과가 미리 정해진 범주 중 하나여야 할 때다. 가상 예시의 스팸 필터처럼 시스템이 두 범주 중 하나의 판정에 따라 행동해야 하는 경우가 해당된다.

적용할 때 확인할 조건도 있다. 첫째, 분류의 정의상 범주 목록이 미리 정해져 있어야 한다. 어떤 범주들 중에서 고를지 정하지 않으면 분류 과제 자체가 성립하지 않는다. 둘째, 범주가 두 개인지 여러 개인지에 따라 이진 분류와 다중 클래스 분류로 문제의 종류가 달라진다.

이 강좌의 한계도 분명하다. 확률을 범주로 바꾸는 결정 기준이 필요하다는 것까지만 다루었고, 임곗값을 실제로 어떻게 정하는지, 분류 모델을 어떤 평가 지표로 확인하는지는 배우지 않았다. 출처 모듈은 임곗값 결정, 평가 지표의 계산과 선택, ROC·AUC 해석을 이어지는 학습목표로 제시한다.

핵심 정리와 확인문제

이 강좌의 핵심은 하나다. 로지스틱 회귀가 출력한 확률에 결정 기준을 더하면, 확률 예측 모델을 두 범주 중 하나를 예측하는 이진 분류 모델로 바꿀 수 있다.

확인문제

1. 분류(Classification)는 무엇을 예측하는 과제인가?

정답·해설: 분류는 입력 예시가 미리 정해진 클래스, 즉 범주 중 어디에 속하는지를 예측하는 과제다. 범주 목록이 먼저 정해져 있고, 모델은 그중 하나를 고른다.

2. 이진 분류 모델의 최종 출력은 확률인가, 아니면 두 범주 중 하나인가?

정답·해설: 두 범주 중 하나다. 로지스틱 회귀가 중간 단계에서 확률을 계산하지만, 이진 분류 모델은 두 클래스 가운데 하나를 예측한다.

3. 출처 모듈에서 확률을 이진 범주로 바꾸기 위해 결정해야 한다고 제시하는 학습 대상은 무엇인가?

정답·해설: 임곗값이다. 출처 모듈의 학습목표는 이진 분류에서 적절한 임곗값을 결정하는 일을 포함하며, 임곗값은 확률을 두 범주 중 하나로 바꾸는 결정 기준이다.

참고자료

• 분류 모델 입문 참고자료