보정 입문: AI가 말한 확률을 믿을 수 있는지 확인하는 법

한 문장으로 이해하기

보정(calibration)은 AI가 말한 확률이 실제 적중률과 맞는지 확인하는 작업입니다. AI가 “0.9 확률로 맞다"고 답한 판단들을 모아 보면, 그중 실제로 90% 정도가 맞아야 보정이 잘된 상태입니다.

이 강좌는 하나의 가상 예시를 처음부터 끝까지 씁니다. 가상 예시의 상황은 이렇습니다. 어떤 회사가 문서를 자동으로 지우는 기능을 만들었고, AI가 “지워도 된다"고 0.9 확률로 답한 판단 100건을 모았습니다. 그런데 사람이 확인해 보니 실제로 맞은 것은 65건이었습니다. 이 가상 예시의 AI는 자신을 지나치게 믿는 쪽으로 어긋나 있습니다.

이 강좌를 읽고 나면 세 가지를 할 수 있게 됩니다. 첫째, 보정과 정확도를 구분해 설명하기. 둘째, 확률 숫자를 자동 처리 기준으로 쓰기 전에 무엇을 확인해야 하는지 말하기. 셋째, 보정이 깨졌을 때 어떤 문제가 생기는지 짚어내기. 사전 지식은 거의 필요하지 않습니다. 확률이 0과 1 사이의 숫자라는 점, 그리고 AI 모델이 질문을 받아 답을 돌려주는 프로그램이라는 점만 알면 충분합니다.

왜 필요한가

일부 AI 모델은 답만 주지 않고 “이 답에 얼마나 확신하는지"를 숫자로 함께 돌려줍니다. 타입세이프의 모델 ‘제브(Jev)‘가 그런 예입니다. 제브는 글을 생성하는 대신 미리 정해진 선택지에서 답을 고르고, 선택지별 확률 분포를 함께 반환합니다. 확률 분포란 각 선택지가 맞을 가능성을 나누어 표시한 값입니다.

확률이 함께 오면 시스템 설계 방식이 달라집니다. 타입세이프 문서는 확신도를 세 구간으로 나눠 쓰라고 권합니다. 높으면 자동 처리하고, 중간이면 사용자 확인이나 검토 표시를 붙이고, 낮으면 사람이나 다른 시스템으로 넘기는 방식입니다. 삭제처럼 파괴적인 작업에는 0.9 이상을 요구하라는 예시도 있습니다.

그런데 이 설계는 확률이 믿을 만할 때만 성립합니다. 앞의 가상 예시를 다시 보겠습니다. 0.9를 기준으로 자동 삭제를 허용했는데 0.9라고 답한 100건 중 65건만 맞았다면, 나머지 35건은 잘못 지워집니다. 보정 확인이 필요한 이유가 여기 있습니다. 실제로 타입세이프는 제브의 확률과 실제 적중률의 관계를 보여주는 보정 곡선을 공개하지 않았고, 사람이 라벨링한 데이터에 기반한 제3자 검증 결과도 제시되지 않았습니다.

여기서 혼동하기 쉬운 점을 하나 정리하겠습니다. 출력이 정해진 형식을 벗어나지 않는 것과 판단 내용이 옳은 것은 별개이며, 형식에 맞는 오답도 나올 수 있습니다. 형식이 안전한 것, 판단이 옳은 것, 확률 숫자가 정확한 것은 서로 다른 세 가지입니다.

어떻게 이루어지는가

보정 확인은 다음 순서로 진행합니다.

1. 사람이 정답을 붙인 자사 업무 데이터를 모읍니다. 이때 정답으로 삼는 표시를 기준 라벨이라고 부릅니다.
2. 그 데이터를 AI에 넣고, 각 건의 답과 함께 확률 숫자를 받아 모두 기록합니다.
3. 모델이 말한 확률과 실제 적중률이 맞는지 그 데이터에서 비교합니다.
4. 비교 결과를 보고 자동 처리 임계값을 정합니다. 임계값은 자동 처리 여부를 가르는 기준값입니다. 확률이 실제 적중률과 맞는다고 확인된 범위만 자동 처리에 맡기고, 나머지는 사람에게 넘깁니다.

기준 라벨을 다른 모델의 응답으로 만들면, 그 결과는 사람 기준 정답률이 아니라 그 모델들과의 일치 비율에 가까워집니다. 그래서 보정 수치를 읽을 때는 어떤 기준 데이터와 어떤 비교 대상에서 나온 값인지 함께 확인해야 합니다.

하나의 예시로 따라가기

앞의 가상 예시를 위 네 단계에 그대로 올려 보겠습니다. 1단계에서 이 회사는 문서 100건을 뽑아 사람이 직접 “지워도 되는 문서"인지 표시했습니다. 2단계에서 같은 문서를 AI에 넣었고, AI는 100건 모두에 “지워도 된다"는 답과 0.9라는 확률을 함께 돌려줬습니다.

3단계가 핵심입니다. AI가 말한 0.9는 “100건 중 90건쯤 맞는다"는 뜻이어야 합니다. 그런데 사람 표시와 맞춰 보니 65건만 맞았습니다. 예측 확률 90%와 실제 적중률 65% 사이에 25%포인트 차이가 난 셈입니다.

그래서 4단계의 결론이 달라집니다. 이 가상 예시에서는 0.9를 자동 삭제 기준으로 쓸 수 없습니다. 같은 기준을 유지하면 100건마다 35건이 잘못 지워집니다. 자동 처리를 멈추고 사람 검토로 넘긴 뒤, 사람이 라벨링한 업무 데이터로 확률과 실제 적중률을 다시 확인해야 합니다. 보정 확인은 이렇게 확률을 쓸지 말지를 가르는 판단 근거가 됩니다.

언제 쓰고 언제 쓰지 않는가

보정 확인이 꼭 필요한 조건은 확률 숫자를 분기 조건으로 쓸 때입니다. 임계값을 넘으면 자동 처리하고 못 넘으면 사람에게 넘기는 구조라면, 그 임계값의 근거가 바로 보정입니다. 제브도 잘못된 선택을 할 수 있으므로 신뢰도 점수에 따른 임계값을 포함한 시스템 설계가 필요하다는 지적이 나왔습니다. 삭제처럼 파괴적인 작업에 더 높은 확신도를 요구하는 것도 같은 이유입니다.

한계와 실패 원인도 분명합니다. 첫째, 보정은 업무마다 다시 확인해야 합니다. 공개된 워크플로 평가에서 제브와 비교 모델의 성능 차이는 업무에 따라 달랐습니다. 고객 응대에서는 최고 모델과 2.3%포인트 차이였지만, 송장 처리에서는 17.3%포인트까지 벌어졌습니다.

둘째, 기준 라벨을 어떻게 만들었는지 따져야 합니다. 그 평가의 기준 라벨은 사람이 작성한 정답이 아니라 GPT-6 Astra와 Claude Fable 5.1의 응답을 평균해 만든 것이어서, 제시된 67.8%는 사람 기준 정답률보다 두 모델과의 일치 비율에 가깝습니다.

셋째, 직접 살펴본 건수가 적으면 당사자도 보정을 단정하지 못합니다. 실제 사례가 하나 있습니다. 개발자 paddo는 저신뢰 상품 매칭 9081건을 제브로 처리해 49%를 기각하고 21%를 확정했으며 30%는 보류했습니다. 비용은 32센트, 시간은 13분이 들었고 사람이 검토할 목록은 9081건에서 2686건으로 줄었습니다. paddo는 50건을 직접 살펴 48건이 타당하다고 판단했지만, 자신이 살펴본 50건만으로 0.85가 실제 85% 적중을 뜻하는지는 검증할 수 없다고 적었습니다.

핵심 정리와 확인문제

보정은 AI가 말한 확률이 실제 적중률과 맞는지 확인하는 작업입니다. 형식이 안전한 것, 판단이 옳은 것, 확률이 정확한 것은 서로 다릅니다. 확률을 자동 처리 기준으로 쓰려면 사람이 라벨링한 자사 업무 데이터에서 그 확률과 실제 적중률을 비교해야 합니다.

확인문제

1. 앞서 쓴 가상 예시 그대로입니다. 어떤 AI가 “0.9 확률로 맞다"고 답한 판단 100건 중 실제로는 65건만 맞았습니다. 이 AI의 보정 상태를 한 문장으로 설명해 보세요.
2. “출력 형식이 절대 깨지지 않으니 이 모델의 판단은 틀릴 수 없다.” 이 문장의 잘못된 점은 무엇인가요.
3. 같은 가상 예시에서 담당자가 “0.9 이상은 모두 자동 삭제한다"는 기준을 유지하려고 합니다. 보정 확인 결과를 근거로 어떤 조언을 할 수 있을까요.

정답과 해설

1. 정답: 보정이 어긋난 상태이며, 자신을 지나치게 믿는 방향으로 치우쳐 있습니다. 해설: 0.9라고 말했으면 90건 안팎이 맞아야 하는데 이 가상 예시에서는 65건만 맞았습니다. 말한 확률이 실제 적중률보다 높게 나온 상태입니다.
2. 정답: 형식이 깨지지 않는다는 것과 판단이 옳다는 것을 섞어 말한 점이 잘못입니다. 해설: 출력 형식이 유지되더라도 형식에 맞는 오답은 나올 수 있습니다. 제브에 대해서도 잘못된 선택을 할 수 있으므로 신뢰도 점수에 따른 임계값을 포함한 시스템 설계가 필요하다는 지적이 나왔습니다.
3. 정답: 0.9 기준의 자동 삭제를 중단하고 사람 검토로 전환하라고 조언해야 합니다. 해설: 이 가상 예시에서는 0.9라고 답한 100건 중 35건이 틀렸으므로, 기준을 유지하면 그만큼이 잘못 지워집니다. 더 높은 숫자로 바꾸는 것만으로는 안전해지지 않습니다. 사람이 라벨링한 업무 데이터에서 후보 임계값별로 모델이 말한 확률과 실제 적중률이 맞는지 확인한 뒤에 기준을 다시 정해야 합니다.

참고자료

• 보정 입문 참고자료
• 보정 입문 참고자료
• 보정 입문 참고자료