벤치마크

벤치마크는 모델을 같은 조건에서 비교하기 위한 데이터셋과 과제, 평가 지표의 묶음입니다. 지식, 수학, 코딩, 추론, 안전성처럼 특정 능력을 측정하도록 설계됩니다.

하나의 점수는 그 벤치마크가 측정한 범위만 보여줍니다. 실제 제품의 속도, 비용, 사용 편의성, 특정 언어 성능까지 모두 대표하지는 않습니다.

모델 발표를 볼 때는 평가 주체, 사용한 모델 버전과 설정, 비교 조건, 데이터 오염 가능성, 통계적 불확실성을 함께 확인해야 합니다. 자체 발표 점수와 독립 평가도 구분할 필요가 있습니다.