심층 해설 · 약 3분 읽기
결정 모델로 AI 평가하기: 기본 임계값 0.50이 실패를 숨길 수 있는 이유
Husain·Saha의 여섯 모델 실험에서 임계값, 검증, API 비용과 확률 보정을 구분한다.
- 사이트 게시일
- 원문 게시일
- 출처 확인일
Hamel Husain과 Antaripa Saha가 10월 20일 발표한 원 실험은 결정 모델 점수를 품질 검사로 바꾸는 절차를 다룬다. 실패 정의, 정밀도·재현율 기준, 검증 라벨을 쓰지 않는 임계값 선택, 별도 확률 확인이 핵심이며 보편적 우승 모델을 선언하지 않는다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- 임대 에이전트 기록 100개에서 내부 QA 2개를 성능 계산에서 제외해 98개를 평가했다. 라벨된 실패 61개, 라벨된 실패가 없는 기록 37개다.
- 조정 F1은 Perplexity 0.79, 100회당 0.82미국 센트와 OpenAI Decisions 0.87, 3.72센트다. 비용은 100호출, 성능은 98기록 기준이다.
점수보다 먼저 실패를 정의한다
완전한 임대 상담 기록에서 예약 실패나 사람 연결 누락 같은 실질 문제를 찾는다. 대상은 Jev 1.13, Perplexity Decider 1.1 27B, Liquid d1·d1-ultra, Cloudflare Clef Flash, GPT-6 Luna 기반 OpenAI Decisions다. 같은 기준을 쓰되 Jev에는 동등한 구조화 기준을 준다. 알려진 실패 61개는 초기 사람 검토 39개와 Braintrust·Arize 발견 후 사람이 확인한 22개다. 다른 37개는 라벨된 실패가 없다는 뜻으로, 모든 잠재 문제를 완전히 안다는 증거는 아니다.
임계값은 행동 규칙이다
모델은 0~1 점수를 내고 임계값이 경보로 바꾼다. 실패가 모두 0.40, 통과가 0.10이면 0.30은 구분하지만 기본 0.50은 실패를 하나도 잡지 못한다. 임계값을 낮추면 보통 탐지와 오경보가 함께 늘어난다. 정밀도는 경보 중 알려진 실패 비율, 재현율은 알려진 실패 중 잡아낸 비율이다. F1은 둘을 대칭으로 다루는 조화평균이다. 당사는 상담 이관과 파괴적 작업 차단의 오류 비용이 다르다고 본다. F1 최적화 자체도 사업 선택이며 중립적 기본값이 아니다.
검증해도 불가능했던 분할은 남는다
층화 5겹 교차검증은 훈련 예제에서 임계값을 고르고 다른 예제에서 측정하며 모델마다 같은 분할을 쓴다. 후보는 훈련 정밀도·재현율 모두 80% 이상인 범위에서 F1 최적을 찾는다. 중요한 각주는 가능한 임계값이 없으면 실제 실험이 무제약 F1 최적으로 돌아가고 검증 예측도 평균에 남긴다고 밝힌다. Perplexity는 100훈련 분할 중 36회, d1-ultra는 29회, OpenAI는 0회였다. 평균이 80%를 보증하지 않는다. 실무용 권장 프롬프트는 조건을 낮추지 말고 불가능을 보고하라고 하므로 그래프 계산과 구분해야 한다.
비용과 성능의 분모를 구분한다
남은 후보에서 Perplexity는 F1 0.79, 100평가당 0.82미국 센트이며 OpenAI Decisions는 0.87, 3.72센트로 약 4.5배 비싸다. 비용은 100API 실행, 성능은 내부 QA 2개를 뺀 98기록이다. 저장된 토큰과 업체 요금을 쓰며 Liquid는 10월 17일 가격으로 다시 계산했다. 미래 청구 보장은 아니다. 임계값 조정은 저장 점수를 재사용해 추가 호출이 없다. 주 비교는 지연을 제외하며 별도 실행 평균 응답 시간으로 상대 처리량이나 꼬리 지연을 입증하지 않는다. 배치·동시성·네트워크는 따로 측정해야 한다.
확률은 다른 검사를 필요로 한다
0.80을 확률로 읽으려면 비슷한 점수를 받은 사례의 약 80%가 실제 실패해야 한다. 보정은 이 관계를 검사하며 이진 임계값 선택과 다르다. 작은 표본을 19~20개씩 다섯 군으로 나누고 훈련 폴드에서 Platt scaling을 학습한다. Clef Flash 한 군은 평균 예측 위험 약 8%인데 실제 60%가 실패였다. 일부 모델은 좋아지지만 전부는 아니다. 그림의 log-odds 적합에서 OpenAI Brier는 0.159에서 0.164로 나빠졌다. 낮을수록 좋은 지표이며 다른 탐색적 적합은 0.154였다. 이는 방법 민감성이지 보편적 개선이나 미래 개별 사례의 정확한 위험 보장이 아니다.
좁고 버전 관리된 평가기를 옮긴다
저자들은 넓은 검사를 계속 쓰기보다 실패 유형별 판정기를 권한다. 당사는 기준·사람 라벨 버전 관리, 손대지 않은 최종 시험, 업무별 최저 기준, 적격 임계값이 없는 분할 공개를 제안한다. 프롬프트를 바꾸면 임계값과 보정 재검사가 필요할 수 있다. 싼 모델은 같은 업무에서 강한 기준과 비교해야 하며 임대 표본의 순위를 가져와선 안 된다. 이것은 구체적 원 실험이지 여섯 API 동시 제공 발표, 독립 검증 요금표, 범용 모델 순위가 아니다.
중요한 이유
당사 분석: 저렴한 분류기는 오류의 운영상 결과가 허용돼야 유용하다. 이전할 것은 평가 절차와 불가능한 분할의 공개이지 특정 업체의 영구 우위가 아니다.
제한 및 이용 가능성
원문·각주 전체를 읽었지만 비공개 대화나 독립 재현은 확인하지 않았다. 표본은 작고 특정 업무다. 지연은 통제 비교가 아니며 조정과 보정은 미래 성능 보장이 아니다.
출처와 근거
원문 게시일: · 출처 확인일:
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.