Подробный разбор · Около 4 мин чтения
Модели решений для evals: почему порог 0.50 может скрывать ошибки
Опыт Хусейна и Сахи разделяет настройку порога, валидацию, стоимость API и калибровку вероятностей.
- Опубликовано здесь
- Дата источника
- Источник проверен
Оригинальный эксперимент Hamel Husain и Antaripa Saha от 20 октября показывает, как превратить оценки моделей решений в контроль качества. Вывод — процедура, а не всеобщий победитель: определить ошибку, выбрать precision и recall, настроить порог без отложенных меток и отдельно проверить вероятности.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- Из 100 трасс агента по аренде квартир два внутренних QA-примера исключены из оценки качества: остаются 98, с 61 размеченным сбоем и 37 без размеченного сбоя.
- После настройки заявлены F1 0.79 для Perplexity при 0.82 американского цента за 100 оценок и 0.87 для OpenAI Decisions при 3.72 цента. Стоимость охватывает 100 вызовов, качество — 98 трасс.
Сначала определить ошибку, затем читать балл
Задача ищет существенную ошибку в полной трассе арендного помощника, например неудачное бронирование или пропущенную передачу человеку. Испытывались Jev 1.13, Perplexity Decider 1.1 27B, Liquid d1 и d1-ultra, Cloudflare Clef Flash и OpenAI Decisions на GPT-6 Luna. Критерии одинаковы, для Jev — эквивалентная структурированная форма. Из 61 известных ошибок 39 найдены первичной человеческой проверкой, ещё 22 — Braintrust и Arize с ручным подтверждением. Остальные 37 не имеют метки ошибки. Это сравнение с заданным эталоном, не доказательство знания всех возможных проблем.
Порог — правило действия
Модель выдаёт оценку от нуля до единицы, а порог превращает её в тревогу. Если ошибки получают 0.40, а успешные случаи 0.10, порог 0.30 разделяет их, тогда как стандартный 0.50 ничего не ловит. Снижение обычно увеличивает обнаружения и ложные тревоги. Precision — доля известных ошибок среди тревог, recall — доля обнаруженных известных ошибок. F1 является симметричным гармоническим средним. По нашему анализу, передача поддержке и блокировка разрушительной операции имеют разные цены ошибок; оптимизация F1 сама представляет деловой выбор, а не нейтральный стандарт.
Невыполнимые условия не исчезают после валидации
Стратифицированная пятикратная перекрёстная проверка выбирает пороги на обучающих примерах и измеряет другие, с одинаковыми разбиениями моделей. Для кандидатов ищется максимум F1 при precision и recall не ниже 80% на обучении. Важная сноска сообщает: если подходящего порога нет, фактический опыт использует безусловный оптимум F1 и сохраняет эти валидационные прогнозы в среднем. Это произошло в 36 из 100 разбиений для Perplexity, 29 для d1-ultra и ни разу для OpenAI. Средние не гарантируют минимумы. Рекомендованный рабочий промпт, напротив, требует сообщить невозможность без ослабления условий; его нельзя путать с иллюстративным расчётом.
Разделять знаменатели стоимости и качества
Среди оставшихся кандидатов Perplexity получает F1 0.79 за 0.82 американского цента на 100 оценок, OpenAI Decisions — 0.87 за 3.72 цента, примерно в 4.5 раза дороже. Расход включает все 100 вызовов, качество исключает два QA-примера. Использованы сохранённые токены и тарифы поставщиков, включая пересчёт Liquid по ценам 17 октября, не гарантия будущего счёта. Настройка порога повторно использует оценки без новых вызовов. Основное сравнение исключает задержку: средние отдельных запусков не доказывают относительный throughput или хвостовую задержку. Пакетирование, параллелизм и сеть надо измерять отдельно.
Вероятность требует отдельной проверки
Оценка 0.80 полезна как вероятность, только если около 80% близких по баллу случаев действительно ошибочны. Калибровка проверяет эту связь отдельно от бинарного порога. Статья делит малую выборку на пять групп по 19 или20 трасс и обучает Platt scaling на тренировочных фолдах. Одна группа Clef Flash предсказывала примерно 8% риска при 60% фактических сбоев. Некоторые модели улучшились, не все: Brier OpenAI вырос с 0.159 до0.164 при показанной log-odds-подгонке, хотя меньше лучше. Другой исследовательский вариант дал 0.154. Это чувствительность к методу, не гарантия улучшения или точного риска будущей отдельной трассы.
Переносить узкий версионируемый оценщик
Авторы рекомендуют отдельных судей по типам ошибок вместо постоянной широкой задачи. Мы предлагаем версионировать критерии и человеческие метки, оставить нетронутый финальный тест, задать деловые минимумы и показывать разбиения без приемлемого порога. Смена промпта может требовать новых проверок порога и калибровки. Дешёвую модель надо сравнивать с сильной базой на той же задаче, не заимствовать места арендной выборки. Это конкретный оригинальный опыт, не одновременное объявление доступности шести API, не независимо проверенный каталог цен и не общий рейтинг моделей.
Почему это важно
Наш анализ: дешёвый классификатор полезен только при приемлемых последствиях его ошибок. Переносимы процедура и раскрытие невыполнимых разбиений, а не постоянное превосходство поставщика.
Ограничения и доступность
Мы прочли полный оригинал и сноски, не частные разговоры и не независимое воспроизведение. Выборка мала и специфична; задержка не сравнивалась контролируемо, настройка и калибровка не гарантируют будущий результат.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.