Análisis en profundidad · Unos 5 min de lectura
Evaluar con modelos de decisión: por qué el umbral 0.50 puede ocultar fallos
El experimento de Husain y Saha separa ajuste de umbrales, validación, coste y calibración de probabilidades.
- Publicado aquí
- Fecha de la fuente
- Fuente revisada
El experimento original de Hamel Husain y Antaripa Saha, publicado el 20 de octubre, estudia cómo convertir puntuaciones en controles útiles. Propone definir el fallo, elegir el equilibrio entre precisión y exhaustividad, ajustar sin usar las etiquetas reservadas y comprobar las probabilidades por separado; no declara un ganador universal.
Escucha las noticias
Escucha este artículo o continúa con las noticias.
Preparando la lectura…
Voz del dispositivo
El navegador o dispositivo procesa la voz. AISubHub no envía el texto a una API de audio. Las voces y la reproducción con pantalla bloqueada dependen del dispositivo.
Al continuar puede repetirse una frase breve.
Resumen
- De 100 trazas de un agente de alquileres, excluyen dos ejemplos internos de QA del rendimiento: quedan 98, con 61 fallos etiquetados y 37 sin fallo etiquetado.
- El F1 ajustado comunicado es 0.79 para Perplexity, a 0.82 centavos de dólar por 100 evaluaciones, y 0.87 para OpenAI Decisions, a 3.72 centavos. El coste cubre 100 llamadas; el rendimiento, 98 trazas.
Definir la tarea antes de interpretar la puntuación
Se busca un error sustancial en una traza completa de un asistente de alquileres, como una reserva fallida o una derivación humana omitida. Se prueban Jev 1.13, Perplexity Decider 1.1 27B, Liquid d1 y d1-ultra, Cloudflare Clef Flash y OpenAI Decisions con GPT-6 Luna. Reciben criterios iguales, estructurados de forma equivalente para Jev. Los 61 fallos incluyen 39 de revisión humana inicial y 22 hallados por Braintrust y Arize y validados manualmente. Las otras 37 trazas no tienen fallo etiquetado: no significa que se conozcan todos los problemas posibles.
El umbral convierte una puntuación en una acción
Un modelo puntúa entre cero y uno; un umbral decide la alarma. Si todos los fallos reciben 0.40 y los casos aprobados 0.10, un umbral 0.30 los separa, pero 0.50 no detecta ninguno. Bajarlo suele aumentar detecciones y falsas alarmas. Precisión es la fracción de alarmas que son fallos conocidos; exhaustividad o recall, la fracción de fallos conocidos detectados. F1 es su media armónica con tratamiento simétrico. Nuestro análisis recuerda que una derivación y una barrera contra acciones destructivas pueden tener costes de error diferentes: maximizar F1 no es una elección neutral.
Las particiones inviables siguen importando
La validación cruzada estratificada de cinco partes ajusta umbrales en entrenamiento y mide otras muestras, con particiones comunes entre modelos. Para candidatos se intenta maximizar F1 cumpliendo precisión y recall de al menos 80% en entrenamiento. Una nota crucial explica que, si ningún umbral cumple, el experimento usa el óptimo F1 sin restricciones y conserva sus predicciones de validación. Ocurre en 36 de 100 particiones para Perplexity, 29 para d1-ultra y ninguna para OpenAI. Los promedios no garantizan los mínimos. El prompt operativo recomendado pide comunicar inviabilidad sin relajar requisitos: no es idéntico al cálculo ilustrativo publicado.
Coste y rendimiento tienen denominadores distintos
Entre candidatos restantes, Perplexity obtiene F1 0.79 por 0.82 centavos estadounidenses cada 100 evaluaciones; OpenAI Decisions, 0.87 por 3.72 centavos, unas 4.5 veces más. El coste incluye 100 llamadas, mientras el rendimiento excluye dos casos de QA. Se usan tokens guardados y tarifas del proveedor, incluida la revisión de Liquid con precios del 17 de octubre; no es una factura futura garantizada. Ajustar umbrales reutiliza puntuaciones sin nuevas llamadas. La comparación principal deja fuera la latencia: las medias de ejecuciones distintas no establecen throughput ni latencia de cola comparables. Producción necesita medir batching, concurrencia y red propios.
Una probabilidad exige una comprobación adicional
Una puntuación 0.80 solo representa aproximadamente 80% de riesgo si esa proporción de casos similares falla. Calibrar comprueba esa relación, separada de elegir una etiqueta. El artículo agrupa las trazas en cinco conjuntos de 19 o 20 y ajusta Platt scaling en las partes de entrenamiento. Un grupo de Clef Flash predice cerca de 8%, pero falla 60%. El ajuste ayuda a algunos, no a todos: el Brier de OpenAI empeora de 0.159 a 0.164 con el ajuste log-odds ilustrado; menor es mejor. Otro ajuste exploratorio da 0.154. La sensibilidad al método no garantiza mejora universal ni riesgo exacto en un caso futuro.
Transferir un evaluador concreto y versionado
Los autores recomiendan jueces separados por tipo de fallo en lugar de perpetuar una tarea amplia. Proponemos versionar criterios y etiquetas, reservar un test final intacto, fijar mínimos propios y mostrar particiones sin umbral válido. Cambiar el prompt puede obligar a revisar umbral y calibración. Un modelo barato debe compararse con una referencia fuerte en la misma tarea, no heredar posiciones de esta muestra inmobiliaria. Es un experimento original concreto, no el anuncio simultáneo de seis API, un catálogo de precios verificado independientemente ni una clasificación general de modelos.
Por qué importa
Nuestro análisis: un clasificador barato sirve si las consecuencias de sus errores son aceptables. Lo transferible es el procedimiento y la divulgación de particiones inviables, no una superioridad permanente de proveedor.
Límites y disponibilidad
Leímos el original completo y sus notas, no las conversaciones privadas ni una reproducción independiente. La muestra es pequeña y específica; latencia, umbrales y calibración no garantizan resultados futuros.
Fuentes y pruebas
Fecha de la fuente: · Fuente revisada:
Contenido editorial asistido por IA y contrastado con fuentes primarias. Las afirmaciones del proveedor se atribuyen; la inclusión no implica recomendación.