Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · rumple.github.io
Usar un LLM para puntuar la confianza es mala idea
Un artículo sostiene que el número de confianza que un LLM escribe al preguntárselo no mide nada, porque es texto plausible y no una estimación calibrada. Propone calcular la confianza con una regla externa, basada en datos observables y contrastada con resultados reales.
1 medio · MadridPublicada 22 oct, 05:10Actualizada 22 oct, 15:39· Ya no está en portadaEscrita por IA · cómo funciona
El autor parte de que los agentes basados en LLM pueden dar una probabilidad o una puntuación de confianza si se les pide, y de que muchos diseñadores de agentes lo hacen. Su tesis es que no hay motivo para fiarse de ese número. Para explicarlo define primero qué es la confianza con el ejemplo de un meteorólogo que dice estar «70 % seguro» de que lloverá: esa cifra sale de la información disponible, y dos meteorólogos con la misma información y la misma regla deberían llegar al mismo valor.
Después explica cómo se mide si una confianza es correcta: no con un solo día, sino con muchos. De todos los días en que el meteorólogo dijo 70 %, debería haber llovido en torno al 70 %; si fue el 40 %, era demasiado optimista. A eso lo llama estar calibrado. Pero la calibración no basta, porque quien dice siempre «30 %» también está calibrado y no aporta nada. Además, hace falta un registro de cada predicción y de lo que ocurrió. Una confianza fiable debe reflejar cuánta información hay detrás y haberse contrastado con resultados reales en el mismo tipo de pregunta.
Un LLM genera texto token a token, así que el «0,85» con que responde a «¿cuánta confianza tienes?» es una continuación plausible de la conversación, no la lectura de un indicador interno. El preentrenamiento calibra al modelo sobre qué texto viene después, no sobre si la confianza que escribe coincide con su tasa de acierto. Según el autor, se nota en que el número cambia al repetir la pregunta, al reformularla («¿seguro?») o según lo que el modelo haya escrito justo antes.
La alternativa que propone es que el LLM haga la tarea, pero que la confianza la calcule una regla externa. Con el ejemplo de un agente de atención al cliente que busca en un centro de ayuda: elegir señales observables (si la búsqueda encontró un artículo, si dos respuestas coinciden), partir de la tasa histórica de aciertos, registrar cada respuesta y su resultado, actualizar la regla agrupando casos pasados y revisar cada semana la tabla de confianza frente a aciertos reales. El texto enlazado se corta antes del final.
«Using LLM for confidence scoring is a bad idea» · puesto 30 · 191 puntos · enviado por jimauthors
Lo que dicen los comentarios
Los comentarios aceptan en general que el número que escribe un LLM no es fiable sin comprobarlo, pero discrepan en cuánto se puede arreglar. Varios defienden que la confianza funciona si se da buen contexto: rúbricas con criterios explícitos, escalas binarias o de pocos niveles en lugar de 0-100, o ajuste fino con datos del dominio. Otros piden evidencia de que esas puntuaciones sean precisas. Quien dice haber hecho los experimentos en un entorno comercial coincide a grandes rasgos con el artículo, aunque es algo más optimista, y avisa de que cambia con el modelo y con el matiz de la redacción. También se discute si usar la probabilidad del siguiente token, o modelos de decisión entrenados para clasificar (Jev), evita el problema, y se recuerda que toda calibración exige un conjunto de datos etiquetado para la tarea concreta.
Un LLM sí tiene un concepto latente de su propia confianza y puede articularlo; el autor eligió la peor forma de preguntar. Mejor dividir el problema en ejes, con enums pequeños o decisiones binarias, y aplicar una puntuación ponderada.
Los puntos 1-5 del final describen en esencia un proceso de aprendizaje supervisado: datos más etiquetas, actualización de pesos, calibración. Esperaba que se mencionaran los modelos de decisión, para eso se entrenan.
He hecho esos experimentos, en un entorno comercial. Lo que describe el artículo coincide más o menos con lo que vi. La calibración varía según modelo, aplicación y matices de redacción. No lo llevaría a producto con un LLM como servicio: se rompe cuando el proveedor retira el modelo.
No se puede calibrar la confianza de un modelo sin un conjunto de calibración. La confianza es relativa a un conjunto etiquetado y se establece por poblaciones; no se comprueba en una sola predicción.
Se puede usar la probabilidad del siguiente token para montar algo parecido a un Jev en un apuro, pero conviene barajar las opciones para suavizar sesgos y artefactos de tokenización. Los LLM tienen letras favoritas; a Qwen le gustan la A y la D.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.