Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · perplexity.ai
Perplexity Decider v1.3: entrenamiento, evaluación y casos de uso
Perplexity publica Decider v1.3 y Decider Flash v1.3, modelos de decisión: clasificadores de propósito general que devuelven probabilidades para varias preguntas sobre una misma entrada en una sola pasada. Están disponibles con licencia Apache y añaden «locate», una función para extraer fragmentos de texto.
Foto: vía perplexity.ai
1 medio · MadridPublicada 13 nov, 21:15Actualizada 14 nov, 15:15· Ya no está en portadaEscrita por IA · cómo funciona
Un modelo de decisión es un clasificador general: recibe una entrada y un conjunto de preguntas, cada una con sus respuestas posibles, y devuelve una distribución de probabilidad por pregunta. Admite tres tipos: sí/no, opción múltiple y puntuación en niveles ordenados. Perplexity lo plantea para juzgar salidas de modelos, enrutar peticiones a modelos pequeños o grandes, moderar contenido y detectar phishing o prompt injection, filtrar y etiquetar colecciones, y reordenar resultados de búsqueda. Según la compañía, muchas de esas tareas se resolvían con LLM generativos aunque no necesitan generar texto libre. Los modelos de decisión quedan entre los LLM y los clasificadores específicos: evitan generar token a token, comparten el cómputo entre preguntas y aceptan tareas nuevas mediante lenguaje natural.
Decider se construye adaptando LLM generativos. Cada petición tiene un contexto compartido (el «estado») y varias preguntas con opciones etiquetadas A, B, C…; un token especial <|marker|> indica dónde leer la predicción. Una capa lineal, derivada de la del modelo base y reducida a las filas de los tokens de opción, convierte el estado oculto en probabilidades. Para entrenar convierten cientos de conjuntos de datos públicos (sentimiento, inferencia, detección de intención, moderación, verificación de hechos…) a ese formato unificado. En v1.3 se añade «locate», que devuelve el texto exacto del estado con sus posiciones de inicio y fin, o una lista vacía si no hay coincidencias. Sirve para reconocimiento de entidades, identificación de datos personales y preguntas extractivas.
La otra novedad es la atención bidireccional en las capas de atención completa. Perplexity compara tres patrones: en v1.2, todo ve todo; en v1.3, preguntas aisladas (el estado ve las preguntas, pero cada pregunta solo ve el estado y sus propios tokens), que da resultados más estables; y un patrón totalmente cacheable, que no usan por defecto porque el estado pierde rendimiento en varias tareas si no ve las preguntas.
El entrenamiento tiene tres fases. Primero, ajuste completo generalista del modelo grande, basado en Qwen3.8-27B, sin usar los conjuntos de entrenamiento de ningún benchmark. Segundo, una fase con LoRA dirigida a dominios concretos, fusionada con un peso que prima las métricas fuera de dominio. Tercero, un paso específico de visión, también con LoRA, que prioriza el texto. Para las fases de texto promedian los pesos de tres ejecuciones con semillas distintas. El modelo pequeño, basado en Qwen3.5-4B, se obtiene con el mismo proceso, pero usando la distribución del grande como objetivo y minimizando la divergencia KL, que según el artículo generaliza mejor que la entropía cruzada. Eliminan del entrenamiento las muestras que puedan solaparse con sus evaluaciones.
«Perplexity Decider v1.3: Training, eval, and use cases» · puesto 24 · 140 puntos · enviado por gmays
Lo que dicen los comentarios
Los comentarios se reparten entre experiencias con casos de uso y dudas sobre el enfoque. Varios usuarios cuentan resultados dispares: uno ve mejoras frente a v1.2 y Jev en extracción y emparejamiento de entidades, otro un retroceso en su benchmark, y otro encuentra decepcionantes la mayoría de estos modelos clasificando líneas cortas de ofertas de empleo. Una discusión aparte cuestiona si tiene sentido una versión Flash: un usuario sostiene que el modelo principal debería ser el más rápido y preciso, y otros replican que velocidad y precisión dependen de la tarea y que conviene poder elegir. También se pregunta cómo comparar estos modelos, se señala un índice de decisión en Hugging Face y se citan alternativas como Clairic de Cloudflare o ScaleDown. Hay además una crítica a la falta de originalidad, contestada con que es captura de mercado y no pretensión de novedad.
No me entusiasma la tendencia a sacar versiones flash de los modelos de decisión. Su razón de ser era dar salidas más rápidas y baratas que los de razonamiento, así que el modelo principal debería ser el más rápido y preciso.
Rara vez algo funciona así. ¿Priorizas lo más rápido o lo más preciso? Depende del contexto y de la dificultad. Un modelo NLI de 17M da decisiones órdenes de magnitud más rápidas, aunque a veces la diferencia con uno de 27B es mínima y otras acierta como al azar.
Espero que los modelos de decisión estén disponibles en servicios como Bedrock. AWS publicó cómo los usó para mejorar la evaluación, pero tuvieron que alojarlo ellos mismos o llamar a Jev desde una Lambda.
Perplexity Decider es mi favorito de estos modelos, pero esta versión es un paso atrás en mi benchmark para mi caso de uso. El índice de decisión coincide y me hace pensar en mirar un modelo mejor clasificado.
Gracias a este post descubrí otros modelos. El mecanismo «locate» parece tener equivalente en Clairic de Cloudflare y Extract de ScaleDown; este último me impresiona para mi caso: mucho más barato y preciso que los demás.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.