Los autores, un laboratorio de dos personas, quieren crear herramientas creativas para hacer animación. Sostienen que los modelos de vídeo actuales son demasiado lentos y caros y carecen de controles suficientes, por lo que aún no sirven para contar historias. Con Linum v3, su próximo modelo de vídeo, el objetivo principal era reducir mucho el coste de la inferencia.
La clave es la arquitectura Pyramid-JiT (P-JiT), un modelo de difusión en espacio de píxeles. En lugar de comprimir los datos con un VAE y generar en ese espacio latente, descartan el VAE y dejan que el propio modelo de difusión aprenda un espacio latente adaptado a su tarea. Según ellos, esto simplifica la arquitectura (sin entrenamiento en dos fases), converge 11 veces más rápido que su equivalente de difusión latente y permite una reducción de tokens 4 veces más agresiva en el contexto de atención: una imagen de 512² se representa con los mismos tokens que antes una de 256².
Para ponerlo a prueba durante más tiempo que un experimento habitual, entrenaron un modelo de texto a imagen con 660 millones de muestras: 610M a 512² y 50M a 1024². El modelo tiene 2,18B de parámetros en muestreo y usa un Qwen3.5-4B congelado como codificador de texto, 22 bloques DiT idénticos, una alineación PixelREPA con DINOv3-L y cabezas de lectura intermedias que predicen versiones de baja resolución de la imagen final, todas descartadas al muestrear. El posentrenamiento usó una variante de Finite Difference Flow Optimization (FDFO).
El coste total fue de 21.038 dólares: 20.348 de preentrenamiento (8.139 horas de H100 a 2,50 dólares la hora, con 64 H100) y 690 de posentrenamiento (276 horas de H100). Los pesos se publican con licencia Apache 2.0 y la investigación ya es pública en su web. Para los autores es un paso hacia modelos de vídeo más baratos, porque casi todos empiezan como modelos de imagen: primero hay que aprender los sustantivos y luego los verbos.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.