Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · ernie.baidu.com
Baidu publica ERNIE 5.5 Flash Base
Baidu ha liberado los pesos de ERNIE-5.5-Flash-Base, un modelo de lenguaje Mixture-of-Experts con 280.000 millones de parámetros, 14.000 millones activos por token. Es un checkpoint de fin de preentrenamiento, sin mid-training ni post-training, pensado como punto de partida para adaptación a dominios, instruction tuning e investigación con aprendizaje por refuerzo.
1 medio · MadridPublicada 6 nov, 04:00· Ya no está en portadaEscrita por IA · cómo funciona
ERNIE-5.5-Flash-Base es un modelo sparse MoE preentrenado desde cero con 33,5 billones de tokens (33.5T) y un contexto de entrenamiento de hasta 128K, que admite 1M de tokens para fine-tuning e inferencia. Baidu explica que los pesos corresponden al final del preentrenamiento y que quiere ahorrar a otros desarrolladores el coste del preentrenamiento a gran escala. El corpus da peso a capacidades difíciles de añadir después, como el código a escala de repositorio y la comprensión de contexto largo.
La arquitectura tiene 43 capas Transformer, tamaño oculto de 4096 y 64 cabezas de atención. Combina atención híbrida: una de cada siete capas usa Multi-head Latent Attention (MLA) con acceso token a token a todo el contexto, y el resto usa Heavily Compressed Attention (HCA), que comprime cada 128 tokens en una sola entrada de caché. Las capas MLA emplean atención dispersa (DSA) con un indexador que selecciona las posiciones más relevantes. Además incorporan Low-Rank Gated Attention, con la puerta calculada a partir del latente de la query, y Virtual Head Attention, que mezcla información entre cabezas.
En las capas MoE (todas salvo la primera) hay 512 expertos enrutados, con top-10, y un experto compartido. Un Multi-Router con varios routers sigmoid independientes sustituye al router único, y los expertos latentes trabajan en un espacio de 2048 dimensiones en lugar de 4096, con lo que se reduce aproximadamente a la mitad el tráfico de dispatch/combine y los FLOPs de los expertos. El modelo sustituye la conexión residual estándar por Manifold-Constrained Hyper-Connections (mHC), con cuatro flujos residuales paralelos, y usa una capa de salida MultiMax con temperatura aprendida por tramos.
«Baidu released ERNIE 5.5 Flash Base» · puesto 30 · 177 puntos · enviado por pretext
Lo que dicen los comentarios
La licencia es lo que más inquieta: varios comentarios señalan que prohíbe el uso en la Unión Europea, el Reino Unido y Corea del Sur, y que quien derive el modelo es responsable de que nadie allí lo use, algo que otros consideran imposible de hacer cumplir. Se discute si es una cuestión legal o de competencia. Hay entusiasmo por que se publiquen modelos base, con un comentario que defiende que su difusión masiva ayuda a la alineación, y otro que lo cuestiona por el riesgo de usos dañinos. También se comparan sus resultados con Deepseek-v4-Flash y Qwen, se pregunta por el tamaño en memoria y por marcos para entrenarlo en clúster, y se aclara que, al no estar ajustado con instrucciones, no sirve tal cual para agentes de programación. Hay bromas sobre el nombre (ERNIE, como BERT).
La licencia parece muy restrictiva para algo pensado para construir encima. Países enteros tienen prohibido usarlo (la Unión Europea, el Reino Unido y Corea del Sur), y eres responsable de que nadie allí use tu derivado.
¿Alguien sabe por qué se añadió esta restricción? ¿Es un problema legal en esos territorios o una restricción por competencia? Si fuera lo segundo, cabría esperar que también excluyeran a EE. UU.
No lo entiendo: ¿por qué la gran mayoría de usos de este modelo base no podrían ser dañinos o egoístas? Es como decir «démosle poder infinito a todos los humanos, nada puede salir mal porque ellos definen qué es la humanidad».
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.