Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · ernie.baidu.com
Baidu publica ERNIE 5.5 Flash Base
Baidu libera los pesos de ERNIE-5.5-Flash-Base, un modelo base Mixture-of-Experts de 280.000 millones de parámetros, con 14.000 millones activos por token. Es el checkpoint justo tras el preentrenamiento, sin ajuste posterior, pensado como punto de partida para adaptar, afinar o investigar con aprendizaje por refuerzo.
1 medio · MadridPublicada 5 nov, 11:00Actualizada 5 nov, 15:30· Ya no está en portadaEscrita por IA · cómo funciona
ERNIE-5.5-Flash-Base es un modelo de lenguaje sparse Mixture-of-Experts con 280B de parámetros totales y 14B activados por token. Se preentrenó desde cero con 33,5 billones de tokens (33.5T) y un contexto de entrenamiento de hasta 128K; admite 1M de tokens de contexto en ajuste fino e inferencia. Los pesos corresponden al final del preentrenamiento, antes de cualquier mid-training o post-training. Baidu dice que quiere ahorrar a otros desarrolladores el coste del preentrenamiento a gran escala y ofrecer una base limpia para comparar métodos de entrenamiento en condiciones controladas.
La arquitectura tiene 43 capas Transformer, tamaño oculto de 4096 y 64 cabezas de atención. Combina dos tipos de atención: solo una de cada siete capas usa Multi-head Latent Attention (MLA), con acceso a cada token del contexto y atención dispersa (DSA) basada en un indexador que elige los top-k puntos. El resto emplea Heavily Compressed Attention (HCA), que comprime cada 128 tokens en una sola entrada de caché. Además, la puerta de la atención se calcula desde el latente de la consulta, con un 75 % menos de pesos, y Virtual Head Attention añade una mezcla de bajo rango entre cabezas.
En la parte MoE, todas las capas salvo la primera tienen 512 expertos enrutados (top-10) más uno compartido. Sustituyen el router único por varios routers sigmoid inicializados de forma independiente (Multi-Router), con el mismo número de expertos activos y el mismo coste de cómputo y comunicación. Los expertos trabajan en un espacio latente de 2048 dimensiones, lo que reduce aproximadamente a la mitad el tráfico y los FLOPs frente a expertos de ancho completo. Completan el diseño las conexiones residuales mHC, con cuatro flujos residuales paralelos, y la cabeza de salida MultiMax, con temperatura por tramos aprendible.
«Baidu released ERNIE 5.5 Flash Base» · puesto 29 · 164 puntos · enviado por pretext
Lo que dicen los comentarios
Buena parte de la conversación gira en torno a la licencia: varios comentaristas señalan que prohíbe el uso en la Unión Europea, el Reino Unido y Corea del Sur y que responsabiliza al usuario de que nadie de esos lugares use sus derivados, algo que ven imposible de hacer cumplir. También se discute si ERNIE supera a Qwen y a Deepseek, con matices sobre qué versión de Deepseek se usa en la comparación y si Qwen tiene un modelo base publicado. Hay valoración positiva de que se libere un modelo base, preguntas prácticas sobre cómo entrenarlo en un clúster y sobre el hardware necesario, y bromas sobre el nombre frente a BERT y sobre el uso de «dropped» en el titular.
La licencia parece muy restrictiva para algo pensado para construir encima. Países enteros tienen prohibido usarlo (la Unión Europea, el Reino Unido y Corea del Sur), y tú eres responsable de que nadie de allí use tu derivado.
Es genial. ERNIE parece más potente que Qwen3.8-27B y Deepseek-v4-Flash, que por lo que sé son ahora los mejores modelos base. Los modelos base también son excelentes para empresas que ejecutan modelos en local y los entrenan con sus reglas y estilos.
Lo comparan con Deepseek-v4-Flash, no con la 4.1 ni con la actualización 4.1 1017, así que van dos versiones por detrás de la última de Deepseek Flash.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.