Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · ernie.baidu.com

Baidu publica ERNIE 5.5 Flash Base

Baidu ha liberado los pesos de ERNIE-5.5-Flash-Base, un modelo de lenguaje Mixture-of-Experts con 280.000 millones de parámetros, 14.000 millones activos por token. Es un checkpoint de fin de preentrenamiento, sin mid-training ni post-training, pensado como punto de partida para adaptación a dominios, instruction tuning e investigación con aprendizaje por refuerzo.

Leer el artículo aquíArtículo original (ernie.baidu.com) 96 comentarios en Hacker News

Escucha la noticia2 min

ERNIE-5.5-Flash-Base es un modelo sparse MoE preentrenado desde cero con 33,5 billones de tokens (33.5T) y un contexto de entrenamiento de hasta 128K, que admite 1M de tokens para fine-tuning e inferencia. Baidu explica que los pesos corresponden al final del preentrenamiento y que quiere ahorrar a otros desarrolladores el coste del preentrenamiento a gran escala. El corpus da peso a capacidades difíciles de añadir después, como el código a escala de repositorio y la comprensión de contexto largo.

La arquitectura tiene 43 capas Transformer, tamaño oculto de 4096 y 64 cabezas de atención. Combina atención híbrida: una de cada siete capas usa Multi-head Latent Attention (MLA) con acceso token a token a todo el contexto, y el resto usa Heavily Compressed Attention (HCA), que comprime cada 128 tokens en una sola entrada de caché. Las capas MLA emplean atención dispersa (DSA) con un indexador que selecciona las posiciones más relevantes. Además incorporan Low-Rank Gated Attention, con la puerta calculada a partir del latente de la query, y Virtual Head Attention, que mezcla información entre cabezas.

En las capas MoE (todas salvo la primera) hay 512 expertos enrutados, con top-10, y un experto compartido. Un Multi-Router con varios routers sigmoid independientes sustituye al router único, y los expertos latentes trabajan en un espacio de 2048 dimensiones en lugar de 4096, con lo que se reduce aproximadamente a la mitad el tráfico de dispatch/combine y los FLOPs de los expertos. El modelo sustituye la conexión residual estándar por Manifold-Constrained Hyper-Connections (mHC), con cuatro flujos residuales paralelos, y usa una capa de salida MultiMax con temperatura aprendida por tramos.

En Hacker News

«Baidu released ERNIE 5.5 Flash Base» · puesto 30 · 177 puntos · enviado por pretext

Lo que dicen los comentarios

La licencia es lo que más inquieta: varios comentarios señalan que prohíbe el uso en la Unión Europea, el Reino Unido y Corea del Sur, y que quien derive el modelo es responsable de que nadie allí lo use, algo que otros consideran imposible de hacer cumplir. Se discute si es una cuestión legal o de competencia. Hay entusiasmo por que se publiquen modelos base, con un comentario que defiende que su difusión masiva ayuda a la alineación, y otro que lo cuestiona por el riesgo de usos dañinos. También se comparan sus resultados con Deepseek-v4-Flash y Qwen, se pregunta por el tamaño en memoria y por marcos para entrenarlo en clúster, y se aclara que, al no estar ajustado con instrucciones, no sirve tal cual para agentes de programación. Hay bromas sobre el nombre (ERNIE, como BERT).

  • La licencia parece muy restrictiva para algo pensado para construir encima. Países enteros tienen prohibido usarlo (la Unión Europea, el Reino Unido y Corea del Sur), y eres responsable de que nadie allí use tu derivado.
    — mkl, leer el comentario
  • ¿Alguien sabe por qué se añadió esta restricción? ¿Es un problema legal en esos territorios o una restricción por competencia? Si fuera lo segundo, cabría esperar que también excluyeran a EE. UU.
    — nmstoker, leer el comentario
  • No lo entiendo: ¿por qué la gran mayoría de usos de este modelo base no podrían ser dañinos o egoístas? Es como decir «démosle poder infinito a todos los humanos, nada puede salir mal porque ellos definen qué es la humanidad».
    — teshier-A, leer el comentario
  • No está ajustado con instrucciones, así que no, no sirve para nada como agentes de programación.
    — spwa4, leer el comentario
  • Es un tamaño interesante: cabrá en 2x128 GB con una cuantización decente (≥4 bits por peso).
    — Tepix, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Fuentes

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.