Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Hardware · cerebras.ai

Cómo despliega Cerebras modelos de billones de parámetros

Cerebras explica cómo reparte un modelo de unos 3 billones de parámetros, Kimi K3, entre 59 chips WSE-3T para servirlo a 1.000-2.000 tokens por segundo. El truco es mantener las capas fijas en la memoria SRAM de cada chip y mover solo las activaciones entre ellos.

Foto: vía cerebras.ai

Leer el artículo aquíArtículo original (cerebras.ai) 127 comentarios en Hacker News

Escucha la noticia2 min

Cada oblea WSE-3T tiene 44 GB de memoria en el propio chip, mientras que un modelo de billones de parámetros necesita terabytes solo para los pesos. Cerebras usa como ejemplo Kimi K3, un modelo open source de unos 3 billones de parámetros con 69 capas de atención lineal y 24 densas. Supone cuantización de pesos a 4 bits, una caché KV de 8 bits y peticiones de 256k tokens de media.

Con esos supuestos, cada capa ocupa unos 16 GB. Las capas densas necesitan además espacio para la caché KV, así que va una por oblea. Las de atención lineal guardan un estado pequeño y fijo por petición, y caben dos por oblea. El total sale en 35 obleas para las lineales más 24 para las densas, es decir, 59.

Cerebras ejecuta el modelo en pipeline: los pesos de cada etapa no se mueven y solo viajan las activaciones de una oblea a la siguiente mediante RDMA sobre Ethernet, con unos 2 microsegundos por salto. Para que las obleas no queden ociosas, cada etapa trabaja a la vez con una petición distinta, o con un micro-lote de ellas. Los micro-lotes pequeños aceleran cada petición y los grandes aumentan el rendimiento total. En producción, dice Cerebras, las etapas son mucho más finas y numerosas.

El número de peticiones concurrentes lo fija la memoria que queda libre para la caché KV en las obleas con capas densas, ya que cada petición necesita la suya. Cerebras señala que la métrica más significativa para comparar sistemas es el rendimiento en tokens por segundo y por megavatio a igual velocidad de generación. Según el texto, el método se extiende a modelos aún mayores añadiendo obleas.

En Hacker News

«Cerebras Deploys Trillion-Parameter AI Models» · puesto 28 · 348 puntos · enviado por gmays

Lo que dicen los comentarios

La conversación se divide entre el catálogo de modelos de Cerebras y las dudas técnicas. Varios usuarios critican que sirve modelos desfasados o poco útiles para ellos, y alguno dice que Mercury 3 la supera ya en coste y rendimiento a velocidad similar; otros replican que pronto llegarán modelos más recientes o que GPT-5.6 Sol Ultrafast ya corre en su hardware. En lo técnico, se pregunta por la malla 2D de núcleos y por qué el pipeline no tiene sentido en GPU, y se cuestiona que el artículo no diga cómo se acelera el prefill ni que se citen benchmarks a precisión completa para luego usar cuantización a 4 bits, algo que otros consideran habitual y casi sin pérdida.

  • Las mallas 2D funcionan bien porque puedes repartir los ejes del tensor por los núcleos como quieras (lote, secuencia, dimensión oculta) y el código por núcleo es simple: coge datos del vecino, calcula tu subtensor y envíalo al vecino.
    — bubblethink, leer el comentario
  • Describe otro tipo de paralelismo, el de pipeline. La red se distribuye espacialmente por la oblea: los pesos están quietos y fluyen las activaciones. Una GPU procesa la red capa a capa, y el pipeline no tiene mucho sentido en una GPU para inferencia.
    — bubblethink, leer el comentario
  • Fui suscriptor de su plan de programación, ya retirado. Los 1.000 TPS eran únicos entonces, pero hoy su Qwen 3.8 queda aplastado por Mercury 3 en coste y rendimiento a una velocidad parecida. Solo compensa a empresas con un acuerdo a medida.
    — 2001zhaozhao, leer el comentario
  • ¿59 obleas para Kimi? Me suena a problema de arquitectura. Supongo que si buscan muchos tokens por segundo y esto permite ejecutar muchos agentes a la vez y a gran velocidad, puede estar bien.
    — phkahler, leer el comentario
  • Me lo creo para la decodificación, pero el artículo no dice nada de cómo hacen rápido el prefill con esa interconexión.
    — ismailmaj, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.