Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · github.com

Un backend TPU nativo de PyTorch para vLLM

vLLM TorchTPU es un plugin de plataforma para vLLM que permite servir modelos con sus definiciones estándar de PyTorch en TPUs de Google Cloud, sin cambiar el código del modelo. Usa TorchTPU y kernels propios en JAX/Pallas. Se presenta como la vía recomendada frente al backend JAX original.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 0 comentarios en Hacker News

Escucha la noticia2 min

El proyecto, empaquetado como vllm-torchtpu, es un plugin externo (out-of-tree) de vLLM que ejecuta los modelos PyTorch del propio vLLM en TPUs mediante TorchTPU (torch_tpu, con torch.compile(backend="tpu")) y una biblioteca de kernels en JAX/Pallas para atención, Mixture-of-Experts y multiplicaciones de matrices cuantizadas. Su objetivo es mantener el mismo vLLM de siempre, con la misma CLI, el mismo servidor compatible con la API de OpenAI y las mismas definiciones de modelo, sin reimplementar nada en otro framework.

Entre los kernels optimizados para TPU figuran Ragged Paged Attention, MLA denso y disperso, Gated DeltaNet, MoE fusionado (con descarga a SparseCore) y matmuls cuantizados en FP8, INT8 y MXFP4. Admite paralelismo TP, DP, PP, EP y paralelismo de contexto en prefill/decode, en slices de TPU de uno o varios hosts, con servicio desagregado de prefill y decode. Funcionan por los flags habituales de vLLM la decodificación especulativa, el prefix caching, multi-LoRA, la salida estructurada y las entradas multimodales.

En hardware, la opción recomendada es TPU v7x (Ironwood), validada en CI en cada pull request y cada noche. Las generaciones v6e, v5e y v5p son experimentales y no pasan por CI. El README aclara que el backend original, tpu-inference, ahora se llama vLLM JAX y sigue disponible para servir implementaciones de modelos escritas en JAX puro.

La instalación exige Python 3.12 en una VM de Cloud TPU y se hace con pip desde PyPI o con la imagen de Docker vllm/vllm-torchtpu. El primer arranque compila los grafos de TPU para las formas configuradas y puede tardar varios minutos; con VLLM_XLA_CACHE_PATH se conservan los artefactos compilados entre reinicios. La lista de modelos con soporte de primera clase incluye Qwen3 y Qwen3.5, DeepSeek-V3/R1/V4, Kimi-K2.5/K3, GLM-5, Llama 3/4, GPT-OSS, Gemma 3/4 y Mixtral, además de modelos de visión y de difusión a través de vllm-omni.

En Hacker News

«PyTorch-native TPU back end for vLLM» · puesto 21 · 5 puntos · enviado por zniturah

Lo que dicen los comentarios

El post no tiene aún comentarios, así que no hay debate que recoger.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.