El proyecto, empaquetado como vllm-torchtpu, es un plugin externo (out-of-tree) de vLLM que ejecuta los modelos PyTorch del propio vLLM en TPUs mediante TorchTPU (torch_tpu, con torch.compile(backend="tpu")) y una biblioteca de kernels en JAX/Pallas para atención, Mixture-of-Experts y multiplicaciones de matrices cuantizadas. Su objetivo es mantener el mismo vLLM de siempre, con la misma CLI, el mismo servidor compatible con la API de OpenAI y las mismas definiciones de modelo, sin reimplementar nada en otro framework.
Entre los kernels optimizados para TPU figuran Ragged Paged Attention, MLA denso y disperso, Gated DeltaNet, MoE fusionado (con descarga a SparseCore) y matmuls cuantizados en FP8, INT8 y MXFP4. Admite paralelismo TP, DP, PP, EP y paralelismo de contexto en prefill/decode, en slices de TPU de uno o varios hosts, con servicio desagregado de prefill y decode. Funcionan por los flags habituales de vLLM la decodificación especulativa, el prefix caching, multi-LoRA, la salida estructurada y las entradas multimodales.
En hardware, la opción recomendada es TPU v7x (Ironwood), validada en CI en cada pull request y cada noche. Las generaciones v6e, v5e y v5p son experimentales y no pasan por CI. El README aclara que el backend original, tpu-inference, ahora se llama vLLM JAX y sigue disponible para servir implementaciones de modelos escritas en JAX puro.
La instalación exige Python 3.12 en una VM de Cloud TPU y se hace con pip desde PyPI o con la imagen de Docker vllm/vllm-torchtpu. El primer arranque compila los grafos de TPU para las formas configuradas y puede tardar varios minutos; con VLLM_XLA_CACHE_PATH se conservan los artefactos compilados entre reinicios. La lista de modelos con soporte de primera clase incluye Qwen3 y Qwen3.5, DeepSeek-V3/R1/V4, Kimi-K2.5/K3, GLM-5, Llama 3/4, GPT-OSS, Gemma 3/4 y Mixtral, además de modelos de visión y de difusión a través de vllm-omni.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.