El autor cuenta que empezó en diciembre de 2025 a trabajar en aprendizaje por refuerzo con modelos de lenguaje. Quería investigar el desajuste entre entrenamiento e inferencia, la gestión incorrecta de la precisión y los workers separados de entrenamiento e inferencia. Los frameworks existentes no ofrecían esas funciones y decidió construir su propia pila con ayuda de Claude Opus 4.5. Calculaba unos tres meses; tardó unos diez, y otros se le adelantaron en casi todos los temas. Aun así, asegura que Jam es muy rápido, flexible y, hasta donde sabe, de lo mejor del estado de la técnica.
La serie arranca con la arquitectura de las GPU y la computación distribuida, las aplica a la inferencia de modelos de lenguaje y presenta brevemente el profiling, con comprobaciones de conocimiento por el camino. Después pasa a la optimización de kernels reales de Jam y a su flujo de trabajo reciente para desarrollarlos con LLM. Según el autor, un LLM de frontera tardó de horas a días en resolver la mayoría de los kernels que menciona. El texto incluye además una página complementaria dirigida a agentes, con instrucciones para recoger perfiles y ajustes de compilador y runtime de JAX que afectan al rendimiento.
La parte disponible se centra en los fundamentos. Repasa los tipos de datos habituales en aprendizaje automático (FP32, FP16, BF16, FP8 E4M3 y E5M2), con sus bits de exponente y fracción: BF16 conserva un rango similar al de FP32, FP16 gana precisión en un rango menor, y en FP8 E4M3 es más preciso y E5M2 cubre más rango. Explica que almacenamiento y aritmética pueden usar tipos distintos, por ejemplo multiplicar en BF16 y acumular en FP32 para reducir el error de redondeo.
Después describe el modelo de ejecución: un kernel es un programa lanzado en la GPU, que se ejecuta en muchos hilos agrupados en bloques; los bloques se ejecutan en warps de 32 hilos sobre streaming multiprocessors (SM), y todos los bloques de un lanzamiento forman un grid. Una H200 SXM completa tiene 132 SM. En cuanto a la memoria, la HBM es la principal y la más lenta del chip (4,8 TB/s en una H200), seguida de la caché L2, la L1 y la memoria compartida de cada SM, y por último los registros, el almacenamiento más rápido. Quedarse sin registros es, según el autor, uno de los primeros sitios donde mirar si algo va más lento de lo esperado.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.