Lunes, 16 de noviembre de 2026
Portada de las 22:25
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Show HN · github.com

Horas de YouTube y 85 páginas de notas a mano sobre inferencia de LLM: empieza aquí

Samir Sarwar ha publicado samir-vllm, un pequeño motor de inferencia de LLM escrito desde cero en C++ y CUDA, con más de seis horas de vídeo y más de 80 páginas de notas manuscritas. Está pensado para enseñar a principiantes qué ocurre entre un prompt y cada token generado.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 8 comentarios en Hacker News

Escucha la noticia3 min

El proyecto implementa la inferencia de Llama 3.2 1B Instruct en C++17 y CUDA, con CMake e ICU para la tokenización con soporte Unicode. Carga directamente el archivo model.safetensors, copia los pesos BF16 a la GPU y cuenta con un tokenizador BPE propio, con tokens especiales y formato de chat Instruct, cubierto por un ejecutable de pruebas.

El motor ejecuta el prefill denso causal de las 16 capas: proyecciones Q/K/V, RoPE, atención con grouped-query, proyección de salida, RMSNorm y MLP SwiGLU, con kernels CUDA propios y cuBLAS. Los logits se calculan en FP32 y la generación es greedy mediante argmax en GPU, con parada en EOS, EOT o EOM.

Para el decode usa un KV cache paginado: un pool compartido de páginas BF16, de 16 tokens cada una, con una tabla de bloques por secuencia y capa. La atención lee las páginas directamente con softmax online en FP32, sin reunir un prefijo contiguo ni almacenar las puntuaciones. Admite batching estático y un planificador de continuous batching que admite peticiones según el presupuesto de páginas. El pool es de 128 MiB por defecto y se ajusta con --kv-cache-mib; la opción --stats muestra métricas de uso.

El alcance es deliberadamente limitado: las dimensiones del modelo y el contexto de 2.048 tokens son fijos, y el prefill procesa un prompt cada vez. El README advierte de que, por el redondeo de BF16, la salida puede variar entre ejecuciones individuales y por lotes cuando los logits están casi empatados.

La serie consta de once partes más un final: desde qué es la inferencia y la carga de pesos hasta RMSNorm, RoPE, atención, feed-forward, KV cache, batching y paged attention. Cada vídeo tiene notas de apoyo en Markdown y PDF. El código está bajo licencia MIT, mientras que las notas, escaneos e ilustraciones tienen todos los derechos reservados, con permiso para lectura y estudio personal.

En Hacker News

«Hours of YouTube and 85 handtyped pages of notes on LLM Inference – Start here» · puesto 17 · 54 puntos · enviado por samirswr

Lo que dicen los comentarios

Hay un único comentario, el del propio autor. Cuenta que grabó el material durante dos meses, a la vez que trabajaba como becario de ingeniería de software, y que aprendió a programar con vídeos de YouTube para principiantes, un tipo de contenido que según él aparece cada vez menos con el auge de la IA. Aclara que casi todo el código y las notas principales son suyos, salvo pequeñas correcciones y actualizaciones del README, y que las notas adicionales de cada vídeo sí están generadas con IA.

  • Grabé más de seis horas de vídeo y escribí a mano más de 85 páginas de notas para enseñar inferencia de IA a principiantes absolutos, trabajando después de mi jornada como becario de ingeniería de software durante dos meses.
    — samirswr, leer el comentario
  • Aprendí a programar con vídeos de YouTube para principiantes. Con el auge de la IA salen menos, así que quise cambiarlo. Casi todo el código es mío, salvo pequeñas correcciones y cambios en el README.
    — samirswr, leer el comentario
  • Cada vídeo tiene notas adicionales generadas con IA, pero las notas principales las he escrito yo.
    — samirswr, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.