Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Show HN · github.com

Hago que los LLM funcionen en dispositivos pequeños y viejos

smolmaxxing es un conjunto de parches para llama.cpp que busca el mayor modelo que puede correr en un TV box, un iPad Air de 2013 o un móvil Android. Con kernels propios y lectura de pesos desde la memoria flash, ejecuta modelos de 16B a 80B con 1-3 GB de RAM.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 173 comentarios en Hacker News

Escucha la noticia3 min

El proyecto parte de una idea: televisores, tabletas y móviles antiguos, placas y routers tienen CPU, RAM y almacenamiento flash que pasan la mayor parte del día sin usarse. smolmaxxing averigua cuál es el mayor modelo que cada uno puede ejecutar de verdad y luego lo mejora con kernels a medida, un uso cuidadoso de la memoria y pesos leídos desde flash. Según el repositorio, todas las cifras están medidas en el propio dispositivo.

Por ahora hay tres dispositivos. Un Xiaomi TV Box S de tercera generación (Amlogic S7D, unos 1 GB de RAM utilizables) ejecuta Qwen3.5-2B a 7,7 tok/s y Ling-mini-2.0 de 16B a 5,1 tok/s. Un iPad Air de 2013 (chip A7, unos 700 MB utilizables, iOS 12.5.7 con jailbreak) mueve Bonsai-1.7B de 1 bit a 24-26 tok/s y el mismo Ling-mini-2.0 a 2,6-4,5 tok/s. Un OnePlus Nord CE 2 con unos 3 GB libres corre Qwen3.6-35B-A3B a 4,9-5,7 tok/s y Qwen3-Next-80B-A3B a 2,6-3,1 tok/s.

Todo es un parche sobre llama.cpp. Incluye un kernel de 1 bit basado en tablas de búsqueda, formatos de 2 bits y ternarios reempaquetados para el Cortex-A55 y variantes para el A7, que no tiene instrucciones de producto escalar. Para ahorrar RAM se eliminan las filas de salida del vocabulario que casi nunca se usan, y en el TV un modo «headless» detiene el launcher y los servicios de Google mientras corre el modelo.

En los modelos de mezcla de expertos solo se usan unos pocos expertos por token: se mantienen en RAM los más populares, el resto se lee de flash bajo demanda y se precarga el de la capa siguiente. También hay streaming para modelos densos mayores que la RAM. El repositorio incluye los modelos en Hugging Face, guías de instalación, un cuaderno de laboratorio con 165 experimentos (fallos incluidos) y una tabla de proyectos similares, como LLM en una PlayStation 2, una Wii o un ESP32-S3. Los autores piden que otros prueben sus dispositivos y envíen resultados, y anuncian más placas, routers y móviles.

En Hacker News

«I'm making LLMs work on small and old devices» · puesto 30 · 457 puntos · enviado por mrashad74

Lo que dicen los comentarios

El autor, mrashad74, pregunta qué dispositivo más difícil probar, y las respuestas van desde el chiste (un vaper con pantalla, una Playdate) hasta propuestas serias, como las tarjetas Xeon Phi de saldo o un IBM i con arquitectura Power reciente. Un comentario sostiene que los agentes de código ya resuelven esta tarea de un solo intento; el autor lo matiza: su trabajo ha sido una búsqueda sistemática de unos 150 experimentos, y lo decisivo es cómo se acota el espacio de búsqueda. Otro hilo pregunta para qué sirven modelos tan pequeños: se cuestiona que sirvan para tareas prácticas o con herramientas, y se responde que la investigación importa aunque hoy no sea útil, porque las grandes empresas no tienen interés en hacer los LLM menos exigentes. También hay quien cuenta sus propios modelos diminutos (uno de 6,5M de parámetros en el navegador, otro de reconocimiento de voz) y quien destaca el cuaderno EXPERIMENT.md como recurso.

  • Hace cinco meses que opus y fable pueden hacer esta tarea de un solo intento. Lo difícil ahora es conseguir el hardware y darle al agente acceso por ssh: él busca el compilador, escribe la implementación, la optimiza y la prueba.
    — Farmadupe2, leer el comentario
  • Estoy de acuerdo, pero la idea no está en el one-shot: como se ve en los logs, hicieron falta unos 107 + 50 experimentos. Lo trato como un proyecto de búsqueda, y lo clave es hacia dónde diriges al modelo para reducir el espacio.
    — mrashad74, leer el comentario
  • Es técnicamente precioso, pero me pregunto qué utilidad tienen estos modelos pequeños. ¿Son lo bastante listos para tareas prácticas? ¿Qué hace la gente con ellos?
    — yjftsjthsd-h, leer el comentario
  • Da igual que hoy no sea útil. Es importante que la comunidad investigue esta línea porque las grandes empresas no lo harán: les conviene que los LLM consuman muchos recursos.
    — gonzalohm, leer el comentario
  • Hace un año ajustaba un qwen 2.5 de 0,5B para personajes conversacionales. Ahora tengo un modelo propio de 6,5M de parámetros que razona, resuelve mates, llama herramientas y hace RAG; ocupa unos 30 MB y corre en el navegador con menos de 10 ms.
    — nico, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.