El proyecto pone dos redes a trabajar a la vez en la Pico 2 W. La primera, el world model, recibe el frame actual y la acción y predice el siguiente frame y la recompensa. La segunda, el actor, mira el frame generado y elige la acción. En el chip ninguna de las dos usa el juego real: el actor solo ve frames del world model y este solo recibe acciones del actor. Ambas corren en el core 1 del RP2350, mientras el core 0 gestiona USB y pantalla. Cualquier pulsación de botón cede el control al usuario, que puede jugar dentro del «sueño».
El autor partió de su interés por los transformers con bucles (looped transformers), en los que un mismo bloque con los mismos pesos se aplica varias veces. Como reutilizar pesos ahorra memoria, quiso comprobar si un world model así cabría en un microcontrolador. Eligió la Pico 2 W por barata y por tener FPU, y juegos pequeños escritos en numpy para poder comparar cada frame generado con el real. El world model es un transformer con cuantización int8 de 26k a 131k parámetros y de 2 a 8 millones de multiplicaciones-sumas por frame; el actor es un MLP en float32 de 9k a 16k parámetros.
Los cinco juegos son Breakout, Doom-lite, Flappy Bird, Pong y Pac-Man lite. Con dos bucles, los frames exactos en datos de validación son 99,99 % en Breakout, 100 % en Flappy Bird, 99,45 % en Pong, 86,4 % en Pac-Man y 83,6 % en Doom-lite. En Doom-lite basta un píxel de pared mal sombreado para contar el frame como erróneo, así que el autor dice que juega mejor de lo que sugiere la cifra. En la Pico se usan dos bucles para mantener una tasa de frames decente; con más bucles mejora la precisión, sobre todo en Doom-lite (59,8 % con uno, 85,9 % con tres).
La decodificación sigue tres reglas: las celdas de fondo toman su token más probable; los elementos únicos (la bola, el jugador, cada fantasma) se colocan con una sola elección global sobre todos los pares (celda, token), y tras un evento aleatorio se muestrea entre candidatos cercanos al mejor; y los sprites 2×2 de Pac-Man y los fantasmas se estampan a partir de una sola celda con estado. La segunda regla subió Breakout de 91,6 % a 99,7 % al evitar que dibujara dos bolas.
Para validar, el autor deja que un agente juegue en el sueño, lee el estado del juego del frame generado, aplica las reglas reales y compara. En 5.000 pasos por juego, Flappy Bird no tiene estados erróneos, Doom-lite y Pong tienen uno, y Pac-Man 742 estados erróneos y 38 recompensas erróneas. El entrenamiento usa de 1 a 3 millones de transiciones por juego, QAT con int8 y rondas de recogida de datos con el agente y ajuste fino para cerrar los exploits que el agente descubría en el sueño. Los agentes aprenden con Stream AC(λ), una transición cada vez, sin replay buffer ni batches.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.