Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Programación · github.com

Mizu: R y Python en paralelo y sin copias sobre memoria compartida

pymizu es un paquete de Python, con su equivalente mizu para R, que ejecuta tareas en paralelo mediante colas sin bloqueos sobre memoria compartida. Según sus benchmarks, una tarea tarda menos de 1 µs en ir y volver, frente a unos 100 µs con sockets. Está en fase experimental.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 7 comentarios en Hacker News

Escucha la noticia3 min

pymizu ofrece canales y pools de tareas con work-stealing sobre memoria compartida POSIX (Linux, macOS) o file mappings de Win32 (Windows). Usa anillos lock-free de un productor y un consumidor con publicación por lotes, y una espera que primero hace spinning y luego se aparca, sin pasar por el kernel en la ruta caliente. Si un par muere, el sistema operativo lo notifica. Se apoya en libmizu, una biblioteca en C para IPC sin bloqueos, y mizu es el binding de ese mismo núcleo para R.

El planteamiento parte de que, en el CPython por defecto, el GIL deja ejecutar un solo hilo con carga de CPU a la vez, así que paralelizar cómputo suele implicar varios procesos, que además aíslan los fallos. Según el README, el viaje de ida y vuelta de una tarea trivial pasa de 94,2 µs con ProcessPoolExecutor a 0,7 µs, y el rendimiento encadenado con un worker, de 18.500 a 2.390.000 tareas por segundo. Frente a ThreadPoolExecutor, la ventaja va de 3,9x a 17x según la prueba. Las cifras se midieron en un Apple M4 Pro.

La interfaz incluye PoolExecutor, un sustituto directo de concurrent.futures.Executor con Futures reales, compatible con wait, as_completed y asyncio.wrap_future. También hay asyncio orientado a eventos, mapas paralelos anidables sin deadlocks y números aleatorios reproducibles con seed= para cualquier número de workers. Los arrays de numpy y las tablas Arrow (pyarrow, polars, pandas, duckdb) se comparten como vistas sin copia.

Los workers de un pool pueden ser procesos de R que ejecutan el paquete mizu. pymizu.r_launcher() los lanza y pymizu.call() define la tarea; un array de numpy llega a R como vector numérico y un data frame, como data frame. El README indica que también se puede hacer a la inversa, con un host en R que dirige workers de Python. Se instala con pip install pymizu, requiere Python 3.10 o posterior en 64 bits, es MIT y su ciclo de vida está marcado como experimental: la API puede cambiar.

En Hacker News

«Mizu – zero-copy parallel R and Python over shared memory» · puesto 28 · 64 puntos · enviado por cscheid

Lo que dicen los comentarios

Hay un único comentario, del autor, que se presenta como creador de mizu (R) y pymizu (Python). Explica que los workers toman tareas de colas lock-free, que no hay un despachador de tareas y que se evitan las llamadas al sistema en la ruta caliente. Compara con ProcessPoolExecutor y con mirai, su otro framework para R. Aclara que las cifras salen de su portátil y que los scripts de benchmark están en los repositorios. Reconoce que solo funciona en una máquina, por usar memoria compartida, y pide feedback de usabilidad, informes de errores y ideas de usos.

  • Soy el autor. El viaje de ida y vuelta de una tarea baja a menos de un microsegundo, desde unos 100 µs con sockets en ProcessPoolExecutor o en mirai, mi otro framework de R. Son cifras de mi portátil (un M4 Pro) y los scripts de benchmark están en los repos.
    — shikokuchuo, leer el comentario
  • Los workers toman tareas de colas lock-free, no hay despachador de tareas y se evitan las llamadas al sistema en la ruta caliente. Al compartir formato de intercambio, mizu y pymizu pasan data frames y tipos Arrow sin copia entre pools de lenguajes distintos.
    — shikokuchuo, leer el comentario
  • Por supuesto, solo funciona en una máquina, porque usa memoria compartida. La API sigue siendo experimental. Agradezco feedback de usabilidad e informes de errores en los repos, y me encantaría saber en qué sitios te gustaría ver esto usado.
    — shikokuchuo, leer el comentario

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.