Lunes, 16 de noviembre de 2026
Portada de las 21:50
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Programación · dmux.github.io

MiniLake, un emulador local de la API de Databricks con SQL, Delta Lake y Spark

MiniLake es un proyecto open source (MIT) que emula en local la API REST de Databricks y ejecuta de verdad el SQL, los ficheros Delta y los jobs de Spark. Permite probar código con databricks-sdk, la CLI, Terraform o agentes de LLM sin cuenta ni coste en la nube.

Foto: vía dmux.github.io

Leer el artículo aquíArtículo original (dmux.github.io) 17 comentarios en Hacker News

Escucha la noticia2 min

El proyecto se instala con `pip install minilake` o con una imagen de Docker y sirve la API en localhost:8000. Cualquier token es aceptado, y para usarlo basta con cambiar el host del cliente. Según sus autores, emula más de 30 grupos de la API de Databricks, desde Unity Catalog hasta SCIM, y cuenta con más de 378 tests ejecutados con el SDK real de Databricks, no con mocks.

Detrás de la API hay motores reales. El SQL se ejecuta sobre DuckDB, y cada catálogo de Unity Catalog es su propio fichero de base de datos. Las tablas Delta externas son ficheros Parquet con su _delta_log/: las escrituras (INSERT, UPDATE, DELETE) pasan por un job real de Spark y las lecturas por delta_scan() de DuckDB. Los jobs de tipo spark_python_task lanzan spark-submit en un contenedor hermano y devuelven la salida real, con planificación de DAG que respeta depends_on y run_if.

El proyecto incluye además un espacio de trabajo SQL en /ui, con editor Monaco, historial de consultas, gráficos y un JupyterLab embebido. Está pensado para integración continua: un POST a /_minilake/reset deja el espacio de trabajo limpio sin reiniciar el contenedor. Con MINILAKE_PERSIST=1 guarda el estado al apagar y lo restaura al arrancar. La imagen no descarga nada en ejecución y funciona sin red.

Para agentes de LLM ofrece un servidor MCP en /mcp, con 67 herramientas, 8 recursos y 4 prompts, entre ellas herramientas compuestas como setup_fixture o seed_table y un recurso con la guía del dialecto SQL para que el agente no escriba Spark SQL contra DuckDB. En cuanto a cobertura, lo que queda fuera de alcance responde con un error 501 NOT_IMPLEMENTED en lugar de simular un éxito. Los permisos de Unity Catalog (grants) tienen CRUD con herencia, pero no se comprueban.

En Hacker News

«MiniLake Is a Local Databricks API Emulator with SQL, Delta Lake and Spark» · puesto 28 · 84 puntos · enviado por kermatt

Lo que dicen los comentarios

El post tiene 4 puntos y todavía no hay comentarios, así que no hay conversación que resumir.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.