Lunes, 16 de noviembre de 2026
Portada de las 22:25
Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Show HN

Show HN: CATT 0.2.1, para probar agentes y servicios contra un sustituto de Muse o Instinct en CI

CATT (Consumer Agent Testing Tool) es una herramienta open source para probar cómo un asistente usa tu servicio. Emula, de forma aproximada, los asistentes Muse e Instinct, graba toda la interacción y permite compararla entre versiones, en local o en integración continua, con o sin modelo detrás.

Foto: vía github.com

Leer el artículo aquíArtículo original (github.com) 0 comentarios en Hacker News

Escucha la noticia3 min

Los autores presentan CATT como respuesta a su propia frustración al construir un MCP o una API para que la consuman estos asistentes. Según el post, probar contra ellos es difícil: la memoria del agente y el estado de las cuentas dificultan la reproducibilidad entre los agentes y las APIs o MCP con los que interactúan.

La herramienta ofrece un agente sustituto, sin afiliación con Muse ni con Instinct. El tester define las condiciones iniciales, las aprobaciones y las condiciones de éxito para el estado de su servicio. CATT registra la interacción completa, incluidas llamadas a herramientas y respuestas, para contrastar lo ocurrido con lo que el agente dice haber hecho. Incluye acceso a herramientas y a línea de comandos, aprobaciones simuladas, seguimiento y comparación de resultados, y un perfil MCP opcional basado en una plantilla no oficial de Muse.

El README describe varias vías de prueba: conectores MCP (`connector-run`), apps MCP embebidas en Chromium, sitios web, APIs HTTP y comprobaciones de preparación (`check`). También hay informes, exportación con redacción, reproducción y `diff` entre ejecuciones, que requieren ejecuciones selladas. Las ejecuciones con guion no necesitan cuenta de modelo; las de agente requieren un perfil de modelo y una clave de API. Requiere Python 3.12 o superior, uv y, para las vías de navegador, Node.js 20 o superior.

Los autores avisan de los límites: CATT aproxima el host de un asistente, no su implementación privada, y un test superado no certifica compatibilidad con Muse ni con ningún asistente alojado. Cada comportamiento específico de Muse lleva una base registrada: `documented`, `unofficial`, `assumed` o `unknown`. Las pruebas de Instinct tienen un registro de fuentes aparte, y el README indica que no se encontró un contrato público de integración MCP de Instinct. Los autores citan un informe reciente sobre el uso de Exa por parte de Instinct para la búsqueda web. Piden opiniones de quien construya conectores o MCP y ejemplos de asistentes que se comporten de forma incoherente, usen información obsoleta o declaren éxito sin pruebas.

En Hacker News

«Show HN: CATT 0.2.1: Test agents/services against a Muse/Instinct-alike, in CI» · puesto 27 · 4 puntos · enviado por botacode

Lo que dicen los comentarios

El post aún no tiene comentarios, así que no hay debate que resumir. Los autores piden en el propio texto que quienes construyan conectores o MCP les cuenten su experiencia y sugieran qué más conviene probar.

Pregunta sobre esta noticia

Respuestas automáticas a partir de las noticias de El Autómata, sus fuentes y la radio. Pueden contener errores: comprueba los enlaces.

Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.