Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · surgehq.ai
Dayjob: Tax, evaluación de agentes de IA en 50 trabajos fiscales profesionales
Surge AI presenta DAYJOB: Tax, un benchmark con 50 entornos de trabajo fiscal real: declaraciones, revisiones, asesoramiento. Los mejores agentes solo superan el listón del 95 % de criterios en torno al 10 % de los intentos. Mide si el agente detecta problemas que el cliente no mencionó.
Foto: vía surgehq.ai
1 medio · MadridPublicada 28 oct, 17:35Actualizada 29 oct, 02:15· Ya no está en portadaEscrita por IA · cómo funciona
DAYJOB: Tax es la tercera entrega de la familia de benchmarks DAYJOB de Surge AI, tras las de Healthcare y Finance. Incluye 50 entornos repartidos en ocho áreas: fiscalidad individual y familiar, pequeña empresa, sociedades de personas (partnerships), propiedad e inversión, herencias, donaciones y trusts, fiscalidad internacional, operaciones societarias, y revisión y disputas fiscales. El agente recibe la petición de un cliente y sus documentos, y debe producir una declaración, papeles de trabajo, una revisión técnica o un asesoramiento.
Los entornos reúnen 1.789 archivos, con una mediana de 30 por tarea y hasta 123 en las mayores: 1.487 PDF, 117 hojas de Excel, 38 documentos de Word, además de correos, imágenes, CSV y JSON. Hay declaraciones presentadas y en borrador, K-1, W-2, notificaciones del IRS, libros mayores, nóminas y contratos. También hay material poco estandarizado, como la foto de un recibo manuscrito de mercancía para reventa o el registro de despachos de una empresa de silos que, aunque el cliente cree que solo opera en Alabama, muestra cuadrillas trabajando en cinco estados. Las tareas las crean expertos fiscales, con experiencia en firmas como PwC, Deloitte, EY o Baker Tilly, y pasan por una revisión en tres capas.
Los resultados se miden con pass@1 y un umbral de rúbrica del 95 %: un intento aprueba si cumple al menos el 95 % de los criterios (cálculos, pruebas de respaldo, cuestiones relevantes y entregable completo). Claude Sonnet 5.5 lidera con un 10,8 %, seguido de Claude Fable 5.1 con un 9,6 % y Claude Opus 5.5 con un 9,2 %. Sonnet 5.5 y Opus 5.5 ocupan el extremo de mayor rendimiento de la frontera de Pareto de coste por intento.
El artículo ilustra el enfoque con dos casos. En el primero, una clienta que quiere vender su piso comparaba dos fechas de cierre; un agente concluyó bien que ambas cumplían el requisito de residencia para excluir hasta 250.000 dólares de ganancias, pero no avisó de que, al haberse mudado en agosto de 2024, dejaría de cumplirlo hacia finales de agosto de 2027. Astra no lo detectó en ninguno de cinco intentos y Opus sí en los cinco. En el segundo, una pareja en proceso de separación preguntó cómo dividir su Roth IRA y su 401(k); Opus dio por hecho en los cinco intentos que no estaban casados legalmente, aunque sus documentos apuntaban a un posible matrimonio de hecho en Texas y a una ceremonia en Colorado. Astra recomendó verificar el estado civil en cuatro de cinco intentos. Frente a TaxBench, TaxCalcBench y TaxLab, que parten de un problema definido, DAYJOB evalúa si el agente descubre qué hay que resolver.
«Dayjob: Tax – evaluating AI agents on 50 professional tax assignments» · puesto 29 · 244 puntos · enviado por landonxi
Lo que dicen los comentarios
Muchos comentaristas cuentan experiencias propias con IA y declaraciones: quienes la usan para revisar el trabajo de su contable han encontrado errores de este, y quien prepara declaraciones complejas la ve útil pero no fiable sin supervisión. La crítica metodológica más repetida es que el benchmark parece dar a un agente genérico una carpeta de documentos sin arneses ni andamiaje específicos para impuestos, así que mediría poco el potencial real; otros responden que así es como se usa en la práctica. También se discute si los LLM pueden hacer cálculos (con herramientas de código, sí), y un contable veterano ve a la IA como sustituta de preparadores junior, con revisión de un profesional. Se habla además de la regulación de los preparadores de impuestos.
Pasé mis declaraciones por Claude antes de firmar y resultó que eran un desastre de errores imperdonables. Enfurece, viendo lo que me cobraba mi ya excontable, que amortizó el fondo de comercio en 5 años en vez de 15.
Claude me ha encontrado errores en mi declaración, pero también ha dado estimaciones de impuestos muy imprecisas sin saber corregirlas. Es muy útil, pero no sirve para volcarle los papeles y esperar una declaración que no haya que revisar.
¿Esto es dar a un agente general una carpeta de documentos y ver qué pasa? Casi todo se ha volcado en modelos base sin infraestructura. La pregunta interesante sería qué harían los modelos con un arnés bien diseñado para impuestos.
El ejemplo de Astra que pasa por alto el requisito de la exclusión parece fácil de arreglar con andamiaje que compile los requisitos y luego los compruebe. Sin él, ¿se mide si el modelo sabe autoorganizarse?
Como contable veterano, creo que los LLM pueden preparar muy bien impuestos, pero no confiaría en ellos de principio a fin. Podrían sustituir a preparadores sin licencia o becarios y que el profesional experimentado revise.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.