Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
HN Daily
Inteligencia artificial · lynchlab.net
Una CNN de hace diez años supera a los LLM de frontera en el diagnóstico de cáncer de piel
Un dermatólogo comparó GPT-6 Astra y Claude Fable 5.1 con una Inception v3 afinada durante unos veinte minutos sobre 200 lesiones con biopsia. La red acertó el 62 % de los diagnósticos; los dos LLM, el 42 %. El autor advierte de que la muestra es pequeña y la prueba, difícil.
1 medio · MadridPublicada 25 oct, 19:25Actualizada 26 oct, 02:40· Ya no está en portadaEscrita por IA · cómo funciona
El autor, dermatólogo, dio a GPT-6 Astra y a Claude Fable 5.1 dos imágenes de cada lesión, una fotografía clínica y otra dermatoscópica, y les pidió el diagnóstico más probable entre seis posibles (o «no seguro»), una confianza, una segunda opción y si la lesión podía darse de alta sin tratamiento, biopsia ni seguimiento. Los dos modelos recibieron el mismo prompt con la configuración por defecto y ninguno rechazó un caso. Como ejemplo, un melanoma invasivo en la oreja, de menos de 0,8 mm, fue diagnosticado por ambos como queratosis seborreica y dado de alta; la CNN acertó.
Las 200 lesiones proceden de MILK10k, un conjunto público de la International Skin Imaging Collaboration publicado en 2025, y todas están confirmadas por histopatología: 100 que no deben darse de alta (30 melanomas, 25 carcinomas basocelulares, 25 carcinomas escamosos y 20 queratosis actínicas) y 100 que sí (50 nevus y 50 queratosis seborreicas). Al haberse biopsiado también las benignas, son casos más difíciles de lo normal. La CNN es una Inception v3, publicada por Google en 2015, preentrenada con fotografías cotidianas y afinada en todas sus capas con 68.011 imágenes del archivo ISIC en una sola H100. Se retiraron de sus datos las 200 lesiones de prueba y cualquier otra foto de la misma lesión o paciente.
La CNN acertó 125 de 200 (62 %); GPT-6 Astra, 84 (42 %) y Claude Fable 5.1, 85 (42 %). Con segunda opción, 173 frente a 134 y 138. En melanoma, 13 de 30 frente a 8 y 11. La mayor diferencia estuvo en las lesiones benignas: 37 de 50 nevus y 26 de 50 queratosis seborreicas, frente a 16 y 13 de GPT-6 Astra y 33 y 6 de Claude Fable 5.1. La CNN quedó un acierto por debajo de GPT-6 Astra en carcinoma basocelular y por detrás de ambos LLM en queratosis actínica. Cada LLM tuvo una respuesta favorita: GPT-6 Astra llamó carcinoma basocelular a 75 lesiones, de las que solo 25 lo eran, y Claude Fable 5.1 llamó queratosis actínica a 53, de las que solo 20 lo eran.
El autor señala sus límites: 200 lesiones y 30 melanomas dan resultados con mucha incertidumbre, cada caso se ejecutó una vez con los LLM y las respuestas varían entre ejecuciones. MILK10k es público desde 2025, así que los LLM podrían haberlo visto en el entrenamiento, algo que habría jugado a su favor. Inception v3 es una referencia básica: los sistemas de última generación usan conjuntos de vision transformers con más datos. Preguntando como un paciente, solo con la foto clínica y la pregunta «¿necesito ver a un médico?», ambos LLM recomendaron acudir al médico en casi todos los casos, benignos incluidos: en 99 y 98 de otros 100 melanomas con biopsia. El autor dice que el análisis y los primeros borradores se hicieron con Claude Code y que uno de los LLM probados es también de Anthropic.
«A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis» · puesto 1 · 511 puntos · enviado por sungam
Lo que dicen los comentarios
Buena parte de los comentarios ve el resultado como esperable: un modelo pequeño y especializado gana a uno generalista, con analogías como la calculadora o KataGo en go. El autor responde que le sorprendió porque los LLM interpretan bien las imágenes en general y hay miles de fotos de cáncer de piel en internet. Otros critican el diseño: acusan a la CNN de haberse optimizado para el benchmark («benchmaxxing») y dudan de que generalice a fotos fuera de dominio; el autor y otros responden que los modelos actuales, con ensembles de vision transformers, ya se han validado en ensayos clínicos. También se discute si una CNN es una arquitectura obsoleta para clasificar imágenes, y hay quien ve más potencial en los LLM si se les da el historial clínico o se les deja preguntar al paciente. Una persona que desarrolló el modelo que lidera el ranking actual de la tarea destaca que los modelos de imagen y lenguaje médicos abiertos, como MedSigLIP, no entran en el top 10.
Me sorprende que le sorprenda. Una red Katago de 30 M de parámetros con una sola simulación es sobrehumana jugando al go, y los LLM de frontera, con 10.000 veces más parámetros, no juegan bien. Son buenos en otras cosas.
Me sorprendió porque son excepcionalmente buenos interpretando imágenes en general y hay decenas de miles de imágenes etiquetadas de cáncer de piel en internet; había supuesto que esa capacidad se transferiría.
Esto es puro benchmaxxing. Un modelo pequeño afinado con una partición de entrenamiento y prueba del mismo conjunto siempre gana, pero es frágil y no generaliza a imágenes «en la naturaleza», que están fuera de dominio.
Que un modelo entrenado a propósito gane a uno generalista no sorprende, pero se pierde el potencial de los LLM: ¿y si se incluyen notas clínicas, preguntas al paciente o imágenes imperfectas con, por ejemplo, un tatuaje?
Desarrollé el modelo que lidera hoy el ranking. Es normal que un modelo sencillo ajustado a una tarea de unas 11 etiquetas supere a un LLM, para el que esto es una gota en su corpus. Más interesante es que MedSigLIP no entre en el top 10.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.