Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
Hacker News
Inteligencia artificial · lynchlab.net
Una CNN de hace diez años supera a los LLM de frontera en el diagnóstico de cáncer de piel
Un dermatólogo comparó GPT-6 Astra y Claude Fable 5.1 con una Inception v3, una red convolucional de 2015 ajustada en unos veinte minutos, sobre 200 lesiones con biopsia. La CNN acertó el 62 % de los diagnósticos y los dos LLM, el 42 %.
1 medio · MadridPublicada 25 oct, 19:25Actualizada 26 oct, 13:35· Ya no está en portadaEscrita por IA · cómo funciona
El autor, dermatólogo, usó 200 lesiones al azar del dataset público MILK10k, todas confirmadas por histopatología: 30 melanomas, 25 carcinomas basocelulares, 25 espinocelulares, 20 queratosis actínicas, 50 nevus y 50 queratosis seborreicas. Cada lesión tenía una foto clínica y una imagen dermatoscópica. A los LLM solo se les dieron las dos imágenes y se les pidió el diagnóstico más probable entre seis opciones, la confianza, una segunda opción y si la lesión podía darse de alta sin tratamiento, biopsia ni seguimiento.
La CNN es una Inception v3 preentrenada con fotos corrientes y ajustada con 68.011 imágenes del archivo ISIC en una sola GPU H100. Las 200 lesiones de prueba, y cualquier otra foto de la misma lesión o paciente, se retiraron de sus datos antes del entrenamiento. Acertó 125 de 200 (62 %), frente a 84 y 85 (42 %) de GPT-6 Astra y Claude Fable 5.1. Con segunda opción, 173 frente a 134 y 138. En melanoma, 13 de 30 frente a 8 y 11.
La mayor diferencia estuvo en las lesiones benignas: la CNN reconoció 37 de 50 nevus y 26 de 50 queratosis seborreicas, frente a 16 y 13 de GPT-6 Astra y 33 y 6 de Claude Fable 5.1. GPT-6 Astra superó a la CNN en carcinoma basocelular (25 de 25 contra 24) y ambos LLM la superaron en queratosis actínica. Cada LLM tuvo una respuesta favorita: GPT-6 Astra llamó carcinoma basocelular a 75 lesiones, entre ellas 14 melanomas, y Claude Fable 5.1 llamó queratosis actínica a 53. Los LLM dieron de alta solo 32 y 22 de las 100 lesiones seguras, la CNN 76, pero con su umbral preestablecido dio de alta 18 de los 30 melanomas (3 y 4 los LLM). Con el umbral igualado, fueron 2 o 1.
El autor señala sus límites: solo 200 lesiones y 30 melanomas, cada caso se pasó una vez a cada LLM, todas las lesiones fueron biopsiadas (más difíciles que las habituales) y MILK10k es público desde 2025, así que los LLM podrían haberlo visto en el entrenamiento. Añade que Inception v3 es una referencia, no el estado del arte, y que los productos regulados, basados en ensembles de transformers de imagen, rinden bastante mejor. Preguntados como un paciente, con solo la foto clínica, ambos LLM recomendaron ir al médico en casi todos los casos, también en 99 y 98 de otros 100 melanomas.
«A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis» · puesto 30 · 619 puntos · enviado por sungam
Lo que dicen los comentarios
La mayoría de los comentarios considera poco sorprendente que un modelo especializado gane a uno generalista, con analogías como la calculadora o Katago en el go. Otros cuestionan el diseño: ajustar la CNN con datos del mismo dominio que el test, la fragilidad ante imágenes fuera de distribución y el uso de una sola imagen. Se matiza que las lesiones se biopsian por decisión clínica, que en la práctica entran más datos del paciente y que un LLM podría aprovechar notas o preguntas. El autor, que participa, aclara que la CNN es solo una referencia y que los modelos actuales usan ensembles de vision transformers validados en ensayos clínicos.
Una red Katago de 30 millones de parámetros, con una sola simulación, es sobrehumana jugando al go, mientras que los LLM, con diez mil veces más parámetros, no juegan bien. Son buenos en otras cosas, como ayudarte a crear esa red.
Me sorprendió porque los LLM son excepcionalmente buenos interpretando imágenes en general y hay decenas de miles de imágenes etiquetadas de cáncer de piel en internet, así que di por hecho que esa capacidad se transferiría.
Esto es benchmaxxing. Un modelo pequeño ajustado con una partición train/test siempre gana en ese dataset concreto, pero no generaliza a imágenes «del mundo real», que están fuera de su dominio.
No es sorprendente: al modelo se le da una sola información, justo aquella en la que la CNN basa toda su decisión. Un LLM podría considerar edad, exposición laboral o historial, cosa que la CNN no puede.
Varias respuestas, la mía incluida, dicen que es una demostración inflada y sin sentido: la CNN se ajustó con el mismo dataset en el que se evaluó y la evaluación es absurda. Es investigación basura para un titular llamativo.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.