Auditoría halla OCT duplicadas en bases públicas de glaucoma usadas para validar IA
Un estudio en JAMA Ophthalmology mostró que dos bases públicas de glaucoma comparten al menos 1.031 volúmenes de OCT idénticos, lo que elevó el AUC de un clasificador de 0,78 a 0,90 cuando una se usó para entrenar y la otra para evaluar.
Un estudio publicado el 12 de noviembre de 2026 en JAMA Ophthalmology pone en duda la independencia de bases públicas muy utilizadas para validar algoritmos de inteligencia artificial (IA) en glaucoma. Investigadores de la Facultad de Ciencia de Datos de la Universidad Musashino, en Japón, concluyeron que buena parte de los estudios considerados de "validación externa" ya se había usado en el entrenamiento.
Qué se hizo
Es una auditoría transversal, realizada en julio de 2026, de tres bases públicas del mismo laboratorio: Harvard-GDP (1.000 ojos), Harvard-GF (3.300 ojos) y Harvard-FairVision (10.000 ojos). Los autores vincularon los registros mediante "huellas" exactas de campo visual y datos demográficos, estimaron la probabilidad de coincidencia por azar y compararon directamente las imágenes de los 1.302 pares candidatos.
Qué encontraron
- Harvard-GF y Harvard-FairVision coincidieron en 1.302 ojos, frente a 1,9 esperados por azar.
- La comparación directa confirmó que 1.031 pares (79,2%; IC 95% 76,9%–81,4%) eran el mismo volumen 3D de tomografía de coherencia óptica (OCT), distribuido con identificadores distintos. Esto equivale al menos al 31% de los 3.300 ojos de Harvard-GF, un límite inferior.
- La duplicación fue similar en las tres particiones de Harvard-FairVision (78,5% a 80,8%).
- Harvard-GDP y Harvard-GF compartieron 22 ojos con campos visuales idénticos, aunque esa superposición tiene evidencia más débil porque Harvard-GDP no distribuye volúmenes de OCT.
- Ninguna base informaba la superposición. De los 105 estudios que las citaron, los autores obtuvieron el texto completo de 64, y ninguno la mencionó.
Impacto en el desempeño de los modelos
En cinco corridas de entrenamiento, un clasificador entrenado en una base y evaluado en la otra alcanzó un AUC de 0,90 (IC 95% 0,83–0,94) cuando el 78,5% de los ojos de prueba eran, en realidad, datos de entrenamiento. Fuera de esa muestra contaminada, el AUC fue de 0,78 (IC 95% 0,72–0,83), una inflación de 0,12. El efecto apareció en todos los subgrupos raciales y fue mayor justamente donde el desempeño real era peor (ρ de Spearman −0,57; P = 0,02). En la práctica, la fuga de datos puede hacer que un modelo menos equitativo parezca equitativo.
Limitaciones
El análisis abarcó bases de un solo laboratorio y se basa en la vinculación de registros y la comparación de imágenes, sin acceso a identificadores de pacientes. La superposición con Harvard-GDP es menos segura. El estudio no evalúa si cambiarían las conclusiones de cada artículo que usó estas bases; solo muestra la magnitud potencial del sesgo.
Por qué importa en la práctica
Muchos algoritmos de glaucoma basados en OCT llegan con métricas de "validación externa" y de equidad entre grupos. Este trabajo muestra que esas cifras pueden estar infladas cuando las bases de prueba no son realmente independientes. Al evaluar una herramienta de IA, conviene preguntar:
- ¿La validación externa se hizo en pacientes de otra institución, sin relación con los datos de entrenamiento?
- ¿Se verificaron duplicados entre bases?
- ¿El desempeño se mantiene en estudios prospectivos, en el mundo real?
El mensaje central de los autores es que la IA médica solo merece confianza cuando se valida en pacientes que no participaron en su desarrollo.
Consulte el estudio en JAMA Ophthalmology.