Auditoria encontra OCTs duplicados em bases públicas de glaucoma usadas para validar IA
Estudo na JAMA Ophthalmology mostrou que duas bases públicas de glaucoma compartilham ao menos 1.031 volumes de OCT idênticos, o que elevou a AUC de um classificador de 0,78 para 0,90 quando uma foi usada para treinar e a outra para testar.
Um estudo publicado em 12 de novembro de 2026 na JAMA Ophthalmology questiona a independência de bases públicas muito usadas para validar algoritmos de inteligência artificial (IA) em glaucoma. Pesquisadores da Faculdade de Ciência de Dados da Universidade Musashino, no Japão, concluíram que boa parte dos exames tratados como "validação externa" já havia sido usada no treinamento.
O que foi feito
Trata-se de uma auditoria transversal, realizada em julho de 2026, de três bases públicas do mesmo laboratório: Harvard-GDP (1.000 olhos), Harvard-GF (3.300 olhos) e Harvard-FairVision (10.000 olhos). Os autores cruzaram os registros por "impressões digitais" exatas de campo visual e dados demográficos, estimaram a chance de coincidência ao acaso e compararam diretamente as imagens de todos os 1.302 pares candidatos.
O que encontraram
- Harvard-GF e Harvard-FairVision coincidiram em 1.302 olhos, contra 1,9 esperados ao acaso.
- A comparação direta confirmou que 1.031 pares (79,2%; IC 95% 76,9%–81,4%) eram o mesmo volume 3D de tomografia de coerência óptica (OCT), distribuído com identificadores diferentes. Isso corresponde a pelo menos 31% dos 3.300 olhos do Harvard-GF, um limite inferior.
- A duplicação foi semelhante nas três partições do Harvard-FairVision (78,5% a 80,8%).
- Harvard-GDP e Harvard-GF compartilharam 22 olhos com campos visuais idênticos, mas essa sobreposição tem evidência mais fraca, porque o Harvard-GDP não distribui volumes de OCT.
- Nenhuma das bases informava a sobreposição. Dos 105 estudos que as citaram, os autores obtiveram o texto completo de 64, e nenhum relatou o problema.
Impacto no desempenho dos modelos
Em cinco rodadas de treinamento, um classificador treinado em uma base e testado na outra atingiu AUC de 0,90 (IC 95% 0,83–0,94) quando 78,5% dos olhos de teste eram, na verdade, dados de treino. Fora dessa amostra contaminada, a AUC foi de 0,78 (IC 95% 0,72–0,83), uma inflação de 0,12. O efeito apareceu em todos os subgrupos raciais e foi maior justamente onde o desempenho real era pior (ρ de Spearman −0,57; P = 0,02). Na prática, o vazamento pode fazer um modelo menos equitativo parecer equitativo.
Limitações
A análise envolveu bases de um único laboratório e se apoia em pareamento por registros e comparação de imagens, sem acesso a identificadores de pacientes. A sobreposição com o Harvard-GDP é menos certa. O estudo não avalia se as conclusões de cada artigo que usou essas bases mudariam, apenas mostra o tamanho potencial do viés.
Por que importa na prática
Muitos algoritmos de glaucoma baseados em OCT chegam com métricas de "validação externa" e de equidade entre grupos. Este trabalho mostra que esses números podem estar inflados quando as bases de teste não são realmente independentes. Ao avaliar uma ferramenta de IA, vale perguntar:
- A validação externa foi feita em pacientes de outra instituição, sem relação com os dados de treino?
- Houve checagem de duplicatas entre bases?
- O desempenho se mantém em estudos prospectivos, no mundo real?
A mensagem central dos autores é que a IA médica só merece confiança quando validada em pacientes que não participaram do desenvolvimento.
Acesse o estudo na JAMA Ophthalmology.