Médicos tiveram dificuldade para detectar falhas de IA em estudo randomizado
Em estudo randomizado com 48 médicos publicado na npj Digital Medicine, a acurácia diagnóstica caiu junto com a confiabilidade de uma IA de ausculta cardíaca, e só 12,5% perceberam espontaneamente que o sistema estava falhando.
A supervisão humana costuma ser apresentada como a principal salvaguarda contra erros de sistemas de inteligência artificial (IA) na medicina. Um estudo publicado em 13 de novembro de 2026 na npj Digital Medicine testou essa premissa e encontrou resultados preocupantes.
O que foi feito
Pesquisadores alemães e dinamarqueses conduziram um experimento randomizado com 48 médicos (38% em formação) em uma tarefa de ausculta cardíaca assistida por IA. Os participantes foram informados de que o sistema tinha acurácia de 96% na validação (sensibilidade de 97% e especificidade de 89%). Cada um classificou 40 sons cardíacos gravados como normais ou anormais, em quatro blocos.
Sem que os médicos soubessem, a confiabilidade da IA caiu progressivamente: 90%, 60%, 50% e 0%. No último bloco, áudio e imagem foram propositalmente dessincronizados, como sinal adicional de falha grave.
Os médicos foram sorteados para dois grupos:
- IA primeiro: viam a recomendação da IA antes de ouvir o som e decidir.
- IA depois (cognitive forcing): faziam uma classificação independente e só então viam a recomendação, podendo revisar a resposta.
O que encontraram
- O desempenho diagnóstico com apoio da IA caiu de 81,5% no primeiro bloco para 58,3% no último.
- No bloco de alta confiabilidade, o desempenho combinado médico + IA ficou abaixo da própria IA (90%).
- Com a IA falhando, os médicos corrigiram parte dos erros, mas o desempenho ficou abaixo do que eles alcançavam sozinhos, sem a IA.
- A estratégia de decidir antes de ver a IA não melhorou os resultados. No último bloco, o grupo "IA primeiro" acertou 64,6% e o grupo "IA depois", 52,1%.
- A confiança dos médicos no próprio julgamento caiu mais rápido que a confiança na IA, mesmo sem piora do desempenho independente.
- Ao final, apenas 12,5% relataram espontaneamente ter notado a queda de confiabilidade; mesmo quando perguntados diretamente, só 37,5% disseram ter percebido.
Limitações
O estudo foi feito em laboratório, com uma subtarefa diagnóstica isolada, sem contato com paciente nem outras informações clínicas. A falha simulada foi rápida e contínua, até 0% de acerto, e os blocos seguiram sempre a mesma ordem, o que impede excluir efeitos de ordem. Na vida real, falhas podem ser mais sutis ou intermitentes, e fatores como cansaço e pressão de tempo tendem a dificultar ainda mais a supervisão. A amostra é pequena.
Por que importa na prática
Regulamentações como o AI Act europeu exigem supervisão humana de sistemas de IA de alto risco. O estudo sugere que simplesmente colocar um médico "no circuito" não garante que erros sejam detectados. Os autores defendem que serviços de saúde definam objetivos claros para essa supervisão e criem processos de monitoramento contínuo do desempenho dos sistemas, em vez de depender apenas da vigilância individual.
Para quem já usa IA em triagem de imagens, como retinografia ou OCT, a lição é direta: confiar na acurácia anunciada não basta. Auditorias periódicas e indicadores de desempenho em uso real são parte da segurança do paciente.
Leia o artigo na npj Digital Medicine.