Embora a inteligência artificial tenha o potencial de tornar a saúde mais acessível e eficiente, ela também é vulnerável aos preconceitos sociais, econômicos e sistêmicos que estão arraigados na sociedade há gerações.
O primeiro passo para evitar que a IA amplifique as desigualdades existentes é entender os viéses que podem se infiltrar nos algoritmos e como prevení-los por meio de um projeto e implementação cuidadosos.
O Healthcare IT News entrevistou o especialista em IA Henk van Houten, Chief Technology Officer do fornecedor global de TI Royal Philips, para obter uma melhor compreensão dos vieses em IA e o que o setor de saúde pode fazer a respeito.
Este artigo é uma tradução livre do material, que pode ser acessado originalmente em inglês através deste link.
P: Quais são as diferentes maneiras pelas quais o preconceito pode surgir na IA em saúde?
R: Deixe-me começar dizendo que acredito fortemente que a IA tem o potencial de melhorar a saúde e o bem-estar das pessoas em todo o mundo. Todo paciente deve se beneficiar disso. A última coisa que queremos é que a IA perpetue ou mesmo exacerbe algumas das disparidades de saúde que existem hoje.
Então, como pode surgir o preconceito? O que pode ser fácil de esquecer é que o resultado da IA é moldado pelos dados que são inseridos nela. Tendemos a aceitar as recomendações supondo que qualquer resultado que um algoritmo de IA retrate é objetivo e imparcial. A verdade é que os humanos escolhem os dados que vão para um algoritmo, o que significa que essas escolhas ainda estão sujeitas a vieses não intencionais que podem impactar negativamente os grupos sub-representados.
Esses desvios podem ocorrer em qualquer fase do desenvolvimento e implantação de IA, seja usando conjuntos de dados tendenciosos para construir um algoritmo ou aplicando um algoritmo em um contexto diferente daquele para o qual foi originalmente planejado.
A fonte mais comum de vieses são os dados que não representam suficientemente a população-alvo. Isso pode ter implicações prejudiciais para certos grupos. Por exemplo, mulheres e pessoas negras são geralmente sub-representadas em ensaios clínicos. Se algoritmos que analisam imagens de pele fossem treinados em imagens de pacientes brancos, mas agora sejam aplicados de forma mais ampla, eles poderiam potencialmente ignorar melanomas malignos em pessoas negras.
Veja o COVID-19 como outro exemplo. Digamos que você tenha um algoritmo projetado para priorizar o atendimento aos pacientes COVID-19. Isso pode colocar as populações sem acesso ao teste de COVID-19 em desvantagem, porque se essas populações estiverem sub-representadas nos dados de treinamento, o algoritmo pode falhar ao levar em consideração suas necessidades e características.
Mesmo que os dados em si estejam livres de vieses, as escolhas feitas durante o processamento de dados e o desenvolvimento do algoritmo também podem contribuir para que aconteçam. Por exemplo, as diferenças entre as populações podem ser negligenciadas a fim de desenvolver um modelo único para todos. Sabemos que muitas doenças se apresentam de maneiras diferentes em mulheres e homens, sejam doenças cardiovasculares, diabetes ou distúrbios mentais, como depressão e autismo. Se os algoritmos não levarem essas diferenças em consideração, eles podem ampliar as desigualdades de gênero existentes.
P: Como os CIOs de organizações prestadoras de serviços de saúde e líderes de TI relacionados à saúde podem adotar a equidade como um princípio orientador para o uso responsável de IA?
R: Ambas indústrias pública e privada estão entendendo a necessidade de abordar essas questões. Nos EUA, provavelmente veremos um novo impulso para a Lei de Responsabilidade Algorítmica (Algorithmic Accountability Act), que exigiria que as empresas avaliassem seus sistemas de IA quanto aos riscos de resultados injustos, tendenciosos ou discriminatórios. Vemos regulamentação semelhante sendo desenvolvida na Europa e na China, com diretrizes para garantir que a IA seja confiável e para controlar o risco de vieses.
As empresas devem trabalhar para incorporar ainda mais esses ideais e princípios orientadores em sua força de trabalho e o primeiro passo para abraçar a equidade é a conscientização. Quando se trata de ciência de dados, mais educação e treinamento são necessários para saber como os vieses podem surgir em vários estágios de desenvolvimento de algoritmo e como ele pode ser evitado ou mitigado.
Cabe aos CIOs e líderes de TI de saúde priorizar esses aprendizados para sua equipe e, além disso, garantir que a diversidade seja incorporada a cada aspecto do desenvolvimento de IA e que processos suficientes sejam colocados em prática para monitorar a finalidade dos algoritmos, a qualidade dos dados e seu desempenho.
P: Você sugere a construção de três tipos de diversidade em cada aspecto do desenvolvimento de IA: diversidade nas pessoas, diversidade nos dados e diversidade na validação. Como os líderes de TI de saúde fazem isso?
R: Deixe-me desenvolver melhor cada um.
Primeiro, diversidade nas pessoas. Precisamos ter certeza de que as pessoas que trabalham em algoritmos de IA refletem a diversidade do mundo em que vivemos. Em um campo que tem sido historicamente liderado por desenvolvedores brancos do sexo masculino, precisamos fazer todos os esforços para incentivar uma cultura mais inclusiva. É igualmente importante que nos esforcemos para uma verdadeira cooperação multidisciplinar para aproveitar os pontos fortes complementares de diferentes especialidades.
Isso significa fomentar a colaboração intensa entre desenvolvedores de IA e especialistas clínicos para combinar recursos de IA com uma compreensão contextual profunda do atendimento ao paciente. Por exemplo, quando há variações conhecidas na manifestação da doença entre gêneros ou grupos étnicos diferentes, os médicos podem ajudar a validar se as recomendações algorítmicas não estão inadvertidamente prejudicando grupos específicos.
Para complementar essa experiência, os estatísticos e metodologistas que têm um entendimento agudo de tendências e estratégias de mitigação são extremamente valiosos para as equipes de desenvolvimento de IA.
Em segundo lugar, diversidade de dados. A disponibilidade limitada de dados de alta qualidade pode ser um dos maiores obstáculos no desenvolvimento de IA que represente com precisão uma população. Para promover o desenvolvimento de IA justa, devemos agregar conjuntos de dados robustos, bem anotados e com curadoria entre as instituições de uma forma que proteja a privacidade do paciente e capture a diversidade entre os grupos demográficos.
Por exemplo, o Philips eICU Research Institute foi formado como uma plataforma para combinar dados não identificados de mais de 400 UTIs participantes nos EUA e o repositório de dados resultante foi usado para desenvolver ferramentas de IA de cuidados intensivos, incluindo um algoritmo que ajuda a decidir se um paciente está pronto para receber alta da UTI.
Diante da COVID-19, os pesquisadores também têm pressionado por um compartilhamento mais amplo de dados de pacientes entre instituições e até mesmo países para garantir que algoritmos de apoio à decisão clínica sejam desenvolvidos a partir de conjuntos de dados diversos e representativos, em vez de amostras convenientes limitadas.
E terceiro, diversidade na validação. Os algoritmos desenvolvidos requerem validação completa para garantir que funcionem conforme o esperado em toda a população-alvo. Isso significa que eles precisam ser avaliados usando não apenas métricas de precisão tradicionais, mas também métricas de equidade relevantes.
Os algoritmos podem precisar ser retreinados e recalibrados quando aplicados a pacientes de diferentes países ou etnias, ou mesmo quando são usados em diferentes hospitais no mesmo país. Por exemplo, ao validar nossa própria pesquisa com base no repositório de dados eICU, notamos que algoritmos derivados de dados multi-hospitalares tiveram um bom desempenho em outros hospitais dos EUA não incluídos originalmente.
Mas quando testamos alguns de nossos algoritmos de pesquisa eICU desenvolvidos nos EUA na China e na Índia, descobrimos que era necessário um retreinamento local. A análise e o monitoramento cuidadosos são sempre necessários.
P: Como os líderes de TI de saúde podem desenvolver sistemas robustos de gerenciamento de qualidade para monitorar e documentar a finalidade, a qualidade dos dados, o processo de desenvolvimento e o desempenho de um algoritmo?
R: Há vários elementos que valem a pena considerar aqui e não acho que nenhuma organização, incluindo a Philips, tenha dominado todos eles ainda. Um elemento é garantir que cada conjunto de dados e algoritmo venha com a documentação adequada sobre sua proveniência, escopo, limitações e tendências potenciais.
Além disso, espero uma maior ênfase na incorporação de métricas de equidade no desenvolvimento de IA, como já mencionei. Estimular o uso de ferramentas estatísticas para análise e mitigação de vieses pode ser outra maneira de colocar a equidade em mente.
Uma área que merece atenção em particular é a IA de autoaprendizagem. Um algoritmo poderia passar por todas as verificações de validação e imparcialidade necessárias antes da implementação, mas à medida que aprende com novos dados em hospitais onde é implementado, como podemos garantir que os vieses não “entrem” involuntariamente?
Como os reguladores também reconheceram, o monitoramento contínuo após a introdução no mercado será necessário para garantir um desempenho justo e livre de preconceitos. Idealmente, isso incluiria encontrar uma maneira de validar a representatividade de novos dados de aprendizagem - de uma forma que respeite os limites éticos, legais e regulamentares em torno do uso de dados pessoais confidenciais.
Em última análise, muito disso também se resume à criação de uma cultura empresarial forte e aberta, onde as pessoas se sintam à vontade para desafiar umas às outras em questões de parcialidade e justiça. IA tem o potencial de tornar os cuidados de saúde mais acessíveis e eficazes, e isso é algo para se animar. Mas precisamos ter certeza de que todos os pacientes se beneficiam dela em igual medida - seja qual for seu gênero, etnia ou origem.
