Toda ferramenta de inteligência artificial que você vai utilizar foi treinada de alguma forma. E se ela foi treinada, ela vai ter algum tipo de viés. É isso que vamos falar aqui nesta aula. Para começar, gostaria de fazer um testezinho com vocês, um teste que faço há cerca de três anos: pedir a uma IA de criação de imagens, no caso o Midjourney, para gerar "a photo of a doctor", ou seja, a foto de um médico ou médica, porque no inglês não tem distinção de gênero.
Quando você pede isso no Google, por exemplo, atualmente, você já encontra uma diversidade maior — tem pessoas pretas, mulheres, pessoas brancas, enfim, uma diversidade maior. Isso ocorre porque o Google mudou seu algoritmo para conseguir gerar essa diversidade. Isso é muito importante para termos em mente.
Agora, se eu for no Midjourney e pedir "a photo of doctor" e gerar 100 imagens seguidas, sem nenhum filtro ou seleção, o que observei foi que, dessas 100 imagens, apenas 30 continham pessoas não brancas, 18 apenas pretos, e apenas 1 imagem representava uma mulher, ou seja, representatividade feminina em apenas 1%. E essa imagem parece ter saído mais de um imaginário masculino do que de como seria uma médica mulher.
Isso acontece porque a inteligência artificial, de uma maneira geral, é treinada em anos de uma sociedade que foi e continua sendo muito misógina, muito LGBTQIAP+fóbica, racista, gordofóbica, entre outros preconceitos. Por exemplo, quantos médicos gordos existem? Nenhum. Esse é justamente o viés da inteligência artificial: ela representa a sociedade como ela foi representada.
É importante entender esse viés para podermos contorná-lo.
De 100 imagens geradas no Midjourney para médicos, todas foram homens, exceto uma. E não sou só eu falando isso: uma pesquisa de 2023 publicada pela JAMA Surgery mostrou que 98% das imagens de cirurgiões geradas pelo Midjourney e Stable Diffusion eram de homens brancos. Você pode pensar que talvez tenha mudado, mas modelos de IA ainda não mudaram isso significativamente. Em 2025, com a versão 7 do Midjourney, e em 2024, com a versão 6, a qualidade de imagem melhorou e o nível de criatividade aumentou, mas a representatividade feminina continuou baixa — passaram a ter cerca de seis mulheres em vez de uma. Ou seja, pode ter melhorado, mas ainda está longe do ideal.
A Bloomberg fez um estudo analisando 5 mil imagens de diversas profissões, incluindo CEOs, terroristas e traficantes — considerando-os "profissões" para efeito da análise. Resultou que, na maioria das vezes, os CEOs são retratados como brancos e os terroristas/traficantes como pretos ou marrons. Nicole Napolitano, do Center on Policy in Equity, diz que "em toda parte dos processos onde humanos podem ter viés, IA terá viés". Ou seja, onde há possibilidade de preconceito humano, a IA também reproduzirá isso.
Visualmente, isso é fácil de perceber: basta olhar um grupo de 100 médicos e notar a ausência de mulheres para ver que há algo errado. Em texto, esse viés é mais difícil de identificar, mas continua lá. Por isso, é tão importante discutir e perceber esses vieses.
Agora, vamos a uma breve revisão sobre como esses materiais são treinados:
O modelo é treinado com milhões ou bilhões de fotos de médicos, todas etiquetadas de alguma forma. A IA identifica o que significa ser médico e, quando pedimos uma foto de um médico, ela tenta prever o esperado. Como a maioria das fotos de médicos que viu são de homens brancos, ela aprende que a resposta “certa” é uma foto de homem branco. Isso vale para qualquer outro tipo de dado, texto ou análise.
Temos que saber desses vieses para poder contorná-los. Por exemplo, recentemente o Grok, modelo da X (antigo Twitter), foi instruído por Elon Musk a ser menos "woke" — menos progressista — e acabou assumindo comportamento extremado e preconceituoso, se autoidentificando como nazista.
Isso nos leva a três pontos importantes:
- O material de treino usado. Muitos materiais de médicos disponíveis são de homens brancos.
- O direcionamento dado na programação da IA — como fez Elon Musk, que deu um "tom" ao modelo influenciando seu comportamento.
- O uso que damos a essas ferramentas.
O Google tentou diminuir esses vieses, mas foi para o outro extremo, por exemplo, gerando fotos inesperadas para termos como "nazista", mostrando soldados negros ou orientais, o que é absurdo. Saber desses três pontos facilita contornar esses vieses, seja na criação de imagens, textos, vídeos, música ou análise de dados.
Se eu pedir, por exemplo, "a photo of female doctor", no Midjourney vou obter imagens de médicas mulheres. Se pedir "a photo of female Brazilian doctor", ou "a Black Brazilian female doctor", posso direcionar para uma diversidade maior. Às vezes sou forçado a adicionar essas descrições para garantir diversidade, mas idealmente isso já deveria ocorrer naturalmente.
Saber disso ajuda a contornar o viés. É importante fazer isso também nos textos gerados pelo ChatGPT, verificando se o conteúdo entregue está de acordo com o que você acredita e, se necessário, dar mais contexto ou direcionamento. Enquanto o viés não for resolvido — o que acho difícil —, é fundamental estar atento às demandas de contexto para evitar reproduzi-lo.
Quanto às ferramentas de RH, por exemplo, é muito importante entender se possuem vieses, pois algoritmos podem reforçar desigualdades econômicas, limitando oportunidades e salários.
A questão da segurança também é essencial. Ferramentas enviesadas multiplicam injustiças e podem falhar de forma crítica, como em sistemas de segurança pública que dão falso positivo para pessoas pretas. No Rio de Janeiro, houve muitos erros decorrentes desse viés, com sistemas que visam mais pessoas negras que brancas.
Existem ainda casos de vida ou morte, como nos carros autônomos, triagem médica ou drones militares. O viés nessas tomadas de decisão pode ter consequências graves, porque o sistema pode valorizar mais um tipo de vida que outro, o que é um grande risco. Então, será que é seguro usar essas ferramentas? Depende do risco. Para atividades mais críticas, como seleção de currículos e segurança, é preciso entender profundamente os vieses presentes nelas. Já vi muitas ferramentas de RH dizendo que não possuem viés ou que possuem menos viés, o que é um cuidado importante, mas é difícil encontrar equilíbrio entre reduzir vieses e evitar outros problemas.
Quando falamos de equidade usando IA, é muito complicado porque os modelos aprendem a partir de dados históricos e enviesados. Logo, que futuro esses modelos vão construir para nós?
Outro ponto importante: esses modelos, como ChatGPT, Claude, Gemini, são treinados majoritariamente com material do “norte global” — Estados Unidos, Europa, Japão — e pouco material brasileiro. Por exemplo, o Claude, da Anthropic, é treinado mais com material europeu, enquanto o ChatGPT é mais centrado nos Estados Unidos. Em agosto, os desenvolvedores do Claude notaram que suas respostas estavam piores e mais curtas. Descobriram que isso ocorreu porque agosto é mês de férias na Europa, as pessoas respondem menos e com mensagens mais curtas, o que refletiu no comportamento da IA. Isso é um viés curioso, pois mostra como o ambiente de treinamento impacta diretamente o resultado da inteligência artificial.
Por isso, precisamos discutir a importância de modelos brasileiros. Ainda falamos pouco disso, embora haja investimentos recentes do governo. Problemas brasileiros exigem soluções feitas com modelos brasileiros, que entendam nossa cultura, política e economia.
Cito dois exemplos: Maritaca e ViTucano, que são modelos brasileiros, ainda mais fracos que os globais, mas importantes para essa discussão. É fundamental haver mais investimento em diferentes países para desenvolver modelos locais. No mundo atual, cada vez mais guiado por IAs, essas tecnologias podem se tornar armas de guerra, influenciando ideias e crenças. Imagine um cenário em que o ChatGPT, sem reflexão, comece a empurrar a ideia de que "os Estados Unidos são o melhor país do mundo" repetidamente: as pessoas podem começar a acreditar nisso sem perceber.
Parece coisa de Black Mirror, mas não estamos longe disso. Já acreditamos muito em IA, porque ela acerta e funciona, mas devemos ter cuidado com como os vieses são representados. Falei sobre isso também na aula de ética, discutindo transparência, tipos de material usado no treinamento e direcionamento da IA. Por isso, é tão importante falar de vieses e ética na inteligência artificial.
Espero que tenha ficado claro e que vocês explorem como evitar alguns desses vieses no uso de IA. Até a próxima!
