Coluna de Daniela Zuccolotto

A tecnologia como produto das intenções humanas

Os perigos dos vieses em tempos de Inteligência Artificial e o preço da falta de diversidade

Tecnologia transforma avaliação imobiliária: saiba como imóveis inteligentes estão mudando o mercado - Freepik
Tecnologia transforma avaliação imobiliária: saiba como imóveis inteligentes estão mudando o mercado - Freepik

Uma frase que tem se tornado cada vez mais evidente é “a tecnologia não é neutra”. 

Não importa o quanto desejemos acreditar que os avanços tecnológicos podem operar em padrões objetivos e imparciais; a realidade é que eles refletem as intenções, experiências e vieses de quem os cria. Ao ignorarmos essa verdade, corremos o risco de construir um futuro onde os preconceitos que desejamos superar se perpetuem de forma invisível e capciosa.

A tecnologia não surge do vácuo e está sujeita aos mesmos limites de seus desenvolvedores

Se o time de desenvolvedores é homogêneo, com experiências e perspectivas semelhantes, o resultado final tende a refletir uma visão limitada, enviesada, que deixa grupos com realidades diferentes desassistidos, ou pior, muito prejudicados.

Um dos exemplos mais conhecidos de como a falta de diversidade nos times de desenvolvimento de tecnologia pode levar a resultados desastrosos é o caso dos airbags. Quando foram desenvolvidos, as equipes de design e engenharia eram predominantemente masculinas e os testes de segurança se concentraram em corpos masculinos. 

A falta da perspectiva feminina trouxe consequências graves: como as configurações do airbag não eram adequadas para seu biotipo, houve um índice alarmante de lesões em mulheres envolvidas em acidentes. Pagou-se um preço muito alto para entender o quanto a homogeneidade no desenvolvimento pode representar riscos reais para outros grupos.

Outro caso foi o do reconhecimento facial, tecnologia cada vez mais presente e usada para identificar indivíduos. Quando desenvolvido e treinado majoritariamente com dados de pessoas brancas, apresentou dificuldades em identificar corretamente pessoas de outras etnias, com uma taxa muito maior de erros e falsos positivos entre negros, asiáticos e latino-americanos. 

Nos dois exemplos, ficou claro que falhas tecnológicas podem ser fruto da falta de diversidade, seja de dados, seja nos times.

E por falar em diversidade organizacional… falemos da IA nos processos seletivos.

À medida que o uso de inteligência artificial para recrutar e selecionar pessoas tem sido mais adotado pelas empresas que perseguem reduções de tempo e dos custos de contratação, aumenta-se a necessidade de diligência para que esses sistemas não reforcem preconceitos existentes ao invés de combatê-los. 

Como a IA é treinada com dados históricos, ela reproduz o passado. Ou seja, se as contratações de sucesso do passado envolveram majoritariamente homens brancos e de alta renda, o sistema tende a avaliar esses perfis como “melhores candidatos”, independentemente das qualificações reais.

É preciso que o humano interfira nesses padrões, ajustando-os para serem menos refratários às diversidades. E para isso, recrutadores e lideranças devem começar por questionar os próprios vieses e preconceitos, afinal são eles que irão determinar os parâmetros. 

E por fim, vamos falar de consumo. Quando falta diversidade, pode ser que você esteja usando a IA para criar barreiras invisíveis para seu consumidor.

Ignorar a diversidade no desenvolvimento tecnológico significa aceitar um futuro que exclui automaticamente grupos inteiros de consumidores.

Estudos mostram que empresas diversas têm maior capacidade de inovação e produtividade e ao refletirem diferentes realidades e pontos de vista, elas conseguem criar produtos e serviços mais abrangentes, relevantes e que realmente atendem as necessidades de seus consumidores.

A heterogeneidade, portanto, eleva a competitividade e a inovação sustentável, ingredientes essenciais para um mercado que valoriza cada vez mais a autenticidade e a inclusão. 

A oportunidade de redefinir o futuro da tecnologia

Termino aqui com um chamado. Para construir um futuro onde a tecnologia serve a todos, e não apenas a alguns, as empresas precisam agir.

A responsabilidade ética de quem desenvolve IA passa pela transparência no desenvolvimento dos sistemas, pela revisão crítica de dados e pela diversidade nos times de tecnologia, tanto em gênero, idade, quanto em raça e classes sociais. 

Somente assim, conseguirão desafiar os vieses, promover a inclusão e oferecer às próximas gerações tecnologias que realmente reflitam a complexidade e a riqueza de nossa sociedade.

A opinião e as informações contidas neste artigo são responsabilidade do autor, não refletindo, necessariamente, a visão da SpaceMoney.