A tecnologia como produto das intenções humanas

Uma frase que tem se tornado cada vez mais evidente é “a tecnologia não é neutra”. 

Não importa o quanto desejemos acreditar que os avanços tecnológicos podem operar em padrões objetivos e imparciais; a realidade é que eles refletem as intenções, experiências e vieses de quem os cria. Ao ignorarmos essa verdade, corremos o risco de construir um futuro onde os preconceitos que desejamos superar se perpetuem de forma invisível e capciosa.

A tecnologia não surge do vácuo e está sujeita aos mesmos limites de seus desenvolvedores

Se o time de desenvolvedores é homogêneo, com experiências e perspectivas semelhantes, o resultado final tende a refletir uma visão limitada, enviesada, que deixa grupos com realidades diferentes desassistidos, ou pior, muito prejudicados.

Um dos exemplos mais conhecidos de como a falta de diversidade nos times de desenvolvimento de tecnologia pode levar a resultados desastrosos é o caso dos airbags. Quando foram desenvolvidos, as equipes de design e engenharia eram predominantemente masculinas e os testes de segurança se concentraram em corpos masculinos. 

A falta da perspectiva feminina trouxe consequências graves: como as configurações do airbag não eram adequadas para seu biotipo, houve um índice alarmante de lesões em mulheres envolvidas em acidentes. Pagou-se um preço muito alto para entender o quanto a homogeneidade no desenvolvimento pode representar riscos reais para outros grupos.

Outro caso foi o do reconhecimento facial, tecnologia cada vez mais presente e usada para identificar indivíduos. Quando desenvolvido e treinado majoritariamente com dados de pessoas brancas, apresentou dificuldades em identificar corretamente pessoas de outras etnias, com uma taxa muito maior de erros e falsos positivos entre negros, asiáticos e latino-americanos. 

Nos dois exemplos, ficou claro que falhas tecnológicas podem ser fruto da falta de diversidade, seja de dados, seja nos times.

E por falar em diversidade organizacional… falemos da IA nos processos seletivos.

À medida que o uso de inteligência artificial para recrutar e selecionar pessoas tem sido mais adotado pelas empresas que perseguem reduções de tempo e dos custos de contratação, aumenta-se a necessidade de diligência para que esses sistemas não reforcem preconceitos existentes ao invés de combatê-los. 

Como a IA é treinada com dados históricos, ela reproduz o passado. Ou seja, se as contratações de sucesso do passado envolveram majoritariamente homens brancos e de alta renda, o sistema tende a avaliar esses perfis como “melhores candidatos”, independentemente das qualificações reais.