Race After Technology: Abolitionist Tools for the New Jim Code

Dos nossos telemóveis e smart TVs às câmaras de segurança nas lojas, estamos constantemente rodeados de tecnologia digital. Nos últimos anos, temos assistido a uma evolução significativa na área da tecnologia e nas suas capacidades. Desde os antigos telemóveis até à Inteligência Artificial atual, a distância percorrida é extraordinária. E, embora esta nova tecnologia ainda se encontre na sua fase embrionária, de repente já não está apenas nas mãos dos cientistas que a estudam, mas também ao alcance de todos aqueles que têm acesso à internet. Quer queiramos, quer não, a tecnologia começa a moldar a nossa cultura e a nossa vida. Quanto mais ela se aproxima do humano em complexidade e capacidade, e quanto mais se torna capaz de “tomar decisões” autonomamente, maior é a necessidade de prestar atenção a quem a cria – e de a regular. Mas quem deve estabelecer essas regras e com base em quê? É curioso notar como permitimos que a tecnologia domine tanto as nossas vidas, mesmo quando ainda não compreendemos plenamente as suas implicações e como influencia o mundo. Embora estes problemas possam parecer distantes, como se pertencendo a um futuro distópico, a verdade é que já lidamos com eles há vários anos, mesmo antes da Inteligência Artificial, e já deveríamos ter agido mais cedo face ao impacto da tecnologia na humanidade.

É neste contexto que Ruha Benjamin, Professora de Estudos Afro-Americanos na Universidade de Princeton, escreve o seu livro Race After Technology: Abolitionist Tools for the New Jim Code. Nesta obra, a autora expõe e denuncia o impacto da tecnologia contemporânea na perpetuação e intensificação das desigualdades étnicas e de classe, associando o passado sombrio – nomeadamente dos Estados Unidos – aos acontecimentos atuais. A esta linha de conduta que a tecnologia parece seguir, Benjamin chama “New Jim Code” (em referência ao personagem dos espetáculos de menestréis Jim Crow – género de espetáculos teatrais e musicais, tipicamente Americanos, onde pessoas etnicamente europeias se pintavam de preto, representando pessoas negras segundo noções racistas, de modo a ridicularizar estas – e às Leis de Jim Crow).

A princípio, quase me senti ofendida, como se o livro me estivesse a culpar por ser privilegiada, com citações do escritor James Baldwin, tais como «White is a metaphor for power». Quis ler mais para poder criticá-lo, mas quanto mais lia, mais entendia que a obra não era uma crítica ao “homem branco rico e heterossexual”, mas sim um apelo de alerta para todos. E, de repente, senti uma vontade ainda maior de continuar a leitura.

A obra está repleta de exemplos do New Jim Code em ação e, embora todos estes exemplos sejam absolutamente fascinantes e me tenham aberto os olhos para uma realidade que nunca percebi, identifiquei algumas falhas no argumento principal.

Em primeiro lugar, Benjamin escreve a partir de uma perspetiva fortemente americana, o que pode ser inferido ao longo da obra pelos exemplos fornecidos, mas não é algo claramente expresso, fazendo com que pareça que a obra se aplica a todo o mundo na sua totalidade, o que não é o caso. Embora a obra seja, no geral, positiva, mostrando muitos exemplos do impacto das tecnologias no mundo, falha na atribuição de culpa e nas soluções para esse problema. Ao generalizar a experiência americana para o resto do mundo, Benjamin descontextualiza a tecnologia do seu ambiente original. Até porque, como ela mesma descreve, o contexto em que esses objetos surgem e quem os utiliza impacta a forma como funcionam. Embora preconceitos e biases (ou vieses) racistas possam afetar o produto final, essa não é a única razão para o surgimento do New Jim Code.

Os Estados Unidos são um país muito diverso, mas os dados mostram que ainda são maioritariamente “brancos” (ou seja, compostos por pessoas de traços europeus). Dado que são também dos maiores países mais tecnologicamente avançados do mundo faz sentido que uma tecnologia desenvolvida lá – destinada por defeito ao público americano – seja criada por e para um conjunto de personas maioritariamente branco. Além disso, é natural que a IA tenha mais dados sobre pessoas brancas, visto que há mais pessoas brancas com acesso à tecnologia, há mais tempo. 

A própria autora menciona que ser branco é ser o padrão, a norma, o invisível. Embora o racismo, a segregação e a falta de representação na média tenham ajudado a perpetuar essa noção – fazendo o país parecer ainda mais branco do que realmente é – é errado ignorar que os Estados Unidos são um país maioritariamente branco. Isso implica que a “branquitude” como padrão não é apenas um problema de racismo, mas também um resultado natural. Num saco com 20 bolas azuis e 5 de outras cores, ao dizer-te que penso numa bola azul, isso pouco ajuda, pois já sabias que era muito mais provável que a bola fosse azul. Ou seja, mesmo num mundo sem racismo, essas disparidades existiriam.

Benjamin muitas vezes atribui a culpa aos programadores e criadores (como designers) por incorporarem seus biases nos programas: “the public must hold accountable the very platforms and programmers that legally and often invisibly facilitate the New Jim Code”; contudo, considerando o que escrevi antes, a tecnologia que temos hoje reflete muito mais o contexto em que está inserida do que os biases pessoais dos seus criadores. Não é alguém mau a treinar a tecnologia, por exemplo, com uma base de imagens em que escolheu inserir muito mais imagens de médicos brancos do que outros, é só a base de dados que existe, especialmente a do contexto Norte-americano (ou Ocidental). Esta tecnologia é feita para o público geral (Norte-americano), e não para um grupo específico; então, faz sentido que use o público geral americano como referência.

O problema é que nada que é feito “para todos” é perfeito para ninguém, e isso ainda não tem solução. Não é apenas “pensar melhor” e não usar design thinking, como a autora sugere, que resolverá o problema. Embora eu entenda o que ela quer dizer ao criticar uma abordagem padronizada, é necessário começar por algum lado. Se fosse preciso criar uma abordagem totalmente única para cada projeto, considerando cada variável, não haveria progresso. O ideal seria partir de algo geral para o específico, aprimorando-se ao longo do tempo, deixando o produto acessível durante o processo. Contudo, até mesmo esse método é alvo de críticas pela autora, ao referenciar um post que descrevia como um software de GPS pronunciou o nome da Rua “Malcolm X” como “Malcolm the Tenth”. O facto é que o software não foi inicialmente programado para interpretar “X” como um número; como este caso ilustra, houve uma alteração no processo habitual de leitura para garantir que, em certos casos – nomeadamente nomes de reis, mais comuns em ruas que nomes como o político e ativista Malcom X – a pronúncia seria feita corretamente. Esse é um dos passos iterativos de um processo que vai do geral para o particular, que neste caso é uma exceção: primeiro, o software lia todas as letras como sons; depois, aprendeu a ler siglas como letras individuais; mais tarde, começou a reconhecer que, em alguns contextos, certas letras representavam números. O passo seguinte será corrigir as exceções em que essas letras, mesmo quando associadas a nomes, não simbolizam números. O software em causa é um produto que, assim como a maioria dos objetos de tecnologia digital, nunca estará acabado. É parte de um processo iterativo em constante aprimoramento.

Parece que Benjamin não sabe a resposta, pois, enquanto critica a criação padronizada e iterativa, também critica abordagens muito específicas que são feitas não para o público “médio” mas para quem o produto efetivamente afeta, como no caso das câmaras para identificação de prisioneiros, que desproporcionalmente conseguiam identificar melhor a cara de reclusos de pele negra que branca. Ainda assim, a autora menciona como em alguns casos ela beneficia das abordagens muito específicas de cliente tipo – pois ela mesma não quereria ter anúncios com homens brancos e armas no seu feed do Facebook; mas não reflete mais sobre o assunto. O livro é um excelente alerta para os problemas do mundo, mas falha em explorar profundamente as suas causas e soluções, quebrando a “promessa” feita no subtítulo da obra: «Abolitionist Tools for the New Jim Code» .

Recomendo a leitura como uma maneira de levar designers e todas as outras pessoas a refletir sobre o impacto do seu trabalho, mas é importante lembrar que nem toda disparidade de raça, género e sexualidade resulta de preconceitos mal-intencionados. Muitas vezes, é uma ação-reação natural humana – que não pode ser corrigida e que, ao ser recompensada – como a autora exemplifica com o caso da IA que quando lhe foi pedido que gerasse imagens de soldados da segunda guerra mundial, gerou imagens de “Nazis mulheres negras” – pode causar mais danos do que benefícios.