Colunas

Algoritmos da opressão: o dilema das redes é a sociedade que as produz

Entre afazeres, tédio e um tanto de preguiça, resolvi usar as horas finais do meu fim de semana para assistir “O Dilema das Redes” (2020), documentário recentemente disponibilizado na Netflix. Trata-se de uma discussão sobre as redes sociais, sobre seus mecanismos e, principalmente, sobre como os algoritmos são operacionalizados no sentido de aproveitar nossas vulnerabilidades psicológicas para induzir mudanças de comportamento e estimular a adicção. Para além dos medos, dos traumas e das paranoias que a obra naturalmente desperta, um “detalhe” me chamou a atenção.

Num dado momento do doc, logo no início, um dos entrevistados, Tristan Harris, identificado como ex-designer de ética do Google, coloca a sua tese de que “nunca antes na História 50 designers, entre 25 e 35 anos de idade, da Califórnia, tinham tomado decisões que impactassem dois bilhões de pessoas”. É isso que aparece na legenda, mal traduzida. No áudio original, ouve-se “never before in History fifty designers, twenty to thirty-five year old white guys, in California, made decisions that would have an impact on two billion people“.

O que me chamou atenção nessa passagem do documentário foi o “detalhe” que a legenda ocultou: todos esses designers são homens brancos (assim como a esmagadora maioria das pessoas ocupando importantes cargos na indústria de tecnologia).

O Racismo Algorítmico

Há uma pesquisadora estadunidense, Safiya Umoja Noble, com um estudo intitulado “Algoritmos da opressão: como mecanismos de busca reforçam o racismo”. Nessa pesquisa, ela investiga a incorporação de preconceitos nos algoritmos, resultando em opressões reproduzidas (quando não potencializadas) pelas plataformas de mídia digitais.

A tese dela, em um resumo grosseiro, é a de que os algoritmos das plataformas digitais (redes sociais, mecanismos de busca, etc. não são racistas só porque aprendem com as pessoas que as utilizam, que também são racistas. Na verdade, de acordo com Safiya, os códigos dessas plataformas são atravessados pelo racismo desde os seus processos de elaboração e construção.

Um dos fatores para que isso aconteça é justamente aquilo que a legenda em português do documentário da Netflix ignora: a ausência de pessoas racializadas nos espaços de gestação dessas plataformas. Desse modo, as opressões que estruturam a sociedade na vida real são transferidas para os códigos das redes, de tal maneira que elas próprias acabam sendo desenhadas para funcionar a partir das formas de opressão vigentes na sociedade, validando-as e, por vezes, potencializando-as. Como diz a própria Safiya Noble: “As pessoas pensam nos algoritmos como meras formulações matemáticas, mas, na realidade, algoritmos não são sobre decisões automatizadas”.

Redes que silenciam

A pesquisadora trabalha com a diferença nos resultados de busca no Google. Contudo, nas redes sociais, esse tipo de impulsionamento desigual também acontece. O que se percebe é que essas plataformas tendem a marginalizar ainda mais pessoas e grupos que já são marginalizados na vida real. Nas palavras da autora: “Essas plataformas são desenhadas para amplificar certas vozes e silenciar outras”. Por isso, é tão comum que pessoas negras tenham menos engajamento e visibilidade que pessoas brancas (disparidade que, no Brasil, agrava-se quando se faz o recorte regional entre influencers do Centro/Sul/Sudeste e Norte/Nordeste).

Essas “vozes” silenciadas ou amplificadas não são somente os indivíduos enquanto perfis, mas também com as temáticas discutidas nas redes. Não é por acaso que brigas e intrigas viralizem muito mais do que discussões “sérias” sobre assuntos sérios no Twitter. Não é só um engajamento espontâneo por causa do interesse das pessoas em fofoca (que, convenhamos, é bom demais). Os algoritmos da plataforma definitivamente escolhem o que mostrar mais para mais pessoas. O Twitter tem um papel ativo nesse impulsionamento (assim como tem no silenciamento de temáticas mais sérias, como os debates raciais).

Foto: dole777/Unsplash.

O YouTube, que ao longo dos anos se constituiu o lugar por excelência da radicalização, impulsionando com muito mais veemência conteúdos políticos que contivessem discurso de ódio, agora desmonetiza qualquer vídeo que trate de temas “polêmicos”. Não importa se você está validando ou incentivando a morte e segregação de pessoas pretas ou se você está questionando e apontando o racismo como um problema da sociedade: o YouTube vai desmonetizar e sabotar o impulsionamento do vídeo arbitrariamente (e às vezes até suprimí-lo da plataforma). No Facebook e no Instagram, a dinâmica não muda muito.

O dilema das redes é a própria sociedade capitalista

O mundo digital, que há muito tempo acreditou ser uma oportunidade revolucionária de livre-debate e uma ponte para a solução problemas éticos e morais da sociedade, não é feito para sugerir outros caminhos possíveis. Pelo contrário, ele é pensado para aprofundar e radicalizar certezas pessoais no sentido de manter a atenção dos usuários e, assim, gerar mais lucro, pois essas empresas ganham com a venda dos anúncios exibidos, que passam a custar mais para os anunciantes na medida em que passamos mais tempo dentro dessas plataformas.

Mesmo que adotemos a tática de “clique ativo”, de dar visibilidade e engajamento em conteúdos produzidos por pessoas pretas, com a proposta de ampliar as vozes que discutem temáticas relacionadas às questões raciais, caímos no risco de criarmos e ficarmos presos em uma bolha. Esse aquilombamento virtual, embora extremamente importante, não produz muito efeito sobre a vida real porque os mecanismos das redes vão deliberadamente impedir que certos debates e conteúdos cheguem as pessoas que não estão propensas àquilo. E por quê? Porque aquilo que não provoca o interesse do usuário não garante a sua permanência e, assim, inviabiliza o lucro.

Falar de antirracismo na internet é tão importante quanto fazê-lo fora do tecido virtual. Não é contra isso que me coloco aqui. O ponto é que pode ser frustrante se dar conta de como as redes sociais são construídas para inviabilizar o debate. Penso que compreender como funcionam os algoritmos seja um primeiro passo para pensar mudanças e propor novos debates.

É sintomático (e me parece absolutamente intencional) que não tenhamos muitos dos nossos ocupando os espaços centrais de desenho da virtualidade. Tanto Safiya como os entrevistados pelo documentário da Netflix, mencionam o “modelo de negócios”, os “interesses de mercado” e a “mentalidade do lucro” como responsáveis pelo cenário desesperador da falta e ética nos códigos das plataformas digitais. Apesar disso, nenhum deles aponta o capitalismo como ponto central do problema.

Trazendo para a questão racial (que não é abordada no documentário da Netflix), um marxista como eu tende a considerar que não é possível falar de emancipação racial dentro de um paradigma capitalista. Mas essa relação, entre capitalismo, raça e emancipação, é assunto para um outro texto.

Foto de capa: Prateek Katyal/Unsplash.

LEIA TAMBÉM: Por que homens negros estão conversando sobre Masculinidades?

Compartilhe: