Racismo Algorítmico

RACISMO ALGORÍTMICO PANORAMA > RACISMO ALGORÍTMICO 1 SOBRE A COLEÇÃO PANORAMA A Coleção Panorama se dedica a explicar de maneira didática como funcionam, as formas de uso, os debates, quais os benefícios e os malefícios de diferentes tecnologias que são utilizadas na segurança pública. As reflexões aqui propostas serão feitas a partir de diferentes pontos de vista, procurando trazer o maior número de elementos essenciais para a compreensão do uso e dos impactos que tais tecnologias possuem para a sociedade. Diferente da visão panóptica, que olha a realidade a partir de um ponto de vista, a intenção aqui é criar um mosaico de abordagens. Cada texto abordará uma tecnologia, pontuando o que são e como funcionam; os benefícios e perigos do emprego de cada tecnologia; o debate internacional; o contexto de uso no Brasil; avaliações sobre os impactos já mensurados; algumas conclusões e uma lista de indicações de leituras para aprofundamento. A Coleção, como o nome mesmo deixa evidente, é um panorama dos temas mais urgentes que interseccionam tecnologia, segurança e direitos. Se estamos vivendo em uma época de intensificação da vigilância panóptica, dos casos de vieses em algoritmos, do aumento da violência policial e da falta de transparência é indispensável entendermos o que são e como nos afetam essas tecnologias. Dados Internacionais de Catalogação na Publicação (CIP) Kremer, Bianca Racismo algorítmico [livro eletrônico] / Bianca Kremer, Pablo Nunes, Thallita G. L. Lima. – Rio de Janeiro : CESeC, 2023. 2,5 mb. -- (Coleção Panorama) Formato: PDF ISBN: 978-85-5969-036-1 1. Racismo algorítmico. 2. Tecnologias digitais. 3. Inteligência artificial. I. Nunes, Pablo. II. Lima, Thallita G. L. III. Título. IV. Série. CDD-305.8 Sueli Costa - Bibliotecária - CRB-8/5213 (SC Assessoria Editorial, SP, Brasil) Índices para catálogo sistemático: 1. Racismo : Inteligência artificial 305.8 PANORAMA > RACISMO ALGORÍTMICO 5 RACISMO ALGORÍTMICO Bianca Kremer Introdução Um usuário da plataforma TikTok repercutiu nas redes sociais, em dezembro de 2021, quando denunciou as tentativas frustradas de cadastrar sua biometria facial no aplicativo de um banco digital em seu celular. Mesmo com o rosto completamente descoberto, sem acessórios e com boa iluminação, o sistema de reconhecimento facial não conseguia identificá-lo e apresentava continuamente a mensagem: “mantenha os olhos descobertos”. Após diversas investidas com os olhos arregalados, em ângulos e iluminações diferentes, o usuário testou o mesmo sistema com uma foto do ator hollywoodiano Chris Hemsworth, buscada aleatoriamente na internet. O resultado foi o reconhecimento instantâneo do rosto do ator, um homem branco. Ele, que é um homem negro, desabafou nas redes: “Não consegui passar da foto. Muita melanina para um banco só”.1 1 6 @sociedadepretadospoetas. Tiktok, 24 de dezembro de 2021. Disponível em: < https://www.tiktok.com/@sociedadepretadospoetas/video/7045306381703924998> Acesso em: 04 de fevereiro de 2023. PANORAMA > RACISMO ALGORÍTMICO O que parece, à primeira vista, um caso isolado de erro de design se soma a outros episódios da mesma natureza no Brasil e no mundo. Em setembro de 2021, um vídeo contendo imagens de homens negros foi divulgado na plataforma Facebook pelo jornal britânico The Daily Mail, e foi rotulado pela inteligência artificial de recomendação ao usuário como conteúdo de primatas.2 O vídeo não apresentava nenhum tipo de correlação com macacos ou primatas. A empresa se desculpou pelo que chamou de “erro inaceitável” e se comprometeu a analisar o recurso de recomendação para evitar que isso acontecesse novamente, desativando em seguida o recurso de inteligência artificial que empurrou a mensagem aos usuários. Não foi a primeira vez que uma grande plataforma digital esteve envolvida em situações desse tipo. Em 2015, o aplicativo Google Fotos foi amplamente denunciado por usuários nas redes sociais ao rotular 2 MAC, Ryan. Facebook apologizes after A.I. puts ‘primates’ label on videos of black men. The New York Times, 3 de setembro de 2021. Disponível em: < https://www.nytimes. com/2021/09/03/technology/facebook-ai-race-primates.html> Acesso em: 04 de fevereiro de 2023. PANORAMA > RACISMO ALGORÍTMICO 7 imagens de um casal de senegaleses como gorilas.3 O produto foi desenvolvido para permitir o armazenamento gratuito das fotos carregadas pelos usuários e submetê-las a classificação automática utilizando seu próprio software de inteligência artificial. A Google se manifestou publicamente lamentando o ocorrido e se comprometeu com a correção do problema. Três anos depois, a solução da empresa foi censurar completamente o etiquetamento de imagens nas categorias “gorila”, “macaco” e “chimpanzé” em toda a aplicação. Ou seja, eliminar completamente essas figuras do universo de seu banco de dados, como se sequer existissem no mundo real. A época foi marcada pela explosão de denúncias no cenário internacional sobre sistemas de inteligência artificial que replicavam discriminações raciais de toda sorte. Em 2016, o aplicativo FaceApp ganhou popularidade com seus filtros lúdicos de vários tipos: envelhecimento, rejuvenescimento, mudança de gênero, entre outros. À medida que os usuários transformavam suas selfies no aplicativo, um de seus 3 8 KASPERKEVIC, Jana. Google says sorry for racist auto-tag in photo app. The Guardian. New York. 1 de julho de 2015. Disponível em: <https://www.theguardian.com/technology/2015/ jul/01/google-sorry-racist-auto-tag-photo-app>. Acesso em: 15 de fevereiro de 2020. PANORAMA > RACISMO ALGORÍTMICO filtros denominado hot (i.e., atraente) iluminava seus tons de pele, tornando os rostos mais brancos ou, em alguns casos, até mesmo pálidos. Ao ser acusada de associar beleza à brancura, a empresa se desculpou com o público pelo recurso, e disse ser um “efeito colateral” de sua rede neural.4 Os acontecimentos narrados se deram com diferentes sujeitos ao redor do mundo, em localizações e períodos distintos. No entanto, todos possuem um ponto em comum: episódios de discriminação racial produzidos por vieses algorítmicos em ferramentas de tecnologia. Afinal, o que são esses algoritmos e como eles funcionam? O que é o racismo algorítmico e como se manifesta? De que forma ele reproduz violências e estigmas no tecido social brasileiro? E, por fim, como combater esse fenômeno e por que isso importa? O objetivo deste artigo é discutir essas e outras questões fundamentais para a garantia de um desenvolvimento tecnológico ético, que não reproduza opressões sociais sob um discurso de eficiência e neutralidade. 4 CURTIS, Sophie. FaceApp apologizes for ‘racist’ selfie filter that lightens users’ skin tone. Mirror. Technology. 25 de abril de 2017. Disponível em: < https://www.mirror.co.uk/tech/ faceapp-apologises-hot-selfie-filter-10293590>. Acesso em: 15 de dezembro de 2020. PANORAMA > RACISMO ALGORÍTMICO 9 O que são algoritmos? Algoritmos podem ser entendidos como conjuntos de instruções que explicam detalhadamente como realizar uma tarefa qualquer. Seguidas passo a passo, de maneira detalhada e ordenada, essas instruções possibilitam atingir um resultado final, solucionar um problema. Pense em uma receita de bolo: se você utilizar os ingredientes certos, na proporção adequada, e seguir todos os procedimentos na ordem indicada, o desfecho será um bolo fofinho e saboroso. Existem adversidades, no entanto, que podem inviabilizar o resultado esperado. Por exemplo, a temperatura inadequada do forno pode impactar o produto final. Se o conjunto de instruções não for seguido à risca, o desfecho também pode não corresponder à expectativa inicial. No campo da matemática e da computação, os algoritmos são as receitas. Eles contêm sequências finitas de instruções que comandam o computador para realizar alguma ação. Há poucos consensos na doutrina especializada sobre o conceito de algoritmo, mas o termo é frequentemente utilizado para indicar uma estrutura de controle “abstrata, eficaz, composta, imperativamente dada, cumprindo um 10 PANORAMA > RACISMO ALGORÍTMICO determinado propósito e sob determinadas disposições”5. A implementação dessas construções matemáticas se dá em sistemas de computação, dotados de tecnologias configuradas para uma tarefa específica. Os algoritmos possuem grande valor econômico e político na sociedade contemporânea, cada vez mais hiperconectada e movida por dados. Quando aliados a técnicas de inteligência artificial, eles têm a capacidade de aconselhamento – quando não de pronta decisão – sobre a forma como as informações e os dados devem ser interpretados, e podem, inclusive, definir ações a serem tomadas com base nessas interpretações.6 Sistemas de recomendação de conteúdo, por exemplo, integram cada vez mais nosso cotidiano, fazendo, diariamente, sugestões de consumo para nós, usuários. São exemplos os serviços de streaming, como 5 TSAMADOS, A., AGGARWAL, N., COWLS, J. et al. The ethics of algorithms: key problems and solutions. AI & Soc 37, 215–230 (2022). Disponível em: <https://doi.org/10.1007/ s00146-021-01154-8>. Acesso em: 03 de novembro de 2023. 6 FLORIDI, Luciano; MITTELSTADT, Brent Daniel; ALLO, Patrick; et al. The ethics of algorithms: mapping the debate. Oxford Internet Institute. Big Data and society: Londres, Jul-Dec 2016, p. 1-21. PANORAMA > RACISMO ALGORÍTMICO 11 Netflix, Spotify e Amazon Prime, e as indicações de produtos em serviços de e-commerce e nas mídias sociais. Serviços públicos também têm designado algoritmos para auxiliarem processos de tomada de decisões estratégicas nos mais diversos campos de atuação, como educação, saúde, finanças, políticas públicas e, até mesmo, órgãos do sistema de justiça. Não só essa incorporação dos algoritmos no dia a dia tem sido motivo de sua popularização. A inteligência artificial (IA) também tem um papel fundamental para colocar os algoritmos na boca do povo. Apesar disso, não podemos dizer que o cidadão comum domine o que são, como funcionam e quais são os reais impactos dessas tecnologias em suas vidas. Apesar de não haver consenso na doutrina especializada sobre o conceito de inteligência artificial, é interessante pensá-la como a utilização de métodos que emulam o comportamento humano inteligente para a solução de problemas complexos.7 Quando os algoritmos de inteligência artificial estão alinhados a técnicas de aprendizagem de máquina (também chamada de machine learning), eles passam a automatizar 7 12 COPPIN, Ben. Inteligência artificial. Trad, e rev. Jorge Duarte Pires Valério. Rio de Janeiro: LTC, 2017, p. 4. PANORAMA > RACISMO ALGORÍTMICO processos. A maioria das aplicações de inteligência artificial são baseadas na categoria de algoritmos conhecidos como Deep Learning (traduzido como “aprendizado profundo”), capazes de tomar decisões sem interferência humana direta, apenas a partir do reconhecimento de padrões em informações contidas em seus bancos de dados. Vivemos em um período econômico-político que Kai-Fu Lee denominou Era dos Dados (The Age of Data), em que algoritmos de IA precisam necessariamente de três elementos para serem bem-sucedidos: Big Data8, poder computacional e o que Lee chama de talento de engenharia. Uma vez que o poder computacional e o trabalho empreendido por desenvolvedores atingem um certo limite, a quantidade de dados 8 Big data é a área de conhecimento que se dedica ao tratamento, análise e obtenção de informações a partir de conjuntos de dados grandes demais para serem analisados por pessoas humanas individualmente, ou mesmo por sistemas tradicionais. A popularização da internet aumentou significativamente a quantidade de dados produzidos, aliada à Internet das Coisas (IoT). O big data tornou-se essencial nas relações econômicas e sociais, sendo também, para alguns autores, uma nova forma de capitalismo de informação com o objetivo de prever e modificar o comportamento humano para a produção de receitas e/ou controle de mercado. Cf. ZUBOFF, Shoshana. Big Other: surveillance capitalism and the prospects of an information civilization. Journal of Information Technology, v.30, 2015, p. 75-89. PANORAMA > RACISMO ALGORÍTMICO 13 se torna decisiva para determinar o poder geral e a precisão de um algoritmo.9 Para que essa quantidade massiva de dados seja lida e interpretada para os mais variados interesses corporativos e governamentais, é imprescindível que o poder computacional aplicado dê conta dessa demanda. Nessa perspectiva, a aprendizagem automática explora o estudo e a construção de algoritmos capazes de compilar uma enorme quantidade de informações em um tempo consideravelmente reduzido. Quanto maior o poder computacional, maior a possibilidade de manejar bancos de dados cada vez mais robustos. O potencial que os algoritmos têm de melhorar o bem-estar individual e social não elimina os riscos éticos envolvidos na sua utilização. Modelos de inteligência artificial e algoritmos são construídos por humanos e, portanto, não são eticamente neutros. Os dados que treinam esses algoritmos são montados, limpos, rotulados e anotados também por humanos. Em outras palavras, são seres humanos, imersos em uma sociedade complexa, que escrevem a receita. Se uma das 9 14 LEE, Kai-Fu. AI Superpowers: China, Silicon Valley and the New World Order. Boston: Houghton Mifflin Harcourt, 2018, p. 14. PANORAMA > RACISMO ALGORÍTMICO instruções contiver um viés tendencioso, o resultado será tendencioso, ainda que se cumpram todos os comandos. Ou seja, apesar de a matemática estar correta em muitos casos, ela pode ser mal utilizada, já que os algoritmos procurarão padrões em dados tendenciosos. Os cálculos podem até apresentar acurácia, mas os resultados nem sempre estarão corretos.10 Racismo algorítmico: entre a denegação e a estrutura Existe um entendimento no senso comum que relaciona automaticamente as tecnologias a uma ideia de eficiência pura, de neutralidade e de verdade inquestionável. Essa compreensão é alimentada pelas grandes empresas de tecnologia – para as quais a problematização dessa neutralidade representa perdas financeiras – e por outros agentes e instituições sociais que se beneficiam de diferentes formas do 10 VIEIRA, Carla. Vieses e a importância de sempre se analisar o cenário completo. Carlavieira.dev, São Paulo: 14 de abril de 2019. Disponível em: < https://www.carlavieira.dev/ blog/9-26-vieses-e-a-import%C3%A2ncia-de-sempre-analisar-o-cen%C3%A1rio-completo/>. Acesso em: 15 de fevereiro de 2022. PANORAMA > RACISMO ALGORÍTMICO 15 enviesamento nas tecnologias. Os algoritmos não ficam de fora desse discurso de objetividade. Um desafio, portanto, para compreender o racismo algorítmico é contrapor essa ideia. Na obra Algoritmos de Destruição em Massa, Cathy O’Neil demonstra como o conceito de modelos matemáticos são opiniões embutidas na matemática. Para ela, modelos nada mais são do que a representação abstrata de algum processo. Eles colhem o que sabem sobre um determinado tema e usam essas informações para prever respostas em diversas situações, “esteja ele rodando dentro de um computador ou em nossa cabeça, (...) eles nos dizem o que esperar e guiam nossas decisões”11. Para conduzir decisões automatizadas, os modelos matemáticos são produzidos e passam por intervenções humanas. Os algoritmos desenvolvidos por humanos para aprendizado de máquina possuem alto potencial de absorção de preconceitos e discriminações que já fazem parte da organização da sociedade. A presença desses elementos tanto nos 11 16 O’Neil, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Trad. Rafael Abraham. 1ª Ed. Santo Andre: Editora Rua do Sabão, 2020, p. 30-31. PANORAMA > RACISMO ALGORÍTMICO processos de subjetivação individual quanto de estruturação social não é uma questão: inúmeros estudos a comprovam há décadas. Na década de 1980, a filósofa brasileira Lélia Gonzalez cunhou a classificação “racismo por denegação” para caracterizar a existência de um racismo disfarçado nas sociedades de origem latina, como a brasileira. Gonzalez usa o conceito freudiano12 para descrever o “processo pelo qual o indivíduo, embora formulando um de seus desejos, pensamentos ou sentimentos, até aí recalcado, continua a defender-se dele negando que lhe pertença”.13 Para a autora, a eficácia da dominação colonial exerceu sobre os colonizados efeitos de alienação, de tal modo que a violência passou a assumir novos contornos em face da resistência do colonizado. Chega, muitas vezes, a nem parecer uma violência, mas uma verdadeira superioridade. O racismo, então, 12 “Denegar seria negar, defender-se de um desejo, de algo que existe no mundo dos fatos, mas é encoberto (...)” MATTOSO, Ana Carolina. Amefricanidade e opressões de gênero e sexualidade. (no prelo) p. 7. 13 LAPLANCHE, J. e PONTALIS, J. B. Vocabulário da Psicanálise. Santos: Livraria Martins Fontes, 1970, apud, GONZALEZ, Lélia. A categoria político-cultural da amefricanidade. Rev. TB. Rio de Janeiro, 92/93; 47/68, jan-jul. 1988, p. 69. PANORAMA > RACISMO ALGORÍTMICO 17 desempenha um papel fundamental na internalização da superioridade do colonizador pelos colonizados, se reproduzindo em duas faces: o racismo aberto e o racismo disfarçado. O racismo aberto é uma articulação ideológica que resulta do método de colonização anglo-saxã, que estabelece a identificação racial pela ancestralidade, de forma que é negra a pessoa que tem antepassados negros. Na medida em que o grupo branco pretende afirmar sua superioridade mantendo sua “pureza” racial, a solução assumida de forma explícita é a segregação dos grupos não brancos. A autora traz o exemplo da África do Sul com a doutrina do apartheid, em que haveria o desenvolvimento “igual, mas separado”.14 Já nas sociedades de origem latina, como a brasileira, o racismo se caracterizaria por seu aspecto “disfarçado”. Nele, prevalecem teorias da miscigenação, da assimilação e da “democracia racial”. Isso se dá porque, entre outras coisas, os países de colonização luso-espanhola herdaram de suas metrópoles ideologias de classificação social (racial e sexual) e técnicas jurídico-administrativas produzidas por elas ao longo 14 18 GONZALEZ, Lélia. A categoria político-cultural da amefricanidade. Op. cit, p. 71-72. PANORAMA > RACISMO ALGORÍTMICO de sua formação histórica. Pelo contato histórico com os povos do norte da África, essas sociedades já haviam se estruturado com base em um modelo rigidamente hierárquico. Nesse sentido, ainda que as colônias fossem racialmente estratificadas, essa estratificação não dependeu da criação de formas tão explícitas de segregação, por conta das hierarquias que garantiam a superioridade dos brancos como grupo dominante.15 O racismo por denegação explica as dinâmicas do racismo com base em um processo pelo qual a sociedade brasileira, embora formulando seus desejos recalcados de segregação e discriminação, se defende deles ao negar que lhe pertença. É sob esse pano de fundo que o racismo algorítmico se projeta no Brasil. As contribuições de Lélia reforçam a compreensão desse fenômeno e da forma como ele se enraíza na nossa sociedade. É neste terreno, em que o racismo é negado de maneira ampla, que vieses conscientes e inconscientes interferem nos processos de tomada de decisão dos modelos matemáticos. Assim, o racismo algorítmico não se apresenta apenas como uma falha no sistema operacional, mas como 15 Ibid. p. 73. PANORAMA > RACISMO ALGORÍTMICO 19 parte estruturante dele. 16 Não são raros os casos e relatos de racismo envolvendo algoritmos e sistemas de IA no cenário internacional, a exemplo de robôs que não conseguem ver rostos de pessoas negras17, reconhecimento facial que gera falsos positivos para criminosos em rostos negros18, algoritmos de alocação de recursos de saúde que punem pacientes negros19, carros autônomos que atropelariam com maior probabilidade pedestres negros 20 16 NOBLE, Safiya Umoja. Algorithms of oppression: how search engines reinforce racism. New York: NYU Press, 2018, p. 10. 17 BUOLAMWINI, Joy. When the robot doesn’t see dark skin. MIT Media Lab. 21 de junho de 2018. Disponível em: < https:// www.media.mit.edu/articles/when-the-robot/>. Acesso em: 29 jan. 2021. 18 HAO, Karen. A US government study confirms most face recognition systems are racist. MIT Technology Review. Dezembro de 2020. Disponível em: < https://www.technologyreview.com/2019/12/20/79/ai-face-recognition-racist-us-government-nist-study/>. Acesso em: 30 de janeiro de 2021. NUNES, Pablo; LIMA, Thallita Gabriele Lopes; CRUZ, Thaís Gonçalves. O SERTÃO VAI VIRAR MAR: Expansão do reconhecimento facial na Bahia. Rio de Janeiro: CESeC, 2023. Disponível em: https://opanoptico.com.br/Caso/o-sertao-vai-virar-mar-expansao-do-reconhecimento-facial-na-bahia/ . Acesso em outubro de 2023. 19 LEDFORD, Heidi. Millions of blakc people affected by racial bias in health-care algorithms. Nature. 24 de outubro de 2019. Disponível em: < https://www.nature.com/articles/d41586-01903228-6> Acesso em: 15 de fevereiro de 2023. PANORAMA > RACISMO ALGORÍTMICO em comparação a pedestres brancos20, melhores condições para hosts brancos em aplicativos de hospedagem21, dentre outros cuja lista, lamentavelmente, não para de crescer22. É com base no estudo dos dispositivos, das ferramentas tecnológicas e das metodologias computacionais, e na compreensão de aspectos políticos e econômicos das sociedades contemporâneas, que se desenvolve o conceito de racismo algorítmico. Isso porque, quando se discute a categoria raça, não há como desconsiderar as relações de poder. Afinal, raça é um argumento político utilizado historicamente para naturalizar desigualdades e legitimar 20 CUTHBERTSON, Anthony. Self-driving cars more likely to drive into black people, study claims. Independent. 6 de março de 2019. Disponível em: < https://www.independent.co.uk/ life-style/gadgets-and-tech/news/self-driving-car-crash-racial-bias-black-people-study-a8810031.html>. Acesso em: 15 de fevereiro de 2023. 21 LEE, Dave. AirBnB racismo claim: african-american less likely to get rooms. BBC News. 12 dez 2015. Disponível em: < https:// www.bbc.com/news/technology-35077448> Acesso em: 15 de fevereiro de 2023. 22 Nessa direção, Tarcizio Silva mantém o que intitula Linha do Tempo do Racismo Algorítmico: um banco de dados atualizado continuamente contendo casos evidenciados na mídia de racismo algorítmico, disponível para consulta livre e gratuita em seu site. Disponível em: < https://tarciziosilva.com.br/blog/destaques/ posts/racismo-algoritmico-linha-do-tempo/>. Acesso em: 15 de fevereiro de 2023. PANORAMA > RACISMO ALGORÍTMICO 21 a segregação e o genocídio de grupos sociologicamente considerados minoritários.23 Ainda para compreender o conceito que trabalhamos aqui, é importante diferenciar o racismo de outros fenômenos sociais também associados à ideia de raça, quais sejam: preconceito e discriminação. Não apenas para fins didáticos, mas para não cairmos na armadilha de subdimensionar os efeitos e motivações do racismo algorítmico. Para Silvio Almeida, o racismo é uma forma sistemática de discriminação que tem o elemento raça como fundamento. Ele se manifesta por meio de práticas conscientes ou inconscientes, que resultam em desvantagens ou privilégios para os indivíduos, a depender do grupo racial ao qual pertençam. O racismo, portanto, transcende a ação individual e tem o poder como elemento constitutivo das relações raciais. O racismo se diferencia do preconceito racial, que é o “juízo baseado em estereótipos sobre as pessoas que pertencem a determinado grupo racializado, e 23 22 ALMEIDA, Silvio. O que é racismo estrutural. Coleção Feminismos Plurais. Djamila Ribeiro (Org.) São Paulo: Sueli Carneiro; Pólen, 2019, p. 30-32. PANORAMA > RACISMO ALGORÍTMICO que pode ou não resultar em práticas discriminatórias.”24 Almeida traz como exemplo de preconceito a atribuição a pessoas racializadas de características com base em estereótipos construídos socialmente, como considerar que pessoas negras são violentas ou não são confiáveis, que judeus são avarentos e até mesmo que orientais são naturalmente aptos às ciências exatas. A discriminação racial se dá quando se atribui tratamento diferenciado, discriminatório, a membros de grupos racialmente identificados com base nos preconceitos raciais. É só com o uso da força, portanto, que se torna possível atribuir vantagens e desvantagens por conta da raça. A diferença entre as três categorias não é meramente alegórica, ela importa para desvelarmos aspectos importantes da realidade concreta. Quando entendemos o racismo como uma decorrência da própria estrutura social, vemos que não se trata de uma patologia social (concepção individualista do racismo), nem de desarranjos institucionais causados pela hegemonia de determinados grupos raciais na imposição de seus interesses políticos e econômicos (concepção institucional do racismo). 24 Ibid. PANORAMA > RACISMO ALGORÍTMICO 23 O racismo algorítmico seria, portanto, uma categoria analítica que dá conta dos aspectos tecnopolíticos dos algoritmos com base no elemento raça, sem prejuízo das imbricações25 de gênero, classe, sexualidade, deficiência e outras categorias de opressão que lhe sobrevenham. Ele se expressa a partir das desigualdades políticas, econômicas e jurídicas próprias do racismo estrutural, e não de falibilidades pontuais no uso e produção da tecnologia em cada caso concreto. Em uma sociedade marcada pelo racismo por denegação, o racismo algorítmico encontra solo fértil para reproduzir seus efeitos nefastos. À luz do discurso de neutralidade das tecnologias, e da supremacia das capacidades técnicas perante as falibilidades humanas nos processos de tomada de decisão, são delegadas cada vez mais decisões estratégicas às soluções tecnológicas sem atenção aos aspectos éticos e impactos sociais que elas desencadeiam. 25 24 O conceito de imbricação de opressões trazido neste trabalho recorre aos ensinamentos de Ochy Curiel, que busca entender o modo como essas opressões têm atravessado historicamente a experiência da colonialidade em efeitos estruturais e estruturantes sobre os corpos que não experienciaram os privilégios de raça, classe, gênero, sexualidade, entre outros. Cf. CURIEL, Ochy. CURIEL, Ochy. “De las Identidades a las Imbricación de las opresiones: Desde La experiencia.” In Encrespando. Anais do I Seminário Internacional: Refletindo a Década Internacional dos Afrodescentendes (ONU, 2015-2024) / FLAUZINA, Ana; PIRES, Thula (org.). Brasília: Brado Negro, 2016, p. 80. PANORAMA > RACISMO ALGORÍTMICO Racismo algorítmico e vieses algorítmicos: distinções conceituais Você sabe o que são algoritmos de aprendizagem automática? Trata-se de tecnologias que permitem o funcionamento do que chamamos de “agentes inteligentes”, por exemplo. Esses agentes usam técnicas de inteligência artificial com aprendizagem automática para se adaptar a novas situações – ou aprender ‘sozinhos’ –, na medida em que os dados disponíveis lhes permitam realizar ajustes sem necessidade do auxílio humano direto. Eles podem apresentar comportamentos complexos, ou até mesmo comportamentos que só humanos fariam. Acontece que os algoritmos de aprendizagem automática são inspirados por pessoas, criados por pessoas e, principalmente, causam impactos em pessoas. Eles já se configuram como uma poderosa ferramenta de altíssimo alcance global, da qual estamos apenas começando a compreender os efeitos e potencialidades. PANORAMA > RACISMO ALGORÍTMICO 25 Esse processo, portanto, pode implicar em resultados delicados, que refletem comportamentos e valores éticos questionáveis no âmbito das relações sociais. Isto porque, determinados parâmetros operacionais são, muitas vezes, elaborados por desenvolvedores e configurados por usuários, privilegiando certos valores e interesses em detrimento de outros.26 Tanto na internet, quanto no uso diário da tecnologia, está presente o fenômeno dos vieses algorítmicos, especialmente quando falamos de decisões automatizadas, ou seja, decisões que, em algum momento, já foram delegadas à reflexão humana, e hoje são tomadas automaticamente por um software que codifica e computa milhares de regras e instruções em frações de segundo.27 Os impactos das decisões produzidas por algoritmos são capazes de modular o comportamento e a conduta dos usuários, muitas 26 26 BREY, Philip; Soraker, Johnny. Philosophy of Computing and Information Technology. In A. Meijers (Ed.), Philosophy of Technology and Engineering Sciences (pp. 1341-1408). (Handbook of the Philosophy of Science; Vol. 9, No. IX). Amsterdam: Elsevier. 2009. Disponível em: < https://linkinghub.elsevier. com/retrieve/pii/B9780444516671500513>. Acesso em 27 de abril de 2020. 27 PASQUALE, Frank. The Black Box Society. Harvard University Press, 2005, p. 4. PANORAMA > RACISMO ALGORÍTMICO vezes de forma discreta, reproduzindo relações de poder e opressão já existentes na sociedade.28 Podemos conceituar vieses (bias) como pesos desproporcionais a favor ou contra algo ou alguém. Uma decisão enviesada, ou tendenciosa, ganha contornos de unilateralidade, isto é, é composta pela visão de mundo, pela experiência, pelos valores e até mesmo pela intuição de um sujeito ou de um grupo em relação ao contexto no qual está inserido. As pessoas podem desenvolver vieses a favor ou contra um indivíduo, um grupo étnico e racial, uma orientação sexual ou identidade de gênero, uma nação ou povo, uma religião, uma classe social, um partido ou posicionamento político, uma ideologia, entre muitos outros elementos. Nessa direção, os vieses algorítmicos (algorithmic bias) são o fenômeno a partir do qual as pessoas incorporam sua visão de mundo e, não raras vezes, preconceitos às tecnologias. Essa incorporação pode ou não culminar em discriminação racial, atribuindo tratamento diferenciado a membros de 28 SILVA, Tarcízio. Racismo algorítmico em plataformas digitais: microagressões e discriminação em código. In: Comunidades, algoritmos e ativismos digitais. Tarcizio Silva (Org.) São Paulo: LiteraRua, 2020, p. 130. PANORAMA > RACISMO ALGORÍTMICO 27 grupos racialmente identificados quando utilizam as tecnologias.29 O racismo algorítmico não é sinônimo de vieses algorítmicos. São conceitos distintos, mas não antagônicos, pois é a partir dos vieses que o racismo algorítmico se concretiza no contexto sociotécnico. Os vieses algorítmicos mobilizam as categorias de preconceito racial e discriminação racial, enquanto o racismo algorítmico trabalha com a categoria de racismo como estrutura e forma sistemática de discriminação, que ganha expressão como desigualdade política, econômica e jurídica em desfavor da população negra e indígena na forma como essas tecnologias são incorporadas no Brasil. Algoritmos operam construindo um modelo a partir de inputs amostrais – isto é, quando um computador ou dispositivo está recebendo um comando ou sinal de fontes externas. Nesse sentido, o processo de criação de um algoritmo de IA possui muitas partes manuais: desde a coleta de dados até a escolha de quem vai 29 28 Cf. KREMER, Bianca. Direito e tecnologia em perspectiva amefricana: autonomia, algoritmos e racialidade. 2021, p. 136. Doutorado. Tese de doutorado. Faculdade de Direito. Pontifícia Universidade Católica do Rio de Janeiro. Rio de Janeiro, 31 de março de 2021. Disponível em: < https://www. maxwell.vrac.puc-rio.br/58993/58993.PDF> Acesso em: 15 de fevereiro de 2023. PANORAMA > RACISMO ALGORÍTMICO coletá-los; da origem dos dados até a análise sobre a representação do problema que está sendo tratado e, potencialmente, solucionado pelo algoritmo. É nesse momento que entram os vieses: o desenvolvedor, ou a equipe de desenvolvedores, a partir de seu juízo baseado em estereótipos sobre outros pertencentes a um determinado grupo racial, incute esses preconceitos na máquina, sobretudo indiretamente. Em sociedades marcadas pelo racismo por denegação e por regras de neutralidade racial, como a brasileira, isso fica ainda mais evidente. Adilson Moreira, quando conceitua discriminação direta e indireta, trabalha com o elemento da intencionalidade. A discriminação direta traz a imposição de tratamento desvantajoso com intenção de discriminar, enquanto a discriminação indireta traz a ausência de intencionalidade explícita de discriminar pessoas30. Além de considerar essas diferentes formas, é preciso perceber que existem diferenças sociais significativas na forma como as pessoas vão experienciar a tecnologia em um tecido social já esgarçado e marcado por conflitos e antagonismos. 30 MOREIRA, Adilson José. O que é discriminação? Belo Horizonte: Letramento, 2017, p. 102. PANORAMA > RACISMO ALGORÍTMICO 29 Portanto, quando a máquina promove decisões automatizadas a partir desses inputs amostrais enviesados, fomenta processos e tomadas de decisões humanas e institucionais que promovem a discriminação racial, isto é, o tratamento diferenciado a membros de grupos racialmente identificados. Já o racismo algorítmico transcende as ações individuais dos desenvolvedores e recai nas dimensões de poder de um grupo racial sobre o outro, a partir das dinâmicas econômicas, políticas e jurídicas da nova Economia Digital. Isso gera novos contornos aos aspectos de vigilância e controle em todas as esferas da vida da população negra no Brasil, reiterando os processos históricos e políticos que os posicionaram no seio da sociedade brasileira como cidadãos de segunda classe. Modelos sempre conterão erros por serem simplificações do mundo real. As informações que os alimentam – seja quando são inicialmente desenvolvidos por seres humanos, seja quando formulados e reformulados pela própria máquina ao ser submetida a treinamento e aprendizagem31 – não darão conta de 31 30 O’NEIL, Cathy. Algoritmos de destruição matemática. Op. cit. p. 33. PANORAMA > RACISMO ALGORÍTMICO toda a complexidade do mundo real e das relações sociais. Mas não se trata apenas de apontar esse fato como uma falibilidade possível da máquina. Trata-se de denunciar a impossibilidade de sua neutralidade. Por maior que seja o poder computacional, sempre haverá escolhas sobre o que é realmente importante ao se criar um modelo. Algumas coisas serão incluídas em inputs enquanto outras ficarão de fora. E essas escolhas são permeadas por comportamentos individuais e processos institucionais derivados de uma sociedade em que o racismo funciona como regra, não exceção. Nesse sentido, a concepção estrutural do racismo, popularizada no Brasil por Silvio Almeida, alinhada à lógica do racismo por denegação, desenvolvida por Lélia Gonzalez, nos oferece a possibilidade de redefinir a gramática tecnopolítica dos algoritmos. É preciso tomar como ponto de partida as tensões políticas, econômicas e sociais que nos dizem respeito na sociedade da informação que herdamos, informando uma nova práxis nos debates sobre racismo e tecnologia, que é o conceito de racismo algorítmico. A categoria do racismo algorítmico denuncia, ao mesmo tempo, a formação histórica e política que PANORAMA > RACISMO ALGORÍTMICO 31 constrói e mantém a raça como elemento de discriminação sistemática no Brasil e a não neutralidade das tecnologias amplamente adotadas no país. A centralidade da discussão racial proporcionada pela categoria é fundamental para pensarmos o contexto de disputa política a que estamos submetidos no cenário da sociedade da informação. Corpo negro e vigilância: da colonização às novas tecnologias Corporalidades negras e vigilância são temas constantemente entrelaçados por força de uma herança histórica do período colonial que se desdobra até os dias atuais na forma de desigualdade social, divisão racial do espaço, pobreza insidiosa, política de encarceramento em massa, violência policial e toda sorte de práticas ultrajantes. Não é por acaso que o Brasil é o nono país mais desigual do mundo, ficando atrás apenas de nações do continente africano32. Esse 32 32 HUMAN Development Report 2019. United Nations Development Programme. Disponível em: < http://hdr.undp.org/en/2019-report/download>. Acesso em: 27 de janeiro de 2021. PANORAMA > RACISMO ALGORÍTMICO é um dos resultados de um projeto de genocídio33 que teve início com a colonização, mas se atualiza em diversos aspectos nos dias atuais. Neste tópico, veremos um panorama da vigilância e da estigmatização que atravessa esses corpos historicamente, hoje auxiliadas pelas tecnologias. A cada cem pessoas chegadas no Brasil durante o período colonial, 86 eram escravizadas africanas.34 Estima-se com relativa precisão que aproximadamente 12 milhões de seres humanos foram embarcados 33 Empregamos aqui a categoria genocídio em ampla acepção, como um processo de sufocamento das comunidades negras nas mais diversas frentes de atuação institucional, no ínterim das dinâmicas que elegeram o racismo como pedra angular do Estado brasileiro e de suas instituições jurídico-políticas. Cf. FLAUZINA, Ana Luiza Pinheiro. Corpo negro caído no chão. O sistema penal e o projeto genocida do Estado brasileiro. Rio de Janeiro: Contraponto, 2008. Ver também: VARGAS, João Helion Costa, A Diáspora Negra como Genocídio, REVISTA DA ABPN, no. 2, Ju.- Out. 2010, p.31-56. 34 GOMES, Laurentino. Escravidão. v.1. Rio de Janeiro: Globo Livros, 2019, p. 255. Para maiores informações, sugerimos o banco de dados The Transatlantic Slave Trade Database, que cobre cerca de 80% das viagens de navios negreiros ao longo de três séculos, com versão em português e atualização constante em tempo real. Disponível em: <www.slavevoyage.com>. Acesso em: 27 jan 2021. PANORAMA > RACISMO ALGORÍTMICO 33 forçosamente35, entre 1500 e 1867, para a travessia do Atlântico, em cerca de 36 mil viagens em navios negreiros. Dessas, apenas 10 milhões chegaram vivos às Américas, tendo o Brasil recebido sozinho mais de 4,9 milhões de cativos, o equivalente a 47% do total desembarcado em todo o continente americano – número 10 vezes superior ao destinado às colônias inglesas da América do Norte. Aqui, o controle sobre as corporalidades negras feitas cativas era majoritariamente realizado por meio da violência, e a disciplinarização do poder senhorial se mostrava o ponto nodal da tecnologia de vigilância colonial. O escravo é mantido vivo, mas em estado de injúria. “Violência, aqui, torna-se um componente de etiqueta”.36 Por outro lado, a situação dos negros libertos colocava em xeque a lógica disciplinar no âmbito senhorial, que controlava também seu trânsito no espaço público. Ao deixarem o cativeiro, esses negros libertos se concentravam nos 34 35 A esse embarque forçoso denominamos diáspora africana, também chamado de diáspora negra. Um fenômeno sociocultural e histórico que ocorreu devido à imigração forçada de africanos para fins escravagistas mercantis, que perdurou do início da Idade Moderna ao final do século XIX. 36 MBEMBE, Achille. Necropolítica. São Paulo: Ubu Editora, 2018, p. 28. PANORAMA > RACISMO ALGORÍTMICO centros urbanos e, no pós-abolição, na massa negra livre. A criminalização da vadiagem veio, então, como resposta na forma de uma rede pública de vigilância sobre esses corpos em trânsito37. O tipo penal da vadiagem foi levado a cabo no Código Criminal do Império de 1830 e no Código Penal de 1890, já na República, se mostrando a criminalização da liberdade em última instância.38 Segundo Ana Carolina Mattoso, a lógica que inaugura a urbanização e a formação dos valores de uma sociedade industrial no país é informada pela “criminalização da liberdade negra, pela repressão de seus ajuntamentos, pela tradução do ócio, da diversão, das variadas formas de produção de sentidos para o mundo”39 como desvio, transgressão. Pela repressão da sua ocupação e leitura do espaço público. A liberdade de circulação e dos múltiplos fazeres do negro, expressa em seus ajuntamentos, festas, danças, jogos e exercício da espiritualidade, não coadunavam com 37 MATTOSO, Ana Carolina. Da vadiagem ao ‘rolezinho’, do samba ao 150 bpm. Op. cit. p. 66. 38 FLAUZINA, Ana Luiza Pinheiro. Corpo negro caído no chão. Op. cit. p. 70. 39 MATTOSO, Ana Carolina Da vadiagem ao “rolezinho”, do samba ao 150 bpm: lazer de preto não é direito, é crime. In: Rebelião. FLAUZINA, Ana Luisa Pinheiro; PIRES, Thula. (Org.) Brasilia: Brado Negro, Nirema, 2020. p. 67. PANORAMA > RACISMO ALGORÍTMICO 35 os valores da sociedade urbano-industrial brasileira do século XIX. As elites temiam insurreições que as colocassem em perigo, razão pela qual nossa sociedade se construiu sob a negação e o apagamento dos divertimentos que lhes eram próprios, por meio de uma constante vigilância repressiva. Na atualidade, essa vigilância massiva ganha novos contornos com as tecnologias de aprendizado de máquina, que vimos no tópico anterior, e o fenômeno do big data. A captação, o armazenamento e a análise de dados vêm se transformando ao longo da trajetória do desenvolvimento tecnológico e têm atingido também as forças de segurança, atualizando a capacidade de controle e de renovação do racismo. A cada ano, cresce o número de pessoas e dispositivos conectados à rede mundial de computadores, crescendo também a quantidade de informação gerada e armazenada. Nesse contexto, podemos definir big data como aquilo que é realizado em larga escala que não poderia ser feito em escalas menores, para extrair percepções (insights) ou criar novas formas de valor.40 Sua potência, portanto, 40 36 MAYER-SCHONBER, Viktor. Big data: a revolution that will transform how we live, work and think. New York: Eamon Dolan/ Houghton Mifflin Harcourt, 2014, p. 6. PANORAMA > RACISMO ALGORÍTMICO comporta a extração de valor de informações em larga escala. Não é a quantidade massiva de dados que forma o diferencial do big data, mas aquilo que pode ser feito a partir da extração dessas informações. Atividades de inteligência, portanto, realizadas com base em dados. Big data é, portanto, menos sobre dados e mais sobre a capacidade de pesquisa, agregação e referência cruzada de grandes conjuntos de dados41. Assim, o uso desse tipo de tecnologia gera preocupações, sobretudo quando aplicado às atividades de segurança pública no contexto brasileiro. O Big Data tem sido utilizado no campo da prevenção e controle de segurança pública, situação em que é mobilizado para refletir de forma abrangente as características quantitativas do crime, peculiaridades do tempo e do espaço em que ele se insere, além de eventuais processos de mudança observáveis dentro de um período. Alguns autores têm denominado esse campo de atuação como Big Data Criminal, cujo valor se reflete principalmente em 41 BOYD, Danah; CRAWFORD, Kate. Critical questions for Big Data. Information. Communication & Society. Volume 15, 2012, Issue 5. 10 mai 2012. Disponível em: < https://www.tandfonline. com/doi/abs/10.1080/1369118X.2012.678878> Acesso em 15 de fevereiro de 2023. PANORAMA > RACISMO ALGORÍTMICO 37 práticas consideradas inovadoras para a prevenção de crimes.42 A aplicação de modelagem por computadores a dados criminais passados para predizer atividade criminal futura tem sido alvo de diversas críticas no cenário internacional, sobretudo com as denúncias de estereótipos racistas sendo reforçados por esse tipo de tecnologia. Ganhou destaque em 2016 uma matéria da ProPublica43 que denunciou práticas racistas no COMPAS, sigla em inglês para o que pode ser traduzido como Gerenciamento de Perfis de Infratores no Sistema Penitenciário para Sanções Alternativas. O sistema utiliza modelos matemáticos e algoritmos para aferir o grau de periculosidade de criminosos em apoio à tomada de decisões judiciais em alguns estados da 38 42 CAI, Yijun; LI, Dian; WANG, Yuyue. Intelligent Crime Prevention and Control Big Data Analysis System Based on Imaging and Capsule Network Model. Neural Processing Letters. Springer Nature, 30 de abril de 2020. Disponível em: < https://link.springer.com/article/10.1007/s11063-020-102561>. Acesso em: 15 de fevereiro de 2023. 43 ProPublica é uma corporação sem fins lucrativos com sede em Nova York. Descreve-se como uma redação independente que produz jornalismo investigativo de interesse público. Cf. ABOUT us. ProPublica. Net. Disponível em: < https://www. propublica.org/about>. Acesso em 15 de dezembro de 2020. PANORAMA > RACISMO ALGORÍTMICO federação nos Estados Unidos, a exemplo de Nova York, Wisconsin, Califórnia, Flórida, entre outros. O seu escopo é determinar a pena de condenados e, por sua vez, tornar as sentenças supostamente mais justas. O software funciona por meio de um questionário com a atribuição de um sistema de pontos, o qual se descobriu conceder uma pontuação consideravelmente maior para infratores de minorias étnicas.44 Um dos exemplos mais evidentes de racismo relatados na matéria foi a comparação do grau de periculosidade aferido entre pessoas negras e brancas com características bem diferentes. No primeiro caso, à esquerda da imagem a seguir, duas pessoas cometeram pequenos furtos: Vernon Prater, um homem branco, e Brisha Borden, uma mulher negra. Ambos já tinham passagens pela polícia, de modo que Vernon tinha em seu registro dois assaltos à mão armada e uma tentativa de assalto à mão armada, além de ter histórico de reincidência em roubo, algo semelhante ao roubo majorado no sistema brasileiro. Por outro 44 ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine bias: there’s software used across the country to predict future criminals. And it’s biased against black. Propublica. 23 de maio de 2016. Disponível em: < https://www.propublica. org/article/machine-bias-risk-assessments-in-criminal-sentencing>. Acesso em 15 de dezembro de 2020. PANORAMA > RACISMO ALGORÍTMICO 39 lado, Brisha tinha em seu histórico quatro crimes de menor potencial ofensivo quando ainda era adolescente, sem nenhum outro tipo de reincidência. O sistema apontou Vernon como potencial de baixo risco, recebendo nota 3, enquanto Brisha obteve nota 8. O segundo caso foi ainda mais escandaloso. Dois homens foram acusados de crime de posse de drogas: Dylan Fugett, um homem branco, e Bernard Parker, um homem negro. Dylan tinha passagem na polícia por tentativa de roubo e reincidência com três posses de droga, enquanto Bernard tinha em seu histórico apenas uma resistência à abordagem policial sem violência, sem nenhuma reincidência. Dylan foi considerado um sujeito de baixo risco com nota 3, enquanto Bernard foi considerado pelo algoritmo como elemento de alto risco, com nota 10. 40 PANORAMA > RACISMO ALGORÍTMICO O policiamento preditivo é um tipo de tecnologia que reforça vieses discriminatórios por essência, uma vez que as atividades de inteligência não se dão apartadas de uma estrutura social e institucional racista. Infelizmente, desde 2021 a ideia vem ganhando força perante as forças de segurança e hubs de desenvolvimento no Brasil. O Instituto Igarapé, por exemplo, chegou a lançar no mesmo ano um edital com o intuito de selecionar cinco municípios brasileiros para testagem de sua ferramenta tecnológica chamada CrimeRadar45, que prometia prever a ocorrência de crimes como forma de potencializar os recursos das forças de segurança, enquanto mitigaria potenciais impactos sociais negativos em populações vulneráveis. A iniciativa sofreu diversas críticas da sociedade civil e de ativistas devido à ausência de informações precisas sobre como os dados seriam levantados, armazenados e compartilhados, ou mesmo sobre os meios que viabilizariam essa mitigação de violência. Sem informações conclusivas por parte do instituto, e após pressão da sociedade civil, o projeto foi suspenso por tempo indeterminado. 45 Disponível em: <https://igarape.org.br/apps/crimeradar/>. Acesso em: 01 de novembro de 2023. PANORAMA > RACISMO ALGORÍTMICO 41 Ao contrário da proposta de policiamento preditivo, outra tecnologia que tem servido à atualização da vigilância sobre corpos negros tem crescido exponencialmente no Brasil: o reconhecimento facial. O reconhecimento facial é uma tecnologia de identificação biométrica realizada a partir da coleta de dados faciais, que podem ser provenientes de fotografias ou segmentos de vídeos. Esses sistemas automatizados extraem representações matemáticas de traços faciais específicos como, por exemplo, a distância entre os olhos ou o formato do nariz, produzindo o que é chamado de padrão facial. É justamente no processo de comparação desse padrão facial a outros padrões faciais contidos na base de dados prévia do sistema que a tecnologia identifica indivíduos desconhecidos – como é o caso das câmeras de monitoramento nas ruas – ou autentica pessoas conhecidas – a exemplo do desbloqueio de celulares com Face ID e da validação de contas bancárias em smartphones.46 46 42 KREMER, Bianca. Reconhecimento facial no Brasil: uma perspectiva de raça e gênero. Coding Rights Medium. Rio de Janeiro, 7 de fevereiro de 2022. Disponível em: <https://medium.com/ codingrights/reconhecimento-facial-no-brasil-uma-perspectiva-de-ra%C3%A7a-e-g%C3%AAnero-9fe027c3a176>. Acesso em: 15 de fevereiro de 2023. PANORAMA > RACISMO ALGORÍTMICO O Brasil estreou o uso de tecnologias de reconhecimento facial na área de segurança pública oficialmente em 2018. Após um ano de experiências em cinco estados do Brasil e monitoramento dos casos de prisões e abordagens policiais, a Rede de Observatórios da Segurança publicou levantamento demonstrando que 90,5% dos presos por monitoramento facial no Brasil eram negros,47 no contexto de uma sociedade em que 56% da população é autodeclarada negra, categoria composta por pretos e pardos.48 A despeito disso, até 2021 a tecnologia já era adotada por vinte estados brasileiros.49 Em julho de 2019, foi amplamente noticiado em jornais de grande circulação que o sistema utilizado 47 NUNES, Pablo. Exclusivo: levantamento revela que 90,5% dos presos por reconhecimento facial no Brasil são negros. The Intercept. 21 nov 2019. Disponível em: < https://theintercept. com/2019/11/21/presos-monitoramento-facial-brasil-negros/> Acesso em: 27 de janeiro de 2021. 48 Desigualdades sociais por cor ou raça no Brasil em 2022. IBGE. Disponível em < https://www.ibge.gov.br/estatisticas/ sociais/populacao/25844-desigualdades-sociais-por-cor-ou-raca. html?=&t=resultados>. Acesso em 15 de fevereiro de 2023. 49 DAMASCENO, Victoria. FERNANDES, Samuel. Sob críticas reconhecimento facial chega a 20 Estados brasileiros. Valor Econômico, 10 de julho de 2021. Disponível em: < https:// valor.globo.com/brasil/noticia/2021/07/10/sob-crticas-reconhecimento-facial-chega-a-20-estados-do-pas.ghtml>. Acesso em: 15 de fevereiro de 2023. PANORAMA > RACISMO ALGORÍTMICO 43 pela polícia do Rio de Janeiro em caráter experimental abordou equivocadamente uma mulher como procurada pela Justiça na orla de Copacabana.50 Dias depois, descobriu-se que a criminosa procurada já estava presa havia quatro anos – um indício de que o banco de dados utilizado detinha graves problemas de atualização, e que a abordagem policial se deu de maneira amplamente enviesada. Este foi apenas um de diversos outros casos em que o sistema levou policiais da cidade a prender pessoas por engano com o uso da tecnologia de reconhecimento facial51. O estado de São Paulo vem travando algumas das disputas mais intensas em matéria de uso de reconhecimento facial nos espaços públicos e para fins de segurança pública. Lá, foi lançado, em 2022, o edital do Smart Sampa, um projeto que prevê a instalação de 20 mil câmeras com monitoramento facial até 2024, com um investimento de R$70 milhões por ano. 44 50 WERNECK, Antonio. Reconhecimento facial falha em segundo dia, e mulher inocente é confundida com criminosa já presa. O Globo. 11 de julho de 2019. Disponível em: < https://oglobo. globo.com/rio/reconhecimento-facial-falha-em-segundo-dia-mulher-inocente-confundida-com-criminosa-ja-presa-23798913>. Acesso em: 28 de janeiro de 2021. 51 ALMEIDA, Emily. Homem é preso por engano em Copacabana. Band. 24 de julho de 2019. Disponível em: <https://bandnewsfmrio.com.br/editorias-detalhes/homem-e-preso-por-engano-em-copacabana> Acesso em: 15 de fevereiro de 2023. PANORAMA > RACISMO ALGORÍTMICO Vale lembrar que o reconhecimento facial e seu potencial para a violação de direitos já está em pauta desde 2019 na região, quando a SPTrans decidiu instalar um sistema de câmeras com reconhecimento facial no metrô com o argumento de facilitar a identificação de suspeitos de crimes, fugitivos e até pessoas desaparecidas. Empresas da França e Irlanda desenvolveram o projeto, estimando o alcance diário na média de 3,5 milhões de usuários do transporte, ao custo de R$ 58 milhões. Diversas entidades de defesa dos direitos do cidadão e do consumidor ingressaram com ação judicial no intuito de interromper o projeto, sem sucesso. O vigilantismo, o controle e a aplicação de violência sobre os corpos e em territorialidades negras no Brasil, pelo poder público, informam uma herança do período colonial que se desdobra até os dias atuais, na forma de perfilamento racial e tradição racista das instituições policiais e de órgãos do sistema de justiça. Esse cenário ganha novos contornos com a massiva adoção de aparatos tecnológicos pelos órgãos de segurança pública em todo o país, ainda que as falhas nesses processos sejam constantemente demonstradas por ativistas, instituições de pesquisa, organizações de defesa de direitos e outros agentes sociais. PANORAMA > RACISMO ALGORÍTMICO 45 Considerações Finais A raça opera a produção da política e a aplicação do direito sob uma densa armadura institucional de neutralidade racial. É no cenário da realidade punitivista brasileira que as tecnologias de aprendizado de máquina vêm ganhando cada vez mais espaço em instituições – gerando também grande preocupação – com a promessa de soluções em caráter de securitização, de vigilância e, até mesmo, de otimização de serviços públicos e privados. Em uma sociedade marcada pelo racismo por denegação, como a brasileira, o racismo algorítmico encontra solo fértil para reproduzir seus efeitos nefastos. À luz do discurso de neutralidade das tecnologias e da supremacia das capacidades técnicas perante as falibilidades humanas nos processos de tomada de decisão, são delegadas cada vez mais decisões estratégicas às soluções tecnológicas, sem atenção aos aspectos éticos e impactos sociais que elas desencadeiam. A adoção de novas tecnologias e as promessas de transformação social que elas carregam fazem parte da projeção de futuros possíveis, especialmente em 46 PANORAMA > RACISMO ALGORÍTMICO um país como o Brasil, amplamente marcado pela desigualdade social e pela hierarquização da humanidade de seus cidadãos. No entanto, quando a tecnologia, em sua produção e em seu uso, é camuflada de universalidade, ela se torna incapaz de produzir emancipação para sujeitos e experiências que não foram levados em consideração no seu desenvolvimento e na conformação do seu conteúdo. Como vimos, os vieses algorítmicos se expressam nos processos de codificação e uso da tecnologia, enquanto o racismo algorítmico produz efeitos na aplicação de tecnologias de aprendizagem automática em larga escala. O racismo algorítmico reproduz desigualdades políticas, econômicas e jurídicas próprias do racismo estrutural, e não de falibilidades pontuais no uso e na produção da tecnologia em cada caso concreto. Existe uma trajetória histórica de seletividade racial no país, em especial no campo da segurança pública. A população negra ainda enfrenta os efeitos das tecnologias de dominação colonial sob o espectro da vigilância, agora com o uso de novos aparatos tecnológicos. Essas tecnologias de dominação, ontem e hoje, condicionam seu trânsito no espaço público e as condições de possibilidade para o acesso a bens e PANORAMA > RACISMO ALGORÍTMICO 47 serviços de toda sorte, e conformam suas condições de possibilidade de ser, estar e bem viver. À medida que os algoritmos assumem cada vez mais aspectos da vida social em larga escala, também replicam violências e estereótipos discriminatórios presentes no tecido social, afinal, os modelos matemáticos não são neutros, eles engendram disputas políticas. Evgeny Morozov afirma acertadamente que aquele que domina a tecnologia mais avançada domina o mundo52. Olhando para o contexto brasileiro e para o fenômeno do racismo algorítmico, o parafraseamos: quem domina a narrativa do uso dos dados também domina as disputas políticas que os modelos matemáticos afirmam. 52 48 MOROZOV, Evgeny. Big tech: a ascensão dos dados e a morte da política. Trad. Claudio Marcondes. São Paulo: Ubu Editora, 2018, p. 11. PANORAMA > RACISMO ALGORÍTMICO Indicações de leitura ALMEIDA, Silvio. O que é racismo estrutural. Coleção Feminismos Plurais. Djamila Ribeiro (Org.) São Paulo: Sueli Carneiro; Pólen, 2019. FLAUZINA, Ana Luiza Pinheiro. Corpo negro caído no chão. O sistema penal e o projeto genocida do Estado brasileiro. Rio de Janeiro: Contraponto, 2008. FAUSTINO, Deivison; LIPPOLD, Walter. Colonialismo digital: por uma crítica hacker-fanoniana. São Paulo: Ed. Raízes da America, 2022. GONZALEZ, Lélia. A categoria político-cultural de amefricanidade. In: Tempo Brasileiro. Rio de Janeiro, nº. 92/93 (jan/jun). 1988, pp.69-82. O’NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Trad. Rafael Abraham. 1ª Ed. Santo Andre: Editora Rua do Sabão, 2020. SILVA, Tarcizio. Racismo algorítmico: inteligência artificial e discriminações nas redes digitais. In: AMADEU, Sergio (Org.) Col. Democracia Digital. 2021. PANORAMA > RACISMO ALGORÍTMICO 49 Referências bibliográficas ALMEIDA, Silvio. O que é racismo estrutural. Coleção Feminismos Plurais. Djamila Ribeiro (Org.) São Paulo: Sueli Carneiro; Pólen, 2019. ALMEIDA, Emily. Homem é preso por engano em Copacabana. Band. 24 de julho de 2019. Disponível em: < https://bandnewsfmrio.com.br/ editorias-detalhes/homem-e-preso-por-engano-em-copacabana> Acesso em: 15 de fevereiro de 2023. ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine bias: there’s software used across the country to predict future criminals. And it’s biased against black. Propublica. 23 de maio de 2016. Disponível em: < https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>. Acesso em 15 de dezembro de 2020. BOYD, Danah; CRAWFORD, Kate. Critical questions for Big Data. Information. Communication & Society. Volume 15, 2012, Issue 5. 10 mai 2012. Disponível em: < https://www.tandfonline.com/doi/abs/10.1080/13691 18X.2012.678878> Acesso em: 15 de fevereiro de 2023. BREY, Philip; Soraker, Johnny. Philosophy of Computing and Information Technology. In A. Meijers (Ed.), Philosophy of Technology and Engineering Sciences (pp. 1341-1408). (Handbook of the Philosophy of Science; Vol. 9, No. IX). Amsterdam: Elsevier. 2009. Disponível em: < https://linkinghub. elsevier.com/retrieve/pii/B9780444516671500513>. Acesso em 27 de abril 2020. BUOLAMWINI, Joy. When the robot doesn’t see dark skin. MIT Media Lab. 21 de junho de 2018. Disponível em: < https://www.media.mit.edu/articles/ when-the-robot/>. Acesso em: 29 de janeiro de 2021. CAI, Yijun; LI, Dian; WANG, Yuyue. Intelligent Crime Prevention and Control Big Data Analysis System Based on Imaging and Capsule Network Model. Neural Processing Letters. Springer Nature, 30 de abril de 2020. Disponível em: < https://link.springer.com/article/10.1007/ s11063-020-10256-1>. Acesso em: 15 de fevereiro de 2023. 50 PANORAMA > RACISMO ALGORÍTMICO COPPIN, Ben. Inteligência artificial. Trad, e rev. Jorge Duarte Pires Valério. Rio de Janeiro: LTC, 2017. CURIEL, Ochy. CURIEL, Ochy. “De las Identidades a las Imbricación de las opresiones: Desde La experiencia.” In Encrespando. Anais do I Seminário Internacional: Refletindo a Década Internacional dos Afrodescentendes (ONU, 2015-2024) / FLAUZINA, Ana; PIRES, Thula (org.). Brasília: Brado Negro, 2016. CUTHBERTSON, Anthony. Self-driving cars more likely to drive into black people, study claims. Independent. 6 de março de 2019. Disponível em: < https://www.independent.co.uk/life-style/gadgets-and-tech/news/self-driving-car-crash-racial-bias-black-people-study-a8810031.html>. Acesso em: 15 de fevereiro de 2023. DAMASCENO, Victoria. FERNANDES, Samuel. Sob críticas reconhecimento facial chega a 20 Estados brasileiros. Valor Econômico, 10 de julho de 2021. Disponível em: < https://valor.globo.com/brasil/noticia/2021/07/10/ sob-crticas-reconhecimento-facial-chega-a-20-estados-do-pas.ghtml>. Acesso em: 15 de fevereiro de 2023. FLAUZINA, Ana Luiza Pinheiro. Corpo negro caído no chão. O sistema penal e o projeto genocida do Estado brasileiro. Rio de Janeiro: Contraponto, 2008. FLORIDI, Luciano; MITTELSTADT, Brent Daniel; ALLO, Patrick; et al. The ethics of algorithms: mapping the debate. Oxford Internet Institute. Big Data and society: Londres, Jul-Dec 2016, p. 1-21. GOMES, Laurentino. Escravidão. v.1. Rio de Janeiro: Globo Livros, 2019. GONZALEZ, Lélia. A categoria político-cultural de amefricanidade. In: Tempo Brasileiro. Rio de Janeiro, nº. 92/93 (jan/jun). 1988, pp.69-82. HAO, Karen. A US government study confirms most face recognition systems are racist. MIT Technology Review. Dezembro de 2020. Disponível em: < https://www.technologyreview.com/2019/12/20/79/ai-face-recognition-racist-us-government-nist-study/> . Acesso em 30 de janeiro de 2021. HUMAN Development Report 2019. United Nations Development Programme. Disponível em: < http://hdr.undp.org/en/2019-report/download>. Acesso em: 27 de janeiro de 2021. PANORAMA > RACISMO ALGORÍTMICO 51 IBGE. Desigualdades sociais por cor ou raça no Brasil em 2022. Junho de 2022. Disponível em < https://www.ibge.gov.br/estatisticas/sociais/populacao/25844-desigualdades-sociais-por-cor-ou-raca.html?=&t=resultados>. Acesso em 15 de fevereiro de 2023. KREMER, Bianca. Direito e tecnologia em perspectiva amefricana: autonomia, algoritmos e racialidade. 2021. Doutorado. Tese de doutorado. Faculdade de Direito. Pontifícia Universidade Católica do Rio de Janeiro. Rio de Janeiro, 31 de março de 2021. Disponível em: <https://www.maxwell.vrac.puc-rio. br/58993/58993.PDF> Acesso em: 15 de fevereiro de 2023. ______. Reconhecimento facial no Brasil: uma perspectiva de raça e gênero. Coding Rights Medium. Rio de Janeiro, 7 de fevereiro de 2022. Disponível em: <https://medium.com/codingrights/reconhecimento-facial-no-brasil-uma-perspectiva-de-ra%C3%A7a-e-g%C3%AAnero-9fe027c3a176>. Acesso em: 15 de fevereiro de 2023 LEDFORD, Heidi. Millions of black people affected by racial bias in health-care algorithms. Nature. 24 de outubro de 2019. Disponível em: < https:// www.nature.com/articles/d41586-019-03228-6> Acesso em: 15 de fevereiro de 2023. LEE, Dave. AirBnB racismo claim: african-american less likely to get rooms. BBC News. 12 de dezembro de 2015. Disponível em: < https://www.bbc. com/news/technology-35077448> Acesso em: 15 de fevereiro de 2023. MATTOSO, Ana Carolina. Da vadiagem ao “rolezinho”, do samba ao 150 bpm: lazer de preto não é direito, é crime. In: Rebelião. FLAUZINA, Ana Luisa Pinheiro; PIRES, Thula. (Org.) Brasilia: Brado Negro, Nirema, 2020. MAYER-SCHONBER, Viktor. Big data: a revolution that will transform how we live, work and think. New York: Eamon Dolan/Houghton Mifflin Harcourt, 2014. MBEMBE, Achille. Necropolítica. São Paulo: Ubu Editora, 2018. MOREIRA, Adilson José. O que é discriminação? Belo Horizonte: Letramento, 2017. MOROZOV, Evgeny. Big tech: a ascensão dos dados e a morte da política. Trad. Claudio Marcondes. São Paulo: Ubu Editora, 2018. 52 PANORAMA > RACISMO ALGORÍTMICO NOBLE, Safiya Umoja. Algorithms of oppression: how search engines reinforce racism. New York: NYU Press, 2018. NUNES, Pablo. Exclusivo: levantamento revela que 90,5% dos presos por reconhecimento facial no Brasil são negros. The Intercept. 21 de novembro de 2019. Disponível em: < https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros/> Acesso em: 27 de janeiro de 2021. O’NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Trad. Rafael Abraham. 1ª Ed. Santo Andre: Editora Rua do Sabão, 2020. PASQUALE, Frank. The Black Box Society. Harvard University Press, 2005. SILVA, Tarcizio. Racismo algorítmico: inteligência artificial e discriminações nas redes digitais. In: AMADEU, Sergio (Org.) Col. Democracia Digital. 2021. ______. Racismo algorítmico em plataformas digitais: microagressões e discriminação em código. In: Comunidades, algoritmos e ativismos digitais. Tarcizio Silva (Org.) São Paulo: LiteraRua, 2020, p. 130. VARGAS, João Helion Costa. A Diáspora Negra como Genocídio. REVISTA DA ABPN, no. 2, Ju.- Out. 2010, p.31-56. VIEIRA, Carla. Vieses e a importância de sempre se analisar o cenário completo. Carlavieira.dev, São Paulo: 14 de abril de 2019. Disponível em: < https://www.carlavieira.dev/blog/9-26-vieses-e-a-import%C3%A2ncia-de-sempre-analisar-o-cen%C3%A1rio-completo/>. Acesso em: 15 de fevereiro de 2022. LEE, Kai-Fu. AI Superpowers: China, Silicon Valley and the New World Order. Boston: Houghton Mifflin Harcourt, 2018. WERNECK, Antonio. Reconhecimento facial falha em segundo dia, e mulher inocente é confundida com criminosa já presa. O Globo. 11 de julho de 2019. Disponível em: < https://oglobo.globo.com/rio/reconhecimento-facial-falha-em-segundo-dia-mulher-inocente-confundida-com-criminosa-ja-presa-23798913>. Acesso em: 28 de janeiro de 2021. ZUBOFF, Shoshana. Big Other: surveillance capitalism and the prospects of an information civilization. Journal of Information Technology, v.30, 2015, p. 75-89. PANORAMA > RACISMO ALGORÍTMICO 53 FICHA TÉCNICA O PANÓPTICO: MONITOR DO RECONHECIMENTO FACIAL NO BRASIL Um projeto do Centro de Estudos de Segurança e Cidadania (CESeC) Coordenação do CESeC Julita Lemgruber Silvia Ramos Pablo Nunes Coordenadora Adjunta Mariana Siracusa EQUIPE DO PANÓPTICO Coordenador Pablo Nunes Coordenadora de Pesquisa Thallita G. L. Lima Pesquisadoras Yasmin Rodrigues Thaís Gonçalves Cruz Estagiário de pesquisa Rodrigo Raimundo Coordenador de Comunicação Caio Brasil Comunicação Fabiano Soares Renato Cafuzo Arte da capa Caio Brasil e Renato Cafuzo Design Refinaria Design 54 PANORAMA > RACISMO ALGORÍTMICO FALE COM A GENTE contatopanoptico@cesecseguranca.com.br @opanopticobr opanoptico.com.br APOIO OPEN SOCIETY FOUNDATION FORD FOUNDATION COMO CITAR: KREMER, Bianca. Racismo Algorítmico [Coleção Panorama]. Org. Thallita G. L. Lima; Pablo Nunes. Rio de Janeiro: CESeC, 2023. O Panóptico é um projeto do Centro de Estudo de Segurança e Cidadania – CESeC - que monitora a adoção da tecnologia de reconhecimento facial pelas instituições de segurança pública do Brasil. Desde 2018, o CESeC tem acompanhado os efeitos do uso de reconhecimento facial pelas polícias, tendo revelado no primeiro levantamento que cerca de 90% das pessoas presas com o uso dessa tecnologia eram negras. O projeto agora tem por foco estudar os casos de adoção de tecnologias policiais nos estados e municípios brasileiros, além de apresentar o papel de governos e empresas no financiamento e na oferta dessa tecnologia. Todos os dados utilizados pela pesquisa serão disponibilizados para o público geral. Além do monitoramento dos projetos, o Panóptico também tem por objetivo comunicar de maneira abrangente sobre os riscos do uso de reconhecimento facial e seus vieses para a população negra.