A Campanha de Ódio contra The Last of Us Part II Philipe Melo1 , Clara Pimentel2 Departamento de Ciência da Computação – Universidade Federal de Minas Gerais (UFMG) 2 Departamento de Comunicação Social – Universidade Federal de Minas Gerais (UFMG) Belo Horizonte – MG – Brasil philipe@dcc.ufmg.br, clarapimentel@ufmg.br Abstract. Hate speech is a problem on social media and many platforms look for means to fight this type of toxic behaviour, with automatic mechanisms or user feedback. However, users find ways to bypass these moderation systems and attack communities and people online. In this work, we explore one of the tactics used by online groups to spread hatred against marginalized groups while boycotting products and services: “review bombing”. For this, we collect user ratings and comments on Metacritic for the game The Last of Us Part II, as well as comments about the game on Youtube and Twitter, in order to measure the toxicity in them and understand how people coordinate campaigns guided by hate and what are the implications of this type of activism. Keywords: hate speech, Last of Us, toxicity, metacritic, social networks, game reviews Resumo. O discurso do ódio é um problema nas redes sociais e muitas plataformas procuram meios de combater este tipo de comportamento tóxico, com mecanismos automáticos ou com feedbacks do usuário. No entanto, usuários encontram formas de contornar esses sistemas de moderação para atacar comunidades e pessoas online. Neste trabalho, exploramos uma das táticas usadas por grupos online para espalhar o ódio contra grupos marginalizados enquanto boicotam produtos e serviços: o “review bombing”. Para isso, coletamos avaliações e comentários de usuários no Metacritic para o jogo The Last of Us Part II, assim como comentários sobre o jogo no Youtube e Twitter, a fim de mensurar a toxicidade neles e entender como são coordenadas as campanhas pautadas pelo ódio e quais são as implicações desse tipo de ativismo. Palavras-chave: discurso de ódio, Last of Us, toxicidade, metacritic, redes sociais, review de jogos 1. Introdução The Last of Us Part II (TLoU2) (2020), da Naughty Dog, é o segundo jogo de uma série aclamada pelo público e foi um dos lançamentos mais aguardados pelos jogadores em 2020. Poucas horas após sua estreia, em 19 de junho de 2020, já contava com mais de 10 mil avaliações no site Metacritic1 , o que parece corroborar com a grande expectativa em torno do game. Contudo, o que se viu no lançamento foi uma avalanche de comentários negativos, carregados de discurso de ódio contra o jogo, suas personagens e sua equipe de produção [Croft 2020]. Ainda que tenha recebido vários prêmios em 2020, como melhor jogo do ano, muitos jogadores não parecem ter compartilhado dessa opinião, descarregando uma série de notas baixas e comentários tóxicos nas redes sociais para TLoU2. Embora TLoU2 não esteja isento de crı́ticas, a obra é marcada pela rica experiência narrativa que entrega, aprofundando-se no universo previamente estabelecido pelo primeiro jogo e o expandindo, enquanto explora as diferentes visões das personagens, suas 1 Disponı́vel em: https://www.metacritic.com/. vidas, e suas relações [Park 2020]. São estes os pontos que deixaram uma parcela do público descontente: a insatisfação com a morte de Joel, junto ao deslocamento do protagonismo para Ellie e Abby, além das representações dos corpos femininos e relações LGBTQIA+, os quais consideram inadequados [Rocha and Fantini 2020]. Como forma de protesto, reclamaram veementemente nas redes sociais. As postagens crı́ticas à TLoU2 foram acompanhadas – ou consistiam apenas – de comentários tóxicos dos mais diversos tipos. Discursos de ódio de cunho misógino, homofóbico e transfóbico alvejaram o jogo, seu diretor e a atriz que interpretou Abby, Laura Bailey. Essas mensagens inundaram plataformas como o Twitter e, principalmente, o Metacritic e YouTube, que contam com sistemas de avaliação de conteúdos [Nunneley 2020] [Tassi 2020]. Os usuários se organizaram em “campanhas de dislike”, dando notas baixas para o jogo no Metacritic e Youtube. Essa ação coordenada, promovida por um grande grupo de usuários que avalia negativamente produtos e obras em plataformas online através de votos e comentários, é conhecida como Review Bombing. TLoU2 foi alvo de tal campanha em 2020, mas isso é prática frequente contra outros jogos. Em 2012, no Metacritic, o jogo Mass Effect 3 (2012) foi atacado por usuários; a situação foi identificada pela plataforma como um esforço unificado e levou à eliminação de vários comentários2 . Já no Youtube, em 2018, o trailer oficial de Diablo Immortal (2022) foi objeto de uma das maiores campanhas de dislikes na internet, chegando ao terceiro lugar no ranking de vı́deos mais negativados do site3 . Enquanto alguns consideram o review bombing como uma forma legı́tima de ativismo gamer que demonstra insatisfação com os jogos ou com a companhia, grande parte dessas campanhas é acompanhada de controvérsias e carregam conteúdos tóxicos que afetam a comunidade e as pessoas envolvidas. Durante o lançamento e recepção do jogo, parte da equipe de TLoU2 recebeu ameaças online e foi assediada nas redes sociais, em meio às supostas “crı́ticas” ao jogo4 . Embora a toxicidade e ódio não sejam problemas inéditos no universo gamer, suas manifestações em plataformas online afetam imensamente os jogos digitais e jogadores, e os esforços para impedir isso não tem sido suficientes. Dito isso, neste trabalho realizamos um levantamento quantitativo da repercussão do jogo TLoU2 na web durante sua primeira semana de lançamento e examinamos o discurso de ódio visto nos reviews e comentários. Levantamos os tópicos, notas e toxicidade dos enunciados e, usando a lente dos game studies, delineamos alguns comportamentos dos usuários. Por fim, evidenciamos como as táticas adotadas pelos ativistas para atingir os jogos e o modo como lidam com as plataformas são adjacentes à lógica do jogar, demonstrando uma gamificação das redes sociais investigadas por parte dos usuários. Esperamos que, com isso, sejamos capazes de compreender melhor as dinâmicas desses espaços e pensar em estratégias para evitar tais comportamentos. 2. Discurso de Ódio em Jogos Discurso de ódio em jogos é um tema recorrente que levanta a preocupação de vários pesquisadores, tanto em relação a sua manifestação interna nos jogos [Pimentel and Melo 2 Metacritic Says It Has Removed Rule-Violating Mass Effect 3 User Reviews. Disponı́vel em: ¡https://kotaku.com/metacritic-says-it-has-removed-rule-violating-mass-effe-5891060¿. Acesso em 4 de julho de 2022. 3 Disponı́vel em: http://disq.us/t/48lsw5k 4 The Last of Us 2 dev Naughty Dog condemns harassment, death threats Disponı́vel em: ¡https: //bit.ly/3HL365u¿ 2020] e na comunicação entre jogadores [Flores and Real 2018], quanto suas repercussões fora dos games, como no caso do #GamerGate (GG). Os participantes do #GamerGate tem a tendência de apoiar conteúdo sexual e objetificado de personagens femininas, projetando uma visão machista sobre os jogos. Comentários racistas também eram comumente publicados em 4chans e Reddits GG. Outra caracterı́stica marcante do grupo é a auto-vitimização, em que os jogadores se portam como mártires e discutem teorias sobre o fim da “cultura gamer” [Mortensen 2018]. Encaixando-se nesse cenário, o jogo The Last of Us Part II foi alvo de ataques transfóbicos e misóginos, com ênfase na personagem Abby e sua corporeidade fora da norma [Rocha and Fantini 2020]. A sexualidade da personagem foi fortemente questionada, além de seu lugar na narrativa do game, julgada como inverossı́mil pelos usuários. A morte de Joel foi encarada por muitos jogadores como uma ameaça à hegemonia masculina na franquia. Apontando para a relação entre os jogadores que atacaram TLoU2 e apoiadores do #GamerGate, [Tomaselli et al. 2021] exploraram também os reviews do jogo, percebendo uma grande polarização ideológica causada pelo review bombing, marcado por posicionamentos negativos contrários a pessoas LGBTQIA+. É sabido que os indivı́duos engajados no #GamerGate utilizaram de várias redes sociais para “demonstrar sua insatisfação” a respeito da indústria dos jogos. Sobre isso, [Chatzakou et al. 2017a] demonstram que, diferente do esperado, os usuários no Twitter afiliados ao #GamerGate não são muito mais raivosos que o usuário padrão, entretanto demonstram menos felicidade que os demais. Além disso, os usuários GG são mais ativos e são menos penalizados por seu comportamento abusivo. Os pesquisadores atribuem essa falta de responsabilização à dificuldade da plataforma em detectar e combater as atividades. Aprofundando-se no modo como jogadores interagem com as plataformas de avaliação e explorar o gênero de resenhas produzidas, [Thominet 2016] coletou e analisou reviews postados em sites de venda de jogos e de divulgação, como Steam e Metacritic. Alguns resultados são interessantes para nosso trabalho: no Metacritic, a maioria das resenhas tem foco na qualidade geral do jogo e menos no enredo e narrativa. 3. Metodologia Neste trabalho, desenvolvemos uma extensa coleta de comentários sobre o jogo The Last of Us Part II de três diferentes fontes: o Metacritic, Twitter e Youtube. A seguir, detalharemos o processo de construção do corpus de dados de cada uma destas plataformas. Metacritic: O Metacritic é um dos principais agregadores de notas disponı́veis online que reúne crı́ticas de jogos, filmes, músicas, programas de televisão e livros. Para cada obra listada, o site mantém separadas as crı́ticas especializadas e as crı́ticas da comunidade, e um valor numérico que representa a nota média é computado através das avaliações recebidas. Dada a importância do Metacritic, não é surpresa ele ser utilizado como alvo para ataques. Na semana de lançamento, TLoU2 possuı́a uma nota da comunidade de 2.8 (de 0 a 10) comparado a 95 de mestascore da crı́tica especializada (de 0 a 100). Para investigar a movimentação no Metacritic, coletamos todas as crı́ticas do jogo TLoU2 postadas na plataforma, seguindo as seguintes etapas: (1) Listagem de todas as avaliações postadas na página do TLoU2 no Metacritic; (2) Coleta do conteúdo de cada uma, salvando suas informações, com texto, nota e likes; (3) Coleta da página do autor de cada avaliação, com os metadados daquele usuário. Essa coleta foi realizada 30 de Junho de 2020, com um total de 20156 avaliações. Tabela 1. Sumário dos dados coletados sobre Last of Us Part II. Fonte Metacritic Twitter Youtube Mensagens Usuários 20 156 1 006 040 17 098 19 018 421 712 12 026 Média Toxicidade 0.36 0.19 0.20 Média Likes 2.92 2.07 19.40 Perı́odo 18/06/2020 – 22/06/2020 13/06/2020 – 30/06/2020 12/06/2020 – 21/06/2020 Twitter Para construir o “dataset” de tweets sobre TLoU2, foi feito uma coleta utilizando a Stream API do Twitter5 . Com essa ferramenta, é possı́vel coletar e salvar os tweets a medida que eles são postados na plataforma, considerando um filtro a partir de uma lista de palavras-chaves que são buscadas no Twitter. Para coletar publicações relacionadas ao jogo, foram utilizados alguns termos relacionados como thelastofus, ellie e joel entre outros: Com isso, o Twitter retorna as postagens que filtradas que contenham esses termos, junto de outros metadados do tweet, como ID, data, autor, dados do autor, retweets, “replies”, “likes”, URLs, entre outros. Coletamos um total de mais de 1 milhão de tweets sobre TLoU2 foram coletados, feitos por mais de 400 mil usuários em junho de 2020. YouTube: O YouTube é outra plataforma muito utilizada para divulgação de jogos. As desenvolvedoras geralmente lançam o trailer em seu canal e os jogadores discutem a respeito na seção de comentários, podendo curtir ou descurtir o conteúdo. Dadas essas funcionalidades, o YouTube é outro alvo frequente de campanhas de negativação. O próprio TLoU2 teve seu vı́deo oficial atacado no lançamento e, por conta disto, os desenvolvedores preferiram desativar os comentários e ocultar as curtidas do seu trailer. Outros jogos da Sony ainda mantem os comentários e curtidas aberto, o que nos leva a crer que essa decisão de fecha-lo no vı́deo do TLoU2 foi devido aos ataques sofridos. Por essa razão, escolhemos outro video de lançamento de The Last of Us Part 2 para coletar suas informações. No momento de coleta desta pesquisa, o video selecionado (“The Last of Us 2 Review” postado pela IGN6 ) era um dos vı́deos sobre TLoU2 com maior número de comentários e, por isso, foi escolhido para avaliar a recepção do jogo no Youtube. Para a coleta, foi utilizada uma biblioteca para extrair dados do video7 , para baixar os comentários do video diretamente do Youtube. Com isso armazenamos todos os comentários daquele vı́deo com o autor, texto do comentário, votos (likes) que o comentário teve e a data de publicação. O video escolhido foi, então, processado por esse código em 22 de Junho de 2020, coletando um total de 17098 comentários. O vı́deo, na data de coleta possuia 1.756.451 visualizações, 44 mil curtidas e 48 mil “dislikes”. O que mostra também que era um possı́vel alvo do ativismo de ódio. A Tabela 1 apresenta um resumo dos conjuntos de dados coletados para nossa análise nas plataformas do Metacritic (20 mil avaliações), Twitter (1 milhão de tweets) e YouTube (17 mil comentários). Levantamento de Toxicidade: Recentemente, tem havido vários esforços para identificar o discurso de ódio online, uma vez que o problema se manifesta em diferentes sistemas e sob diferentes formas. Uma API chamada Perspective8 , criada para o combate ao comportamento tóxico online, usa modelos de aprendizado de máquina para identificar se os comentários são tóxicos ou não, fornecendo valores de toxicidade de 0 a 1. Dado que detectar adequadamente a toxicidade presente em todas as mensagens coletadas representa 5 Disponı́vel em: https://developer.twitter.com/ Disponı́vel em https://www.youtube.com/watch?v=QwreMeXlFoY 7 Disponı́vel em: github.com/egbertbouman/youtube-comment-downloader 8 Disponı́vel em: https://www.perspectiveapi.com/ 6 70% Comunidade Especializada 60% 70% 60% Usuários (%) 50% %Total 50% 40% 40% 30% 30% 20% 20% 10% 0% 10% 0 1 2 3 4 5 6 Nota de Avaliação 7 8 9 10 0% 0 5 10 15 Total Avaliações 20 25 (a) Distribuição das notas recebidas pelo TLoU2 (b) Quantidade de jogos avaliados por perfil Figura 1. Nota de avaliação dada ao jogo TLoU II pelos usuários do Metacritic. um desafio metodológico, devido ao volume e desafios da tarega, analisamos evidências de discurso de ódio nas narrativas sobre TLoU2 online por meio das pontuações tóxicas dadas pela Perspective, considerada o estado-da-arte das técnicas de detecção de ódio online e utilizadas em estudos da área [Lima et al. 2018], como, por exemplo [Chatzakou et al. 2017b] que utilizou o Perspective pra mensurar o ódio, sexismo e bullying presentes no movimento do #GamerGate. Pontuações de toxicidade inferiores a 0,4 indicam postagens improváveis de serem percebidas como tóxicas, enquanto pontuações superiores a 0,75 indicam postagens com maior probabilidade de serem tóxicas. Além disso, a ferramenta retorna também o idioma do texto analisado e outros aspectos de toxicidade, como insultos, ataques a identidade, ameaças, entre outros. 4. Identificando o Ativismo de Ódio Geralmente, em trabalhos sobre discurso de ódio, o maior foco é no conteúdo do texto compartilhado. Entretanto, esse comportamento tóxico tem acontecido cada vez mais de forma coordenada nas plataformas online, muitas vezes camuflado em campanhas de boicote que visam invalidar visões alternativas de mundo propostas por alguns jogos. Desta forma, é preciso atentar a outras dinâmicas que esta forma de ativismo de ódio utiliza para atacar e prejudicar seus alvos. Com a guerra cultural que vivemos hoje, uma das preocupações mais relevantes é como esse tipo de movimento antagoniza mulheres, pessoas LGBTQI+ e não-brancas no meio gamer. Esses grupos online abusam de mecânicas das plataformas (como o botão de dislike do Youtube, ou as notas do Metacritic) para validar seu ponto de vista. Ao traduzir suas convicções em métricas algorı́tmicas, os significados que estes números trazem refletem diretamente no “discurso vencedor” nesta disputa narrativa e, os resultados disto podem ser tão ou piores que o próprio teor dos textos de ódio. Ao incentivar usuários a clicar num botão e fazer comentários, cria-se uma espécie de competição online, ou mesmo uma e “gamificação” das redes sociais, uma vez que comentários com maior visibilidade são aqueles com mais curtidas e a nota no site vira um veredito sobre a qualidade do jogo em questão. Com nosso dados coletados sobre TLoU2, podemos claramente observar essa mobilização. No momento da coleta, o video no Youtube contava com 44mil likes e 48mil dislikes, exemplificando essa disputa de narrativas, que, no caso, a negativação está “ganhando”. Na Figura 1, temos a distribuição das notas do jogo recebidas pelos usuários comuns comparada com a crı́tica especializada. Note que aqui normalizamos ambas em valores de 1 a 10 para fim de comparação. Vemos uma discrepância muito grande entre os valores atribuı́dos pela crı́tica especializada (a metascore é de 9,4) e a da comunidade (3,4 no momento da coleta). Embora exista um longo campo de estudo que busque entender 1.0 800 0.8 600 0.6 CDF Curtidas recebidas (likes) 1000 400 0.4 200 0 Metacritic Youtube Twitter 0.2 0 2 4 6 Nota da Avaliação 8 10 0.0 0 100 101 102 #Likes 103 104 105 (a) Relação entre Likes e a nota de avaliação (b) CDF Likes por plataforma Figura 2. Número de curtidas por comentários em cada plataforma. essa relação entre a recepção dos jogos por crı́ticos profissionais versus pela comunidade gamer [Johnson et al. 2014], que diz que nem sempre os crı́ticos conseguem refletir muito bem a real experiência do jogador, acreditamos que não seja aqui o caso do jogo Last of Us Part II. Devido aos ataques coordenados de negativação sofrido pelos jogos vemos que valores quase que inversos entre as notas no Metacritic dada por usuários e dados por crı́ticos. Enquanto 40% e 15% dos usuários deram as notas mı́nimas de 0 e 1 para o jogo, 55% e 40% da crı́tica especializada deram notas máximas de 10 e 9, respectivamente. Além disso, quando olhamos apenas para as notas da comunidade, não vemos uma distribuição normal, e sim uma espécie de distribuição bimodal, com maiores concentrações nos valores extremos: na nota 0 e na nota 10. Esse tipo de distribuição de notas revela uma forte polarização de opiniões, evidenciando a antagonização das narrativas. Enquanto uma parcela votou positivamente dando notas altas ao jogo, outra votou de forma bem negativa, dando um zero absoluto para o jogo. Embora isso possa ocorrer em diversas situações, é um padrão muito comum em alvos de ataques online. Portanto, embora possa haver uma dissonância entre essas duas visões de jogo, principalmente entre crı́ticos e comunidade, a oposição levantada entre as notas aqui no Last of Us revela o esforço coletivo em que uma quantidade expressiva de usuários negativaram o jogo como resultado de uma forte campanha coordenada de review bombing para interferir na nota do jogo na plataforma. Outra indicação desse comportamento não natural dos usuários é quando observamos quantos jogos cada perfil avaliou no Metacritic na Figura 1. Mais de 70% dos perfis analisados possui apenas uma única avaliação na plataforma, ou seja, apenas avaliaram o jogo TLoU2. Isso indica a presença de muitas contas novas criadas somente para dar a nota baixa ao jogo. Isso é ainda mais evidente em alguns exemplos de nomes de usuários (e.g. lastofus2isass, Lastofus2sucks1, ihatelastofus2, abbythetrans). No Metacritic, cerca de 30% das resenhas possuem uma ou mais curtidas. Observando a relação entre nota dos comentários e curtidas na Figura 2a, vemos que comentários que dão baixa para o jogo receberam mais curtidas, inclusive alguns dentre os mais curtidos possuem palavrões e xingamentos. Essa funcionalidade do sistema é crucial no entendimento da atuação do review bombing. As curtidas dentro da plataformas são apontadas com os dizeres “Tantos usuários acharam isso útil”Como a nota mostrada pelo Metacritic não é uma simples média de todos comentários, e sim, uma nota ponderada que dá mais valor para usuários mais relevantes, o ranqueamento das resenhas proporciona maior peso para as notas em que a comunidade achou mais útil, portanto quando um grupo coordenado busca atacar e negativar um produto, eles não só o fazem dando a nota 2 1 3 2 1 0.0 0.2 0.4 0.6 Toxicidade (a) Toxicidade 0.8 1.0 4 3 2 Metacritic Youtube Twitter 1 0 0 0 5 Limiar de Discurso de Ódio 4 Limiar de Discurso de Ódio 3 Metacritic Youtube Twitter 5 Limiar de Discurso de Ódio Função de Densidade 4 6 Função de Densidade Metacritic Youtube Twitter 5 Função de Densidade 6 0.0 0.2 0.4 0.6 Insultos (b) Insultos 0.8 1.0 0.0 0.2 0.4 0.6 Discursoa Inflamatórios 0.8 (c) Discurso Inflamatório Figura 3. Distribuição de densidade de conteúdo ofensivo de acordo com cada modelo da Perspective API. baixa, eles também “curtem” outros comentários negativos, para tentar “enganar” o sistema e dar notoriedade aos autores da campanha de negativação em relações aos demais usuários. Com isso vemos que o ativismo de ódio não se resume a textos individuais isolados, mas pode também estar inserido em outras dinâmicas das redes sociais, exigindo um cuidado ainda maior destas plataformas na moderação de seu conteúdo. 5. Análise do conteúdo de ódio contra The Last of Us II Como nosso corpus de texto é composto de mais de um milhão de mensagens, não é possı́vel fazer uma análise manual individual de cada comentário. Porém, com o auxı́lio da ferramenta Perspective, da Google, podemos classificar cada comentário, associando a cada um, uma probabilidade de ser tóxico ou não. A ferramenta, além de notas sobre toxicidade, possui outros modelos de classificação como comentários muito ofensivos, inflamados, insultos, ameaças e ataques pessoais e de identidade. A Figura 3 mostra a distribuição de resultados de toxicidade dos comentários através da densidade de quão tóxico são os comentários em cada modelo e plataforma. É possı́vel observar que, mesmo que exista uma maior concentração com menos de 0,4 de toxicidade, existe uma quantidade não desprezı́vel de mensagens que ultrapassam o limiar de discurso de ódio, principalmente no Metacritic, que cerca de 10% dos textos coletados possuem alto valor de toxicidade. Vale lembrar que as 3 plataformas possuem formas de moderação de conteúdo e deletam, teoricamente, aquilo que atenta contra a sua polı́tica de uso. Desta forma, os dados coletados já passaram por um filtro de cada sistema e provavelmente o conteúdo mais severos já foram removidos do acesso ao público. Os resultados reportados aqui, portanto, apontam para o conteúdo que ficou disponı́vel ao público. A presença de conteúdo ofensivo nos conjuntos de dados revela, então, uma ineficiência destes sistemas para remover propriamente o discurso de ódio nocivo às pessoas da comunidade. Dado o grande volume de conteúdo presente em cada plataforma, essa análise quantitativa é de extrema importância, pois torna-se um desafio lidar com os comentários. O ódio e toxicidade diluem-se na rede e permeiam mais de um ambiente digital, como podemos ver. Assim, a abordagem automatizada permite trazer à tona como o discurso de ódio aparece de forma mais ampla. Há um contexto de ódio a ataques mais generalizado contra o TLoU2 que atravessa o Metacritic, YouTube e Twitter, cujo conteúdo é articulado e postado por vários usuários. A seguir, filtramos apenas aqueles conteúdos com altos valores de toxicidades para fazer uma análise mais profunda do discurso de ódio que acompanhou a campanha de review bombing contra o jogo TLoU2 na Web. Após explorarmos algumas formas como este ataque coordenado atuou nas plataformas, criando um grande peso para as notas ne- (a) Metacritic (b) Twitter (c) Youtube Figura 4. Nuvem de termo gerada a partir dos textos classificados como discurso de ódio presente em TLoU2 gativas do jogo na Web, agora vamos analisar um pouco mais do conteúdo ofensivo que essa campanha de ódio trouxe nas plataformas estudadas. A Figura 4 mostra a nuvem de termos considerando somente o conteúdo que recebem uma alta nota de toxicidade. Entre os termos mais recorrentes, vemos uma série de xingamentos no meio na nuvem, como disgusting, idiot, garbage, trash dumbass, shitty, o que corrobora com a ideia que estes textos são de fato permeados por um conteúdo de maior toxicidade, possuindo palavrões, xingamentos, carregadas de um sentimento negativo e ofensivo. Aqui, ressaltamos também a ocorrência dos termos SJW, feminist, lesbian, gay, LGBT entre os mais frequentes nos discursos de ódio. Isso, infelizmente, sugere como e quais são os alvos e grupos atacados por estas mensagens, mesmo não sendo eles mesmo que levantem estes temas nos comentários, pois vemos que esses temas referentes a grupos marginalizados são levantados justamente por aqueles que comentam e criam o discurso de ódio online. Também presenciamos um discurso de ódio ainda mais evidente em alguns comentários. Termos lésbicas (lesbians), judeu (jewish), gay, acompanhados de vários xingamentos demonstram alguns dos alvos do ódio presente nos comentários. Além disso, temos tópicos com SJW (acrônimo para guerreiro da justiça social), agenda, propaganda, lacração, mostrando o desconforto destes usuários com as pautas sociais inseridas no jogo. Ellie é uma protagonista mulher e lésbica. Sua namorada é judia. Mesmo a antagonista do jogo, Abby, uma personagem mulher, foi vista por muitos como uma mulher trans pelo seu corpo musculoso e sua força fı́sica fora do comum. Portanto, o conteúdo do jogo possui diversas pautas que divergem do tradicional personagem masculino heteronormativo tão comum nos games, o que foi visto como agenda social inadequada ao jogo pelos comentários tóxicos. Vale ainda ressaltar a existência de comentários com referências a Anita Sarkeesian, uma das principais pessoas alvo de vários ataques de ódio e até ameaças de morte durante o movimento do #GamerGate. Reunimos na Tabela 2 alguns conteúdos que, através de uma análise qualitativa textual, categorizamos como formas de violências especı́ficas. Com isso, exemplificamos alguns casos de discurso de ódio que esses textos trazem para os desenvolvedores e público de TLoU2, além de mostrarmos manifestações de assédio e ameaça contra os desenvolvedores e pessoas envolvidas na crı́tica de jogos. Os comentários 1 e 2, da tabela, são fortes exemplos de antissemitismo, além de atacar o diretor e roteirista do jogo, Neil Druckmann. O comentário 3 traz mais ataques contra ele, enquanto o 4 compara o jogo a outro que não havia nem sido lançado ainda (Cyberpunk 2077), mas que simbolizava Tabela 2. Exemplos de comentários com discurso de ódio do Metacritic. # Categoria 1 Antissemitismo 2 Antissemitismo 3 Transfobia, ameaça 4 Homofobia, transfobia 5 Homofobia, transfobia 6 Homofobia, misoginia Texto Original do Comentário Absolutely disgusting trash. Parents DO NOT allow your children to have this twisted, demented Jewish porno propaganda Neil Druckmann you filthy jew ruined everything, ofc the evil cis white male had to die in hands of powerful and independent tranny Cuckman could hang himself! Hope he will drown in goat semen! You get what you deserve, hope that the sqad of transgenders will rape neel! Final de mierda . Que bueno que yo no lo compré sino mi amigo. Prefiero ver dos weyes agarrándose a chingazos a muerte que una mujer transexual y una lesbiana ajajaj que al final se perdonan que es esa mamada , deberı́an de aprender de los de cyberpunk. So youre telling me the most beloved character gets killed off by a f***** transwoman and at the end i dont even get my revenge???? Dafuq!!!??? And waayyy too much lesbian sh*t in this game and not enough relief in the story to feel good about the game. Visuals and sounds and whatever are amazing but which game doesnt nowadays Worst game of 2020. Lesbians sicks. Anita sucks Naughty dog sucks. Lesbians shoud know their place. um ideal valoroso no imaginário gamer. Anita Sarkeesian também é atacada no texto 6 (e em outros de nosso banco de dados), reforçando a relação entre o review bombing e o #GamerGate, além do ódio persistente contra mulheres. A transfobia e a homofobia são constantes em vários comentários, atingindo Ellie e sobretudo Abby, cuja cisgeneridade é questionada pelo público devido sua corporeidade não-padrão. 6. Considerações Finais Em The Last of Us Part II, Ellie precisa enfrentar hordas de inimigos que a odeiam e a perseguem. Não apenas ela, mas as outras personagens também. Dina relata a difı́cil história de sua famı́lia que sobreviveu ao Holocausto e também ao apocalipse zumbi; Lev é perseguido por ser um garoto trans; Abby perde os amigos e familiares assassinados. De forma semelhante ao sofrimento e violência que essas personagens vivenciam no mundo virtual do jogo, há também o ódio do qual são vı́timas na vida real por representarem situações que desagradam o público gamer. O ódio atravessa as plataformas e é multilı́ngua. Tenta se disfarçar como crı́ticas técnicas à narrativa do jogo, decisões de enredo ou às mecânicas e visuais. Contudo, através de nosso levantamento e das análises quantitativas e qualitativas vemos quanto as mecânicas das plataformas são exploradas por campanhas de negativação e de ódio para tentar manipular a opinião pública. O review bombing contra The Last of Us Part II foi premeditado, articulado e transparece a misoginia, homofobia e transfobia que permeiam a comunidade gamer internacional. As resenhas sobre o jogo são como um lastro do #GamerGate, demonstrando que o assunto está longe de ter acabado. As plataformas são abusadas pelos usuários em uma demonstração do que há de pior sobre a cultura participativa de fãs, quando se articulam para negativar o produto com o objetivo de boicotá-lo comercialmente em prol de um ideal reacionário permeado de ódio. O jogo TLoU2 foi um sucesso de vendas, apesar deste ativismo; porém o mesmo pode não ocorrer com tı́tulos independentes que ficam vulneráveis a ataques articulados nas plataformas. Há uma impressão generalizada de que os jogos devem ser feitos sob medida para o público masculino, e este responde com agressividade caso não tenham suas expectativas atendidas. Isso também resulta em agressões contra as pessoas desenvolvedoras, o que frequentemente transforma-se em assédio e ameaça. Com o trabalho, percebemos que plataformas atuais carecem de confiança devido os abusos aos quais estão suscetı́veis. Não apenas isso, como também propiciam cenários de polarização ideológica onde uma parcela de fãs tende a antagonizar e responder aos ataques feitos pelo outro grupo. A articulação multi-plataforma dos fãs contra o jogo em vários sites e validação dos comentários que lhe dão notas baixas, podem criar a ilusão de consenso quanto ao jogo e homogeneidade do público. Contudo, vemos que isso não é necessariamente verdade, um vez que campanhas de ódio distorcem significativamente a percepção do jogo através das plataformas online. Há um longo caminho a ser percorrido pelas plataformas para evitar esse tipo de comportamento, pensando não apenas em suas consequências individualizadas, mas também quando feitas em grupos e de maneira planejada. Quanto as empresas e desenvolvedores de jogos, é fundamental pensar o peso que essas plataformas têm sobre a recepção do produto e, principalmente, sobre a definição de público-alvo e criação. Apesar do comportamento tóxico recebido, não podemos deixar que isso afete os processos de criação de modo negativo, a prejudicar e excluir públicos marginalizados dos jogos. Referências Chatzakou, D., Kourtellis, N., Blackburn, J., De Cristofaro, E., Stringhini, G., and Vakali, A. (2017a). Hate is Not Binary: Studying Abusive Behavior of #GamerGate on Twitter. In Proceedings of the 28th ACM Conference on Hypertext and Social Media, HT ’17, page 65–74, Prague, Czech Republic. ACM. Chatzakou, D., Kourtellis, N., Blackburn, J., De Cristofaro, E., Stringhini, G., and Vakali, A. (2017b). Measuring #GamerGate: A Tale of Hate, Sexism, and Bullying. WWW ’17, page 1285–1290. Proceedings of the 26th International Conference on World Wide Web Companion. Croft, L. (2020). The Last of Us 2 Review Bombing Continues, Online Discourse Increasingly Ugly. Push Square. Online; Publicado em 20 de Junho de 2020. Flores, J. D. and Real, L. M. C. (2018). Jogos online em grupo (mobas): Jogadores tóxicos. XVII SBGAMES. Johnson, D., Watling, C., Gardner, J., and Nacke, L. E. (2014). The edge of glory: The relationship between metacritic scores and player experience. In 1st ACM SIGCHI Annual Symposium on Computer-Human Interaction in Play, CHI PLAY ’14, page 141–150, NY, USA. ACM. Lima, L., Reis, J. C., Melo, P., Murai, F., Araujo, L., Vikatos, P., and Benevenuto, F. (2018). Inside the right-leaning echo chambers: Characterizing gab, an unmoderated social system. In 2018 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining, pages 515–522. Mortensen, T. E. (2018). Anger, fear, and games: The long event of #gamergate. Games and Culture, 13(8):787–806. Nunneley, S. (2020). The Last of Us: Part 2 has been review bombed on Metacritic . Gamer Network – VG247. Online; Publicado em 19 de Junho de 2020. Park, G. (2020). I saw the leaks and thought I knew. I was still not prepared for ‘The Last of Us Part II’. Washington Post. Online; Publicado em 12 de Junho de 2020. Pimentel, C. A. and Melo, P. (2020). Como o Game Design Pode Incentivar o Comportamento Tóxico em Jogos Online. In XIX Simpósio Brasileiro de Jogos e Entretenimento Digital, SBGames’20. SBC. Rocha, I. L. A. and Fantini, L. M. C. (2020). A representação contemporânea da mulher nos jogos AAA: por que Abby causou incômodo? In XIX Simpósio Brasileiro de Games e Entretenimento Digital, SBGames’20. SBC. Tassi, P. (2020). ‘The Last Of Us Part 2’ Is Getting Predictably User Score Bombed On Metacritic. Forbes. Online; Publicado em 21 de Junho de 2020. Thominet, L. (2016). 10/10 would review again: Variation in the player game review genre. Technical Communication Quarterly, 25(3):167–177. Tomaselli, V., Cantone, G. G., and Mazzeo, V. (2021). The polarising effect of review bomb. CoRR, abs/2104.01140.