O TikTok terá mantido milhões de utilizadores, incluindo adolescentes, sem acesso a uma alteração do algoritmo criada para reduzir a exposição repetida a conteúdos potencialmente nocivos, revela um documento interno confidencial.
A medida de segurança começou a ser aplicada em 2022 a 90% dos utilizadores nos Estados Unidos. Os restantes 10%, cerca de 15 milhões de pessoas, permaneceram num grupo de controlo destinado a medir se a alteração reduzia o tempo passado na aplicação e outros indicadores de envolvimento.
Entre esses utilizadores encontrava-se Chase Nasca, um adolescente de 16 anos cujo perfil recebeu milhares de vídeos relacionados com suicídio, automutilação, tristeza, solidão e falta de esperança nas semanas anteriores à sua morte.
Segundo a Bloomberg Businessweek, o próprio relatório interno concluiu que as medidas destinadas a impedir a criação de bolhas de conteúdos repetitivos não foram ativadas naquela conta por esta integrar deliberadamente o grupo de controlo.
Algoritmo colocou adolescente numa “bolha de filtro”
O documento, elaborado em março de 2023 por equipas de segurança e de algoritmos do TikTok, analisou em detalhe o histórico da conta de Chase.
A investigação interna concluiu que o perfil tinha entrado numa chamada “bolha de filtro”, um circuito em que o sistema de recomendação apresenta sucessivamente conteúdos semelhantes àqueles que prevê que o utilizador queira ver.
Nas duas semanas anteriores à morte do jovem, o TikTok analisou 7563 vídeos que lhe tinham sido apresentados.
Cerca de 73% abordavam temas como dificuldades de saúde mental, testemunhos de sobreviventes, solidão, relações amorosas e tristeza, embora não violassem as regras da plataforma.
Quase 10% dos conteúdos infringiam as normas do TikTok, que proíbem a promoção ou normalização do suicídio e da automutilação. Incluíam mensagens relacionadas com depressão profunda, baixa autoestima, cansaço, isolamento e pensamentos suicidas.
O relatório concluiu que a conta tinha recebido repetidamente conteúdos depressivos e relacionados com suicídio e automutilação, sobretudo nos dias que antecederam a morte.
Experiência destinava-se a medir utilizadores ativos e envolvimento
A alteração ao algoritmo tinha sido desenvolvida para interromper padrões excessivamente repetitivos de conteúdos que poderiam tornar-se problemáticos quando vistos em sequência.
No entanto, o TikTok decidiu não aplicar imediatamente a proteção a todos os utilizadores. Dez por cento das contas americanas foram mantidas com a versão anterior do sistema para que a empresa pudesse comparar resultados.
O documento afirma que a decisão exigia um equilíbrio entre a segurança dos utilizadores e a capacidade de medir o impacto nos utilizadores ativos diários e noutras métricas centrais para a empresa.
A Bloomberg Businessweek refere que o grupo de controlo fazia parte de um teste A/B, uma técnica usada para comparar duas versões de um produto e avaliar os efeitos de uma mudança.
A conta de Chase foi selecionada aleatoriamente para a experiência em 25 de janeiro de 2022. Cerca de um mês depois, o adolescente morreu.
Relatório recomendou reduzir drasticamente o grupo de teste
Depois de analisar o caso, as equipas do TikTok propuseram duas alterações para evitar novos incidentes.
A primeira consistia em reduzir o grupo de controlo para menos de 1% dos utilizadores. A segunda passava por limitar a permanência das mesmas pessoas no teste a sete dias, em vez de períodos que podiam chegar a seis meses ou um ano.
Uma atualização incluída no documento alertava, contudo, que mesmo a redução para 1% deixaria pelo menos 1,8 milhões de utilizadores americanos sem a proteção e expostos ao risco de entrarem em bolhas de conteúdos repetitivos.
O TikTok afirmou que a experiência de 2022 era um teste rotineiro destinado a confirmar se as mudanças de segurança funcionavam como previsto. A empresa acrescentou que entretanto aperfeiçoou a forma como realiza este tipo de testes, sem fornecer mais detalhes.
Um antigo trabalhador da área de confiança e segurança considerou que a metodologia apresentava falhas. Na sua opinião, o grupo de controlo era demasiado grande e o teste deveria ter excluído menores e conteúdos perigosos relacionados com suicídio.
TikTok diz estar empenhado na proteção dos utilizadores
Questionada sobre o documento, a empresa afirmou estar profundamente comprometida com a segurança e o bem-estar dos utilizadores, especialmente dos adolescentes.
O TikTok referiu que continua a investir em sistemas de deteção e em equipas dedicadas à remoção antecipada de conteúdos que violam as regras da comunidade.
O relatório interno foi elaborado depois de a Bloomberg Businessweek ter contactado a empresa, em março de 2023, durante a preparação de uma investigação sobre o impacto da plataforma nos adolescentes.
O documento, com 14 páginas, foi partilhado entre dez equipas internas, incluindo áreas jurídicas, de comunicação, políticas, segurança e pesquisa. Está atualmente protegido por uma ordem judicial de confidencialidade.
Empresa negou ligação entre utilização da plataforma e suicídios
Duas semanas depois da elaboração do relatório, o presidente executivo do TikTok, Shou Chew, prestou declarações perante o Congresso dos Estados Unidos.
Durante a audição, afirmou que a segurança e o bem-estar dos adolescentes constituíam uma prioridade central da empresa e garantiu que o TikTok estava comprometido com a transparência.
Após a audição, membros do Congresso enviaram perguntas adicionais à plataforma. Uma delas procurava saber quantos casos eram conhecidos em que utilizadores tinham morrido por suicídio depois de receberem vídeos tristes, depressivos ou promotores desse comportamento.
Na resposta escrita, datada de maio de 2023, o TikTok afirmou não acreditar que a utilização da plataforma tivesse levado utilizadores a cometer suicídio.
A resposta foi enviada cerca de dois meses depois de a própria empresa ter concluído a análise interna à conta de Chase, na qual reconhecia a exposição repetida a conteúdos relacionados com suicídio e temas depressivos.
O TikTok também não mencionou ao Congresso a experiência que manteve parte dos utilizadores sem acesso às medidas destinadas a evitar bolhas de filtro.
Conta continuou a receber conteúdos após a morte
A mãe de Chase conseguiu posteriormente aceder à conta do filho e verificou que o algoritmo lhe tinha recomendado vídeos relacionados com suicídio.
O perfil permaneceu ativo depois da morte do adolescente. Um ano mais tarde, a família constatou que continuava a receber o mesmo tipo de conteúdos.
Quando a Bloomberg Businessweek contactou a empresa, vários funcionários discutiram internamente a estratégia de comunicação para responder à investigação.
As mensagens mostram que o TikTok procurou preparar declarações públicas de empatia e acelerar o lançamento de uma funcionalidade que permitia aos utilizadores reiniciar as recomendações da página “Para Ti”, de modo a demonstrar progressos antes da publicação da reportagem.
Milhares de processos contra plataformas sociais
O documento tornou-se conhecido no âmbito de processos judiciais movidos contra empresas de redes sociais nos Estados Unidos.
Nos últimos quatro anos, foram apresentados mais de quatro mil processos por danos pessoais, nos quais as plataformas são acusadas de prejudicar a saúde mental de crianças e adolescentes.
Em março, um júri da Califórnia considerou o YouTube, da Google, e o Instagram, da Meta, negligentes por terem dirigido intencionalmente funcionalidades viciantes a menores. A indemnização fixada foi de seis milhões de dólares.
O TikTok e a Snap chegaram a acordo antes do início desse julgamento. Google e Meta anunciaram que pretendem recorrer.
Durante a fase de recolha de prova desta litigância, as empresas entregaram mais de seis milhões de documentos internos. Foi nesse conjunto que surgiu a investigação à conta de Chase.
O TikTok concluiu também acordos em outros processos relacionados com alegações de dependência das redes sociais. A empresa resolveu todos os cinco casos de danos pessoais que deveriam chegar a julgamento durante este ano.
Processo da família foi arquivado, mas há recurso pendente
Os pais de Chase apresentaram uma ação por morte indevida contra o TikTok em Nova Iorque.
O processo foi arquivado no ano passado depois de a empresa invocar uma norma americana que protege as plataformas de responsabilidade por conteúdos publicados por terceiros. A família recorreu da decisão.
O gabinete do procurador-geral do Arkansas tentou posteriormente obter autorização para mostrar ao pai do adolescente vários documentos, incluindo aquele que revela a participação do filho na experiência.
O TikTok opôs-se, argumentando que o pai nunca tinha visto os documentos, desconhecia o respetivo conteúdo e que o material deveria permanecer confidencial por incluir discussões internas sensíveis.
O tribunal deu razão à empresa e rejeitou o pedido.
O uso de testes A/B com adolescentes foi entretanto referido noutra ação judicial apresentada no Delaware, relacionada com a morte de dois jovens alegadamente dependentes do TikTok e de outras plataformas.
A acusação compara este tipo de experiência à redução deliberada dos níveis de segurança de uma cadeira infantil para perceber se os consumidores continuariam a comprá-la, mesmo sabendo que algumas crianças poderiam sofrer danos.
