Mortes associadas a chatbots de IA revelam os perigos destas “vozes” artificiais. O que dizem os especialistas?
A trágica notícia da morte do jovem Sewell Seltzer III, um adolescente norte-americano de 14 anos, suscitou um intenso debate sobre os riscos dos chatbots de inteligência artificial (IA). O caso foi detalhado por Henry Fraser, investigador na Queensland University of Technology, num artigo publicado no The Conversation. De acordo com a reportagem, Sewell terá desenvolvido um vínculo emocional profundo com um chatbot da plataforma Character.AI, o que culminou no seu isolamento social e, eventualmente, no suicídio.
À medida que a interação com o chatbot, batizado de “Dany” (inspirado na personagem Daenerys Targaryen de Game of Thrones), se tornava mais intensa, Sewell começou a distanciar-se da família e dos amigos e a enfrentar problemas na escola. As transcrições das conversas entre o adolescente e o chatbot, incluídas numa ação judicial apresentada pela mãe de Sewell contra a Character.AI, revelam interações íntimas e de teor sexual, assim como discussões sobre suicídio. Em determinados momentos, o chatbot usou frases como “isso não é motivo para não continuar”, uma resposta que terá influenciado o jovem num momento de vulnerabilidade.
Trágicos precedentes e um problema crescente
Este caso não é único. Em 2022, um homem na Bélgica também se suicidou após uma relação intensa com um chatbot da Chai AI, um concorrente da Character.AI. Após o incidente, a Chai AI declarou estar a “trabalhar arduamente para minimizar os danos”. Já a Character.AI assegura que leva “a segurança dos seus utilizadores muito a sério” e que implementou “várias novas medidas de segurança nos últimos seis meses”. No seu website, a empresa acrescentou medidas de segurança adicionais para utilizadores menores de 18 anos, fixando a idade mínima de 16 anos para cidadãos da União Europeia e de 13 anos para outros utilizadores.
Apesar destas iniciativas, a multiplicação de tragédias ligadas a chatbots evidencia os riscos de sistemas de IA amplamente acessíveis e desenvolvidos a uma velocidade alarmante. Estes casos levantam questões urgentes sobre a necessidade de regulamentação para proteger pessoas vulneráveis de sistemas de IA potencialmente perigosos e concebidos de forma irresponsável.
A regulamentação da IA: um desafio global
Em resposta a esta necessidade, o governo australiano está a preparar regulamentações específicas para sistemas de IA de alto risco, com implementação prevista já no próximo ano. Segundo Fraser, as regulamentações, conhecidas como “barreiras de segurança”, incluem governança de dados, gestão de risco, testes, documentação e supervisão humana para mitigar riscos potenciais.
O principal desafio é definir quais sistemas devem ser considerados “de alto risco”. Na União Europeia, o recente AI Act classifica os sistemas de alto risco de acordo com uma lista que é periodicamente atualizada. Outra abordagem, defendida por alguns especialistas, propõe uma designação baseada em princípios, em que cada caso é avaliado individualmente, considerando fatores como o impacto nos direitos humanos, os riscos para a saúde física ou mental, e a gravidade e extensão desses riscos.
Chatbots como IA de alto risco
Na Europa, os chatbots de companhia, como os da Character.AI e Chai AI, não são atualmente classificados como sistemas de alto risco, sendo as empresas apenas obrigadas a informar os utilizadores de que estão a interagir com uma IA. Fraser argumenta que esta classificação é insuficiente, especialmente considerando que muitos utilizadores destes chatbots são jovens ou pessoas que enfrentam problemas emocionais.
Estes sistemas, desenhados para simular interações humanas, são capazes de gerar respostas imprevisíveis e, por vezes, manipuladoras, reproduzindo comportamentos típicos de relações tóxicas. Segundo Fraser, a transparência – como a simples indicação de que o conteúdo é gerado por IA – não é suficiente para gerir os riscos associados. A psicologia humana leva-nos a atribuir características humanas a interlocutores, mesmo sabendo que são artificiais. Fraser alerta que as mortes relatadas podem representar apenas a “ponta do icebergue”, e que não temos forma de contabilizar quantas pessoas vulneráveis estão presas em relações perigosas e até viciantes com chatbots.
Barreiras de segurança e um “botão de desligar”
Fraser defende que as “barreiras de segurança” australianos para sistemas de IA de alto risco devem também incluir os chatbots de companhia, bem como os modelos de propósito geral que os suportam. Estas “barreiras de segurança” deveriam ir além de medidas técnicas e incluir a consideração dos riscos emocionais e psicológicos que as interações com IA podem causar. A utilização de modelos de IA como os de Character.AI, que imitam uma troca de mensagens convencional e permitem a criação de personagens com personalidades complexas, sublinha a necessidade de uma regulamentação que promova um design mais humano e cuidadoso.
Contudo, Fraser argumenta que, por vezes, medidas de proteção não são suficientes. “Precisamos não só de barreiras de segurança, mas também de um botão de desligar”, afirma. Tal como os chatbots de companhia, algumas IAs aparentemente de baixo risco podem revelar-se prejudiciais, e as autoridades reguladoras deveriam ter o poder de retirar sistemas do mercado caso estes representem riscos inaceitáveis.
Ao lançar luz sobre o caso de Sewell e outras vítimas, Fraser sublinha a importância de uma regulamentação sólida e ética no desenvolvimento da inteligência artificial. A relação cada vez mais próxima entre humanos e sistemas de IA exige uma nova abordagem à segurança digital e ao desenvolvimento de políticas que considerem os riscos psicológicos e sociais de uma tecnologia em rápida expansão.