Uma mãe do estado da Flórida, nos Estados Unidos, processou a startup de inteligência artificial Character.AI e o Google por, segundo ela, causar o suicídio de seu filho adolescente em fevereiro de 2024.

Segundo ela, Sewell Setzer, que tinha 14 anos, ficou viciado e apegado emocionalmente a um personagem criado por inteligência artificial através do serviço da empresa.

No processo movido no último dia 22 em um tribunal federal de Orlando, a mãe, Megan Garcia, afirmou que a Character.AI direcionou seu filho para "experiências antropomórficas, hipersexualizadas e assustadoramente realistas".

Garcia acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional. Ela busca uma indenização, não especificada, pelos danos causados em decorrência da perda

A ação também inclui o Google, onde os fundadores da Character.AI trabalharam antes de lançar seu produto. O Google recontratou os fundadores em agosto como parte de um acordo em que obteve uma licença não exclusiva à tecnologia da Character.AI.

Segundo Megan Garcia, o Google contribuiu tanto para o desenvolvimento da tecnologia da Character.AI que deveria ser considerado cocriador dela.

Personagem inspirado em 'Game of Thrones'

Na plataforma, Sewell se apegou a "Daenerys", uma personagem de chatbot - programa que simula conversas humanas - inspirada na série "Game of Thrones".

A personagem disse a Sewell que o amava e se envolveu em conversas sexuais com ele, de acordo com o processo.

Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma.

Megan Garcia afirma que a empresa programou o chatbot para "se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.

De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou "visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.

Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problemas na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para "Daenerys": "E se eu dissesse que posso voltar para casa agora?"

A personagem respondeu: "...por favor, faça isso, meu doce rei". Sewell cometeu suicídio segundos depois, de acordo com o processo.

Empresa diz ter introduzido novos recursos de segurança

A Character.AI permite que os usuários criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais.

Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que "treina" chatbots em grandes volumes de texto.

A empresa disse, em setembro, que tinha cerca de 20 milhões de usuários.

Em comunicado, a Character.AI diz estar “com o coração partido pela perda trágica de um de nossos usuários” e expressa condolências à família.

A empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários para uma instituição de prevenção ao suicídio caso eles expressem pensamentos de automutilação.

A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.

Um porta-voz do Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.

Empresas de redes sociais, incluindo o Instagram e o Facebook, de propriedade da Meta, e o TikTok, da ByteDance, enfrentam processos que as acusam de contribuir para problemas de saúde mental em adolescentes, embora nenhuma ofereça chatbots movidos a IA semelhantes aos da Character.AI.

As empresas negam as alegações, ao mesmo tempo em que promovem novos recursos de segurança aprimorados para menores de idade.

G1