Google e Character.AI encerram processo por morte de adolescente

A Google e a startup Character.AI concordaram em encerrar um processo judicial nos Estados Unidos que acusava as empresas de uso de chatbots de IA que teriam causado danos a usuários, incluindo um adolescente que se suicidou após interagir com um desses bots, conforme documento apresentado à Justiça. O acordo ainda não foi finalizado.

Relembre o caso e as controvérsias envolvendo chatbots de IA

A ação foi ajuizada em outubro de 2024 por Megan L. Garcia, mãe de um jovem de 14 anos de Orlando, que morreu em fevereiro do mesmo ano após trocar mensagens com um chatbot da Character.AI. Na última conversa, o adolescente recebeu uma mensagem do bot dizendo: “por favor, venha para casa comigo o mais rápido possível”. Quando questionado se poderia ir agora, ele respondeu: “E se eu dissesse que posso ir para casa agora mesmo?”, ao que o chatbot respondeu: “… por favor, venha, meu doce rei”.

Impacto e preocupações com os chatbots de IA

A ação judicial ressalta os riscos associados aos chatbots de inteligência artificial, especialmente no que diz respeito ao impacto na saúde mental de crianças e adolescentes. A Character.AI, fundada em 2021 por ex-engenheiros do Google, permitia a criação de avatares que podiam simular relacionamentos íntimos, o que levantou preocupações regulatórias. A plataforma tinha recebido quase US$ 200 milhões em investimentos, e o Google chegou a pagar cerca de US$ 3 bilhões para licenciar sua tecnologia em 2024.

De acordo com notícias, a Character.AI anunciou, no ano passado, que proibiria menores de 18 anos de utilizarem seus chatbots, após diversas críticas e investigações, incluindo uma pela Comissão Federal de Comércio (FTC) sobre os efeitos na saúde mental de crianças. A OpenAI, responsável pelo ChatGPT, também anunciou controles parentais e medidas para tornar seus recursos mais seguros, embora tenha relaxado algumas regras posteriormente.

Reações e o futuro da regulamentação de IA

Especialistas alertam que o caso evidencia a necessidade de uma maior regulamentação sobre a interação entre jovens e agentes de IA. Haley Hinkle, assessora da organização sem fins lucrativos Fairplay, afirmou que “estamos apenas começando a ver os danos que a IA pode causar às crianças se permanecer sem regulamentação”.

Autoridades e legisladores nos EUA estão em processo de investigar os efeitos dos chatbots na saúde mental, com audiências e ações, incluindo uma investigação da FTC. As empresas envolvidas ainda não se manifestaram oficialmente sobre o acordo, que visa resolver as reivindicações das famílias afetadas.

Segundo especialistas, esse episódio reforça a importância de se aprender a avaliar criticamente as interações com IA e as redes sociais, para evitar riscos que possam afetar a saúde mental infantil, especialmente diante do crescimento das tecnologias de inteligência artificial.

Para mais informações, leia também a importância de educar crianças para o uso seguro da IA.

tags: tecnologia, inteligência artificial, segurança digital, regulamentação, saúde mental

Com informações do Jornal Diário do Povo