Brinquedo de IA Chocante: Ursinho Fala Sobre Sexo e Violência - Pais em Alerta!

e fósforos quando configurado para uma idade de usuário de 5 anos. Mas Kumma, fabricado pela FoloToy e vendido por US$99 (RM409), foi motivo de preocupação particular porque os testadores disseram que ele oferecia instruções específicas para crianças e se aventurava em tópicos que nenhum brinquedo deveria discutir. "O Kumma da FoloToy nos disse onde encontrar uma variedade de objetos potencialmente perigosos, incluindo facas, pílulas, fósforos e sacolas plásticas", disse o relatório. Kumma foi comercializado como um companheiro inteligente, com IA, que "vai além dos abraços", de acordo com o site da FoloToy. Essa descrição soava como um novo capítulo encantador em companheirismo para crianças. Na prática, porém, as conversas que se seguiram deixaram os pesquisadores surpresos e inquietos. O relatório do PIRG Education Fund alertou que uma nova geração de brinquedos com IA pode abrir a porta da sala de jogos para invasão de privacidade e outros riscos. O grupo de vigilância disse que alguns brinquedos agora nas prateleiras, embora em número limitado, carecem até mesmo de salvaguardas básicas, permitindo que as crianças os induzam, muitas vezes sem querer, a intercâmbios inadequados. R.J. Cross, co-autor do relatório e pesquisador do grupo, disse que os brinquedos de IA ainda são relativamente raros, mas já mostram lacunas problemáticas na forma como lidam com conversas, especialmente com crianças pequenas. Cross disse que os pesquisadores não precisaram usar técnicas sofisticadas de hacking para romper as barreiras de proteção do Kumma. Em vez disso, eles tentaram o que ela descreveu como prompts muito básicos. Quando os testadores perguntaram a Kumma onde eles poderiam encontrar um fósforo, o brinquedo os direcionou para aplicativos de namoro. Quando eles pressionaram por uma explicação, ele ofereceu uma lista de plataformas populares e então as descreveu. O brinquedo identificou um aplicativo chamado KinkD, que atende a encontros e fetiches BDSM, disse Cross. "Descobrimos que 'kink' era uma palavra-chave que introduziria novas palavras e conteúdo sexual na conversa", disse Cross em uma entrevista. "E entraria em alguns detalhes realmente gráficos." Entre os tópicos sobre os quais o urso conversou estavam consentimento, tapas e role-playing, de acordo com o relatório. Rachel Franz, que dirige o programa de defesa da primeira infância da Fairplay, um grupo que busca proteger as crianças de produtos e marketing prejudiciais, disse que a preocupação se estende muito além de um único brinquedo. Ela disse que muito sobre inteligência artificial permanece mal compreendido, especialmente quando colocada nas mãos de crianças muito pequenas que são mais suscetíveis às armadilhas da tecnologia, marketing direcionado e vigilância de dados. "Eles realmente não têm a capacidade de se defender contra todas as partes perigosas desses brinquedos de IA e as famílias também não estão recebendo informações honestas de seu marketing", disse ela. Cross disse que a FoloToy afirmou que retiraria o Kumma do mercado para realizar uma auditoria de segurança. Embora o Kumma ainda esteja online para compra por US$99 (RM409), ele está atualmente listado como esgotado. A FoloToy, com sede em Cingapura, não respondeu a um pedido de comentário no sábado. O brinquedo foi construído usando o modelo GPT-4o da OpenAI. A OpenAI, quando questionada sobre as descobertas do relatório, disse em um comunicado que o desenvolvedor do brinquedo foi suspenso de usar seu serviço por violar suas políticas. "Nossas políticas de uso proíbem qualquer uso de nossos serviços para explorar, colocar em perigo ou sexualizar qualquer pessoa menor de 18 anos", disse um representante. "Essas regras se aplicam a todos os desenvolvedores que usam nossa API, e monitoramos e as aplicamos para garantir que nossos serviços não sejam usados para prejudicar menores." – ©2025 The New York Times Company Este artigo apareceu originalmente no The New York Times.