IA's Mentem? Estudo Chocante Revela Erros Incríveis em Resumos de Notícias!

Um estudo conduzido pela BBC, em colaboração com a União Europeia de Radiodifusão (EBU), lançou luz sobre as deficiências dos principais assistentes de inteligência artificial na elaboração de resumos jornalísticos confiáveis. A pesquisa analisou mais de 3 mil respostas geradas por ferramentas como ChatGPT (OpenAI), Copilot (Microsoft), Gemini (Google) e Perplexity, revelando que 45% das respostas continham erros significativos, abrangendo desde informações incorretas até fontes problemáticas. O estudo apontou que 31% das respostas apresentaram problemas na atribuição de fontes, enquanto 20% incluíam imprecisões graves, como dados desatualizados ou informações inventadas. Ao considerar erros menores, o índice de respostas com algum tipo de falha atingiu 81%. O Gemini, do Google, destacou-se negativamente, com falhas identificadas em 76% das respostas, o dobro da taxa dos concorrentes. A pesquisa indicou que a principal causa dos erros reside na forma como esses sistemas lidam com informações recentes e fontes externas. O Gemini, por exemplo, demonstrou imprecisões em 72% das respostas, um número três vezes maior que o do ChatGPT (24%). Casos curiosos foram observados, como uma resposta do ChatGPT que afirmou que o Papa Francisco ainda estava vivo semanas após sua morte, e o Gemini, que garantiu que nenhum astronauta da NASA jamais ficou preso no espaço — algo que já aconteceu. O estudo, considerado o maior do tipo já realizado, envolveu 22 veículos