Una amplia investigación realizada por la European Broadcasting Union (EBU) y la BBC revela que los principales asistentes de IA –ChatGPT, Copilot, Gemini y Perplexity– tergiversan de manera habitual el contenido de las noticias, con independencia del idioma, territorio o plataforma de IA utilizada.
El estudio, el mayor de este tipo realizado hasta ahora -ha involucrado a 22 medios públicos de 18 países que trabajan en 14 idiomas-, ha dado continuidad a la investigación que publicó la BBC en febrero de este año, que fue la primera que puso de relieve los problemas de la IA a la hora de gestionar noticias.
Esta segunda ronda del estudio ha identificado múltiples y sistemáticos problemas en las respuestas sobre noticias que ofrece las principales herramientas de IA, “confirmando que el problema es sistémico y no está vinculado al idioma, el mercado o el asistente de IA”.
Los periodistas profesionales que han participado en la investigación han analizado más de 3.000 respuestas de ChatGPT, Copilot, Gemini y Perplexity teniendo en cuenta diversos criterios clave como la precisión, las fuentes, la distinción entre opiniones y hechos y la provisión de contexto.
Estas son algunas de las principales -y alarmantes- conclusiones de la investigación:
- El 45% de las respuestas de las herramientas de IA generativa relacionadas con noticias tuvieron por lo menos un problema significativo.
- El 31% de las respuestas mostró serios problemas con las fuentes: falta de atribución, atribución engañosa o atribución incorrecta.
- El 20% contenía problemas importantes de precisión, incluidos detalles inventados (alucinaciones) e información desactualizada.
- De todas las herramientas analizadas, Gemini (Google) tuvo el peor desempeño con problemas significativos en el 76% de las respuestas, más del doble que otros asistentes, en gran parte debido a su bajo rendimiento relacionado con el manejo de las fuentes.
- La comparación entre los resultados de la BBC de principios de este año y este estudio muestra algunas mejoras, pero aún altos niveles de errores.
Los responsables del estudio consideran que la “distorsión” que crean estas herramientas de IA es importante. “Los asistentes de IA ya están reemplazando a los motores de búsqueda para muchos usuarios”, explican. Y como señala el director de medios y director general adjunto de la EBU, Jean Philip De Tender, la investigación “muestra de manera concluyente que estos fallos no son incidentes aislados”, sino que “son sistémicos, transfronterizos y multilingües, y creemos que esto pone en peligro la confianza pública. Cuando la gente no sabe en qué confiar, termina sin confiar en nada en absoluto, y eso puede disuadir la participación democrática”.
Por su parte, el director de programas de IA generativa de la BBC, Peter Archer, ha dicho que “estamos entusiasmados con la IA y cómo puede ayudarnos a aportar aún más valor a las audiencias. Pero la gente debe poder confiar en lo que lee, mira y ve. A pesar de algunas mejoras, está claro que todavía hay problemas importantes con estos asistentes. Queremos que estas herramientas tengan éxito y estamos abiertos a trabajar con empresas de IA para dar un buen servicio a las audiencias y a la sociedad en general”.
El equipo que ha realizado esta investigación también ha publicado un kit de herramientas práctico (“News Integrity in AI Assistants Toolkit”) para ayudar a desarrollar soluciones a los problemas detectados.
