Un estudio de la BBC revela que nueve de cada diez respuestas de chatbots de IA sobre noticias contienen errores, con problemas de precisión, atribución de fuentes y parcialidad
La inteligencia artificial generativa ha revolucionado la manera en que accedemos a la información, pero su fiabilidad sigue siendo un reto. Modelos como ChatGPT, Gemini o Copilot utilizan grandes volúmenes de datos para generar respuestas basadas en patrones aprendidos, pero a menudo mezclan hechos con opiniones, información actual con archivos antiguos y cometen errores de atribución. Esto plantea preocupaciones sobre su uso en la difusión de noticias y la confianza del público en estas herramientas.
Un estudio realizado por la BBC ha revelado que nueve de cada diez respuestas generadas por chatbots de inteligencia artificial sobre temas de actualidad contenían algún tipo de problema, y más de la mitad presentaban errores significativos. Los investigadores analizaron las respuestas de cuatro plataformas: Google Gemini, Microsoft Copilot, OpenAI ChatGPT y Perplexity. Según el informe, Gemini fue el chatbot con más errores graves (más del 60% de sus respuestas), seguido de Copilot, ChatGPT y Perplexity, cuyos errores significativos rondaban el 40%.
El objetivo del estudio era evaluar la precisión de estas herramientas y analizar cómo citaban las fuentes de noticias, incluyendo artículos de la BBC. Durante la investigación, la BBC levantó temporalmente el bloqueo que impide a estos chatbots acceder a sus contenidos, aunque la restricción se reinstauró tras la evaluación.
Errores de precisión y desinformación
Uno de los hallazgos más preocupantes fue la inexactitud de muchas respuestas. En el caso de Gemini, el 46% de las respuestas contenían errores significativos, mientras que Perplexity presentó problemas en más del 80% de sus respuestas.
Un ejemplo claro de imprecisión ocurrió cuando Gemini afirmó que el Servicio Nacional de Salud del Reino Unido (NHS) no recomienda el vapeo como método para dejar de fumar. Sin embargo, la realidad es que el NHS sí lo recomienda como una alternativa para quienes buscan abandonar el tabaco.
Otro caso llamativo fue el de Copilot, que presentó información errónea sobre una víctima de abuso en Francia. Según el chatbot, la mujer descubrió los crímenes cometidos en su contra a través de síntomas como desmayos y pérdida de memoria, cuando en realidad fue la policía quien le informó tras encontrar videos incriminatorios.
También se detectaron errores en cifras y fechas. Por ejemplo, Copilot dio un dato incorrecto sobre la cuota de mercado de Google Chrome, mencionó erróneamente el año de fallecimiento del cantante de One Direction Liam Payne (quien en realidad sigue vivo) y calculó mal en tres veces el número de prisioneros liberados bajo un programa de excarcelación anticipada en el Reino Unido.
Además, Perplexity se equivocó al informar sobre la muerte del presentador británico Michael Mosley, atribuyéndole declaraciones a su esposa que en realidad no hizo, como expresar «alivio» tras su fallecimiento.
Problemas de atribución y sesgo editorial
El estudio también reveló que los chatbots a menudo citaban fuentes incorrectas o usaban información desactualizada. En el caso de Gemini, el 45% de sus respuestas presentaban errores significativos en la atribución de fuentes, y en el 26% de los casos, directamente no incluía ninguna referencia.
Otro problema identificado fue la manipulación de citas. En ocho casos distintos, los chatbots alteraron frases sacadas de artículos de la BBC o las atribuyeron incorrectamente. ChatGPT fue el único de los cuatro modelos evaluados que no presentó este problema.
Además, el estudio encontró que los chatbots tienden a introducir opiniones en sus respuestas sin especificar si provienen de una fuente confiable o si son inferencias generadas por la IA. En Copilot y Gemini, al menos el 10% de las respuestas contenían algún tipo de sesgo editorializado. Perplexity presentó este problema en un 7% de los casos y ChatGPT en un 3%.
Por ejemplo, en una respuesta sobre el primer ministro británico Keir Starmer, Copilot afirmó que tenía «un plan integral para abordar los problemas más urgentes del Reino Unido». Aunque la información citaba artículos de la BBC, el estudio señaló que esto podía dar la impresión de que la conclusión provenía de la cadena, cuando en realidad era una inferencia no atribuida.
Otra respuesta errónea vino de Gemini, que afirmó: «Es decisión de cada persona creer si Lucy Letby es inocente o culpable», cuando la realidad es que Letby ya fue declarada culpable en un juicio.
Los chatbots también demostraron confusión al manejar información sobre el gobierno del Reino Unido. En varios casos, ChatGPT y Perplexity afirmaron que el aumento del tope en los precios de la energía afectaba a todo el país, cuando en realidad no se aplicaba a Irlanda del Norte, un dato que sí figuraba en los artículos originales de la BBC.
Regulación y transparencia: un reto pendiente
El informe concluye que las empresas que desarrollan IA generativa deben mejorar sus modelos para garantizar respuestas más precisas y confiables, especialmente en temas de actualidad. La BBC instó a estas compañías a colaborar con medios de comunicación para rectificar los problemas detectados y trabajar en soluciones a largo plazo.
Pete Archer, director del programa de IA generativa de la BBC, señaló que es fundamental establecer regulaciones que garanticen la veracidad de las respuestas de estos modelos. También sugirió la creación de un instituto de investigación independiente que evalúe la precisión de la información generada por la IA en plataformas de noticias.
Por su parte, Deborah Turness, directora de Noticias y Actualidad de la BBC, advirtió que las herramientas de IA están «jugando con fuego». En su opinión, los chatbots no diferencian bien entre hechos y opiniones, mezclan información actual con archivos antiguos y tienden a generar respuestas sesgadas. «El resultado es un cóctel confuso que está muy lejos de los hechos verificados que los consumidores esperan y merecen», concluyó.
Este informe refuerza el debate sobre el papel de la inteligencia artificial en el periodismo y plantea la necesidad de mejorar su precisión para evitar la propagación de desinformación.