Un reciente estudio del Centro Tow de Periodismo Digital de Columbia ha señalado importantes problemas en la herramienta de búsqueda de ChatGPT. A pesar de estar diseñada para dar respuestas rápidas y respaldadas por fuentes confiables, los investigadores descubrieron que el chatbot tiene dificultades significativas al atribuir citas a sus fuentes originales, e incluso llegó a proporcionar información incorrecta en numerosas ocasiones.
Te puede interesar: [Le preguntamos a la inteligencia artificial quiénes serán los ganadores de The Games Awards 2024: Esto nos dijo]
¿Qué reveló el estudio?
El equipo del Centro Tow analizó cómo ChatGPT maneja la atribución de citas al realizar una prueba con 200 citas provenientes de 20 publicaciones diferentes. Entre estas, incluyeron citas de medios que impiden el acceso de OpenAI a su contenido, lo que probablemente complicó aún más el desempeño del modelo.
El resultado fue preocupante:
- 153 respuestas fueron incorrectas o parcialmente falsas.
- El chatbot solo reconoció sus limitaciones en 7 casos, utilizando expresiones como “no pude encontrar el artículo exacto” o “es posible que”.
En la mayoría de los casos, ChatGPT ofreció respuestas incorrectas con un nivel de confianza que podría engañar fácilmente a los usuarios que esperan información precisa.
Ejemplos de errores
Los investigadores identificaron varios casos en los que la herramienta no solo falló al proporcionar las fuentes correctas, sino que fabricó información errónea:
- Cita mal atribuida: Una carta al editor publicada en el Orlando Sentinel fue erróneamente atribuida a un artículo del Time, dos publicaciones completamente diferentes.
- Problemas con el plagio: Cuando se le pidió a ChatGPT que identificara una cita del New York Times sobre ballenas en peligro de extinción, la herramienta señaló un enlace a un sitio web que había copiado íntegramente la historia original, en lugar del medio legítimo.
Estos errores resaltan un problema clave: la confianza excesiva del modelo para responder incluso cuando la información proporcionada es incorrecta o no tiene fundamento.
OpenAI se pronunció tras los resultados del estudio, afirmando que se trata de un caso “atípico” y que sería difícil abordar las acusaciones sin acceso directo a los datos y la metodología del análisis. Sin embargo, la empresa reconoció que todavía hay espacio para mejorar los resultados de búsqueda y afirmó que continuará trabajando en ello.
¿Por qué importa esto?
Aunque ChatGPT es una herramienta poderosa para muchas tareas, sus fallos en atribución y precisión representan un desafío significativo, especialmente en un contexto donde la desinformación es un problema global. Estas herramientas son cada vez más utilizadas para responder preguntas o buscar información, por lo que errores como los identificados pueden generar confusión o incluso contribuir a la propagación de información inexacta.
Los usuarios confían en la inteligencia artificial para obtener datos confiables, pero estos hallazgos resaltan la importancia de verificar las respuestas proporcionadas por modelos como ChatGPT, particularmente en temas complejos o sensibles.
El futuro de la búsqueda en ChatGPT
OpenAI ha prometido mejoras en su herramienta de búsqueda, pero el estudio del Centro Tow pone de manifiesto los retos que enfrenta esta tecnología para manejar la información de manera precisa y responsable.
Por ahora, aunque ChatGPT es útil en muchas áreas, los usuarios deberían ser cautelosos al utilizarlo como una fuente única de información. La necesidad de realizar verificaciones adicionales sigue siendo clave para garantizar la calidad y la veracidad de los datos obtenidos.
