Los grandes modelos lingüísticos como ChatGPT no pueden aprender de forma independiente ni adquirir nuevas habilidades, lo que significa que no suponen una amenaza existencial para la humanidad
Según un nuevo estudio de la Universidad de Bath y la Universidad Técnica de Darmstadt (Alemania), ChatGPT y otros grandes modelos lingüísticos (LLM) no pueden aprender de forma independiente ni adquirir nuevas habilidades, lo que significa que no suponen una amenaza existencial para la humanidad.
El estudio, publicado hoy como parte de las actas de la 62ª Reunión Anual de la Asociación de Lingüística Computacional (ACL 2024) -la principal conferencia internacional sobre procesamiento del lenguaje natural- revela que los LLM tienen una capacidad superficial para seguir instrucciones y sobresalir en el dominio del lenguaje, sin embargo, no tienen potencial para dominar nuevas habilidades sin instrucción explícita. Esto significa que siguen siendo inherentemente controlables, predecibles y seguros.
Esto significa que siguen siendo inherentemente controlables, predecibles y seguros.
El equipo de investigadores llegó a la conclusión de que los LLM -que se están entrenando con conjuntos de datos cada vez mayores- pueden seguir utilizándose sin problemas de seguridad, aunque la tecnología puede seguir siendo objeto de abusos.
Con el crecimiento, es probable que estos modelos generen un lenguaje más sofisticado y mejoren a la hora de seguir instrucciones explícitas y detalladas, pero es muy poco probable que adquieran habilidades de razonamiento complejas.
«La narrativa predominante de que este tipo de IA es una amenaza para la humanidad impide la adopción y el desarrollo generalizados de estas tecnologías, y además desvía la atención de los problemas genuinos que requieren nuestra atención», afirma el Dr. Harish Tayyar Madabushi, informático de la Universidad de Bath y coautor del nuevo estudio sobre las “capacidades emergentes” de los LLM.
El equipo de investigación, dirigido por la profesora Iryna Gurevych de la Universidad Técnica de Darmstadt (Alemania), llevó a cabo experimentos para comprobar la capacidad de los LLM de realizar tareas que los modelos nunca habían llevado a cabo: las llamadas «capacidades emergentes».
Por ejemplo, los LLM pueden responder a preguntas sobre situaciones sociales sin haber sido nunca entrenados o programados explícitamente para ello. Aunque investigaciones anteriores sugerían que esto se debía a que los modelos «conocían» las situaciones sociales, los investigadores demostraron que, en realidad, se debía a que los modelos utilizaban una capacidad bien conocida de los LLM para completar tareas basándose en unos pocos ejemplos que se les presentaban, lo que se conoce como «aprendizaje en contexto» (ICL, por sus siglas en inglés).
Mediante miles de experimentos, el equipo demostró que una combinación de la capacidad de los LLM para seguir instrucciones (ICL), la memoria y la competencia lingüística puede explicar tanto las capacidades como las limitaciones que presentan los LLM.
Sin razonamiento ni planificación
En palabras del Dr. Tayyar Madabushi: «El temor ha sido que, a medida que los modelos se hacen más y más grandes, serán capaces de resolver nuevos problemas que actualmente no podemos predecir, lo que plantea la amenaza de que estos modelos más grandes adquieran capacidades peligrosas, como el razonamiento y la planificación.
«Esto ha suscitado muchos debates -por ejemplo, en la Cumbre sobre Seguridad de la IA celebrada el año pasado en Bletchley Park, para la que se nos pidieron comentarios-, pero nuestro estudio demuestra que el temor a que un modelo salga y haga algo completamente inesperado, innovador y potencialmente peligroso no es válido». La preocupación por la amenaza existencial que suponen los LLM no se limita a los no expertos y ha sido expresada por algunos de los mejores investigadores de IA de todo el mundo.
Sin embargo, el Dr. Tayyar Madabushi sostiene que este temor es infundado, ya que las pruebas de los investigadores demostraron claramente la ausencia de capacidades de razonamiento complejo emergente en los LLM.
«Si bien es importante abordar el potencial existente para el mal uso de la IA, como la creación de noticias falsas y el mayor riesgo de fraude, sería prematuro promulgar regulaciones basadas en amenazas existenciales percibidas», dijo.
«Lo que es importante, lo que esto significa para los usuarios finales es que confiar en las LLM para interpretar y realizar tareas complejas que requieren un razonamiento complejo sin instrucciones explícitas probablemente sea un error. En lugar de ello, es probable que los usuarios se beneficien de especificar explícitamente lo que necesitan que hagan los modelos y de proporcionar ejemplos siempre que sea posible para todas las tareas, salvo las más sencillas».