El caso de la IA que escapó de los servidores de OpenAI pone de relieve la necesidad de una pausa

Un grave incidente acaba de volver a poner de relieve la falta de control en la carrera de la inteligencia artificial hacia sistemas con capacidades superiores a las humanas: la empresa OpenAI, creadora de ChatGPT, ha confirmado que dos de sus modelos en fase de pruebas que estaban siendo testeados en materia de ciberseguridad escaparon de un entorno seguro y hackearon los servidores de la plataforma de IA Hugging Face para robar las respuestas del examen que se les había planteado.

Nadie instruyó a los modelos para hacer esto, y ni siquiera debería haber sido posible dado que el entorno de pruebas no tenía acceso a internet: sin embargo, los modelos descubrieron y encadenaron vulnerabilidades desconocidas en los sistemas informáticos para lograr su objetivo. Se trata del primer caso documentado de este tipo.

"Durante años nos dijeron que la posibilidad de que una IA escapara al control humano era ciencia ficción", expuso Maxime Fournes, CEO de la organización internacional sin ánimo de lucro PauseAI.

Este preocupante episodio se enmarca en una etapa de grandes avances en los modelos de IA. Según recuerda Fournes, Mythos de Anthropic mostró hace unos meses que las inteligencias artificiales capaces de hackear prácticamente cualquier sistema informático son ya una realidad, mientras que ahora se ha constatado el peligro de que una IA "use esas capacidades, sin que nadie se lo pida, contra otra empresa".

El hecho de que los modelos de OpenAI llevaran a cabo las acciones mencionadas con la motivación aparentemente inocua de aprobar un examen es la enésima prueba de lo lejos que estamos de garantizar que la inteligencia artificial avanzada sea segura.

Por último, queda patente que la propia investigación y desarrollo de estos modelos acarrea serios riesgos: no basta con evaluar una IA antes de que salga al mercado, como plantea el reglamento europeo (AI Act). Por eso desde PauseAI nos reafirmamos en la necesidad de un tratado internacional que ponga freno a la carrera de la IA de manera indefinida hasta que se solucionen los enormes problemas de seguridad actuales, que llevan a numerosos expertos de primer nivel a alertar de que la inteligencia artificial avanzada supone un riesgo de extinción para la humanidad, incluso en la presente década.

Más información: https://pauseai.es
Únete a nosotros: https://pauseai.es/inscripcion
Donaciones: https://pauseai.info/donate
Boletín de noticias: https://pauseaispanish.substack.com
Canal de Whatsapp: https://chat.whatsapp.com/KEgD22LEo6xEVvjH4fD8br