Las conferencias sobre IA tienen que volver a tomar la seguridad en serio

El problema

[Enlace a la petición internacional]

[ACTUALIZACIÓN: La Cumbre de India ya ha concluido, y con ella nuestra campaña, pero todavía puedes firmar esta petición para mostrar tu apoyo y de cara a próximas cumbres internacionales sobre IA]

La inteligencia artificial (IA) ha incrementado la productividad humana y traído avances a la medicina, pero su rápido avance conlleva riesgos que pueden sobrepasar cualquier frontera nacional. Las advertencias de los principales expertos son claras: únicamente mediante una cooperación internacional podrá el mundo abordar riesgos como el mal uso o la pérdida de control.

En la primera Cumbre sobre Seguridad de la IA (Bletchley 2023), se alertó sobre el "potencial para daños graves, o incluso catastróficos". Los firmantes de esta declaración se decidieron a trabajar conjuntamente para asegurar que la IA continúe siendo segura.

Sin embargo, en la Cumbre de Acción sobre la IA (París 2025), la seguridad fue eclipsada por los intereses económicos. Según Max Tegmark, profesor del Instituto Tecnológico de Massachusetts (MIT), "se sintió como si estuviesen tratando de deshacer lo de Bletchley". Tegmark percibió la omisión de la seguridad en esta nueva declaración como "una receta para el desastre".

La nueva Cumbre sobre el Impacto de la IA (Delhi, 19 y 20 de febrero, 2026) se acerca; a ella acudirá un número de líderes empresariales superior al de la conferencia anterior en París.

La "Seguridad" pasó a "Acción", y finalmente a "Impacto": el cambio de prioridades resulta desalentador. Pese a ello, cientos de expertos, entre ellos 12 galardonados con el premio Nobel, han llamado a "un acuerdo internacional entre gobiernos en torno a líneas rojas para la IA, garantizando su operatividad, con mecanismos de cumplimiento rigurosos, para finales de 2026".

La Cumbre de Delhi supone una oportunidad crítica para hacer saber de esta advertencia. Juntos podemos revertir los pasos mal dados, y promover un curso ético y seguro.

Nuestra petición

Las cumbres sobre IA deben volver a tomar la seguridad en serio. Llamamos a las delegaciones de España y los países hispanoamericanos a defender públicamente las siguientes prioridades durante la próxima Cumbre en Delhi:

  1. Estándares de seguridad vinculantes. La autorregulación voluntaria no genera una seguridad real. Necesitamos normativas independientes que sean verificables y ejecutables.
  2. Líneas rojas. La IA necesita límites claros: ¿Qué riesgos no podemos aceptar?, ¿en qué situaciones debe haber una pausa en el desarrollo? Estos límites solo pueden ser implantados mediante una cooperación internacional.

El progreso tecnológico no es un fin en sí mismo, debe tomar forma en función de las necesidades e intereses de la humanidad.

Cada firma proclama: el futuro de la IA no debe ser diseñado únicamente por corporaciones. La gran mayoría de la población reclama una mayor protección, y queremos una participación democrática y real.

¿Qué son las líneas rojas en la IA?

Las líneas rojas prohíben sistemas de IA que supongan un riesgo inaceptable para todos nosotros, incluyendo sistemas que:

    • Involucren una auto-mejora sin supervisión.

    • Engañen a los humanos de forma sistemática.

    • Permitan un mal uso potencialmente catastrófico, como la creación de armas biológicas.

¿Cómo se implementa un acuerdo internacional?

El entrenamiento de IA a día de hoy requiere el uso de centros de datos masivos con chips especializados. Esta concentración supone un cuello de botella útil para la regulación.

Un acuerdo internacional podría basarse en tres pilares:

  1. Supervisión internacional: un nuevo organismo internacional verifica el seguimiento de los estándares de seguridad colaborando con las autoridades nacionales.
  2. Transparencia computacional: los entrenamientos de los modelos de IA pasan a ser registrados y supervisados. Los chips se diseñan para permitir una trazabilidad de su uso.
  3. Consecuencias ante incumplimientos: los estados acuerdan sanciones conjuntas frente a actores que crucen líneas rojas, desarrollando estrategias de respuesta ante posibles crisis.

Opinión de los expertos

"Mitigar el riesgo de extinción a causa de la IA debería ser una prioridad global, equiparable a otros riesgos masivos como las pandemias y la guerra nuclear" – Declaración de 2023 sobre los riesgos de la IA, firmada por tres de los científicos de inteligencia artificial más citados y varios líderes de las principales compañías del sector

"Trabajé en el equipo de seguridad de OpenAI [la empresa creadora de ChatGPT] durante cuatro años, y puedo decir con convencimiento que las empresas de IA no se toman tu seguridad con la suficiente seriedad, y no están cerca de resolver una serie de problemas de seguridad de naturaleza crítica" – Steven Adler, antiguo responsable de Open AI para evaluaciones de capacidades peligrosas

"Queremos resaltar que algunos sistemas de IA actuales ya demuestran la capacidad y la tendencia a sabotear los esfuerzos de sus creadores en materia de seguridad y control" – Declaración conjunta en los Diálogos internacionales sobre seguridad de la IA, celebrados en Shanghai en 2025, con la participación de Stuart Russell, Andrew Yao y otros investigadores

Sobre nosotros

Esta es una petición de PauseAI, una organización internacional sin ánimo de lucro que promueve una mayor seguridad y control sobre los sistemas de IA avanzada. Sitios web: pauseai.info (PauseAI Global), pauseai.es (PauseAI En Español - España e Hispanoamérica) 

avatar of the starter
Ayoze García GonzálezCreador de la peticiónPeriodista canario, líder actual de la rama española de PauseAI

3889

El problema

[Enlace a la petición internacional]

[ACTUALIZACIÓN: La Cumbre de India ya ha concluido, y con ella nuestra campaña, pero todavía puedes firmar esta petición para mostrar tu apoyo y de cara a próximas cumbres internacionales sobre IA]

La inteligencia artificial (IA) ha incrementado la productividad humana y traído avances a la medicina, pero su rápido avance conlleva riesgos que pueden sobrepasar cualquier frontera nacional. Las advertencias de los principales expertos son claras: únicamente mediante una cooperación internacional podrá el mundo abordar riesgos como el mal uso o la pérdida de control.

En la primera Cumbre sobre Seguridad de la IA (Bletchley 2023), se alertó sobre el "potencial para daños graves, o incluso catastróficos". Los firmantes de esta declaración se decidieron a trabajar conjuntamente para asegurar que la IA continúe siendo segura.

Sin embargo, en la Cumbre de Acción sobre la IA (París 2025), la seguridad fue eclipsada por los intereses económicos. Según Max Tegmark, profesor del Instituto Tecnológico de Massachusetts (MIT), "se sintió como si estuviesen tratando de deshacer lo de Bletchley". Tegmark percibió la omisión de la seguridad en esta nueva declaración como "una receta para el desastre".

La nueva Cumbre sobre el Impacto de la IA (Delhi, 19 y 20 de febrero, 2026) se acerca; a ella acudirá un número de líderes empresariales superior al de la conferencia anterior en París.

La "Seguridad" pasó a "Acción", y finalmente a "Impacto": el cambio de prioridades resulta desalentador. Pese a ello, cientos de expertos, entre ellos 12 galardonados con el premio Nobel, han llamado a "un acuerdo internacional entre gobiernos en torno a líneas rojas para la IA, garantizando su operatividad, con mecanismos de cumplimiento rigurosos, para finales de 2026".

La Cumbre de Delhi supone una oportunidad crítica para hacer saber de esta advertencia. Juntos podemos revertir los pasos mal dados, y promover un curso ético y seguro.

Nuestra petición

Las cumbres sobre IA deben volver a tomar la seguridad en serio. Llamamos a las delegaciones de España y los países hispanoamericanos a defender públicamente las siguientes prioridades durante la próxima Cumbre en Delhi:

  1. Estándares de seguridad vinculantes. La autorregulación voluntaria no genera una seguridad real. Necesitamos normativas independientes que sean verificables y ejecutables.
  2. Líneas rojas. La IA necesita límites claros: ¿Qué riesgos no podemos aceptar?, ¿en qué situaciones debe haber una pausa en el desarrollo? Estos límites solo pueden ser implantados mediante una cooperación internacional.

El progreso tecnológico no es un fin en sí mismo, debe tomar forma en función de las necesidades e intereses de la humanidad.

Cada firma proclama: el futuro de la IA no debe ser diseñado únicamente por corporaciones. La gran mayoría de la población reclama una mayor protección, y queremos una participación democrática y real.

¿Qué son las líneas rojas en la IA?

Las líneas rojas prohíben sistemas de IA que supongan un riesgo inaceptable para todos nosotros, incluyendo sistemas que:

    • Involucren una auto-mejora sin supervisión.

    • Engañen a los humanos de forma sistemática.

    • Permitan un mal uso potencialmente catastrófico, como la creación de armas biológicas.

¿Cómo se implementa un acuerdo internacional?

El entrenamiento de IA a día de hoy requiere el uso de centros de datos masivos con chips especializados. Esta concentración supone un cuello de botella útil para la regulación.

Un acuerdo internacional podría basarse en tres pilares:

  1. Supervisión internacional: un nuevo organismo internacional verifica el seguimiento de los estándares de seguridad colaborando con las autoridades nacionales.
  2. Transparencia computacional: los entrenamientos de los modelos de IA pasan a ser registrados y supervisados. Los chips se diseñan para permitir una trazabilidad de su uso.
  3. Consecuencias ante incumplimientos: los estados acuerdan sanciones conjuntas frente a actores que crucen líneas rojas, desarrollando estrategias de respuesta ante posibles crisis.

Opinión de los expertos

"Mitigar el riesgo de extinción a causa de la IA debería ser una prioridad global, equiparable a otros riesgos masivos como las pandemias y la guerra nuclear" – Declaración de 2023 sobre los riesgos de la IA, firmada por tres de los científicos de inteligencia artificial más citados y varios líderes de las principales compañías del sector

"Trabajé en el equipo de seguridad de OpenAI [la empresa creadora de ChatGPT] durante cuatro años, y puedo decir con convencimiento que las empresas de IA no se toman tu seguridad con la suficiente seriedad, y no están cerca de resolver una serie de problemas de seguridad de naturaleza crítica" – Steven Adler, antiguo responsable de Open AI para evaluaciones de capacidades peligrosas

"Queremos resaltar que algunos sistemas de IA actuales ya demuestran la capacidad y la tendencia a sabotear los esfuerzos de sus creadores en materia de seguridad y control" – Declaración conjunta en los Diálogos internacionales sobre seguridad de la IA, celebrados en Shanghai en 2025, con la participación de Stuart Russell, Andrew Yao y otros investigadores

Sobre nosotros

Esta es una petición de PauseAI, una organización internacional sin ánimo de lucro que promueve una mayor seguridad y control sobre los sistemas de IA avanzada. Sitios web: pauseai.info (PauseAI Global), pauseai.es (PauseAI En Español - España e Hispanoamérica) 

avatar of the starter
Ayoze García GonzálezCreador de la peticiónPeriodista canario, líder actual de la rama española de PauseAI
50 personas han firmado esta semana

3889


Los destinatarios de la petición

Pedro Sánchez
Pedro Sánchez

Opiniones de firmantes

Actualizaciones de la petición