Hay algo profundamente paradójico en el momento que vive la inteligencia artificial. Los mismos empresarios que están liderando la carrera tecnológica empiezan a advertir de que esa carrera puede estar avanzando demasiado deprisa. Dario Amodei, CEO de Anthropic, acaba de lanzar uno de los avisos más contundentes de los últimos meses. Su propuesta es tan sencilla de formular como difícil de aplicar: hay que ralentizar el desarrollo de los sistemas de IA más avanzados. No porque la tecnología haya dejado de ser útil, sino precisamente porque se está volviendo demasiado poderosa demasiado rápidamente.

Y Amodei no está solo. Sam Altman, CEO de OpenAI, ha respaldado la necesidad de actuar con prudencia y ha frenado la salida a bolsa de su compañía. Elon Musk, uno de los mayores defensores y, al mismo tiempo, uno de los mayores críticos de la evolución de la IA, también ha mostrado su apoyo a la advertencia. Incluso otros grandes actores del sector han reconocido que los mecanismos de seguridad no avanzan necesariamente al mismo ritmo que las capacidades de los modelos. La imagen resulta difícil de ignorar: los protagonistas de la carrera empiezan a pedir semáforos mientras siguen pisando el acelerador.

Cuando la IA deja de limitarse a responder

El problema ya no es únicamente lo que una IA puede contestar. El verdadero salto tecnológico está llegando con los llamados agentes de inteligencia artificial: sistemas capaces de utilizar herramientas, navegar por internet, ejecutar tareas, escribir código, interactuar con otros sistemas y actuar durante periodos de tiempo prolongados con una autonomía creciente. Y ahí aparece una nueva categoría de riesgo.

OpenAI ha reconocido que algunos de sus modelos han protagonizado comportamientos que van más allá de lo previsto. La compañía está investigando, entre otros episodios, actividades de sus agentes en internet y el conocido incidente relacionado con Hugging Face, que inicialmente fue tratado como un problema de ciberseguridad y posteriormente analizado también desde la perspectiva del comportamiento desalineado de los modelos. En septiembre, además, OpenAI reconoció que estaba investigando informaciones sobre agentes que habrían utilizado RubyGems y otros servicios de internet durante procesos de entrenamiento y evaluación. La propia compañía admite que todavía está desarrollando criterios para determinar cómo comunicar públicamente este tipo de comportamientos.

Esto cambia la naturaleza del debate. Una IA que proporciona una respuesta equivocada puede ser un problema. Una IA que toma una decisión equivocada y además tiene capacidad para ejecutarla plantea un problema completamente diferente. La advertencia de Anthropic resulta especialmente significativa porque no procede de un crítico externo de la industria sino que procede de uno de sus máximos protagonistas. Amodei ha planteado la necesidad de introducir evaluaciones independientes, aumentar la supervisión y establecer mecanismos de coordinación entre empresas y gobiernos. Su preocupación alcanza escenarios como ciberataques, biotecnología, desinformación y sistemas capaces de mejorar sus propias capacidades.

La cuestión central es inquietante: ¿qué ocurre si la capacidad de los sistemas crece más deprisa que nuestra capacidad para comprobar que siguen haciendo aquello que queremos? Anthropic ha informado recientemente de casos en los que sus modelos fueron utilizados o intentaron ser utilizados en actividades relacionadas con ciberataques, vigilancia, propaganda e investigación biológica potencialmente peligrosa. La compañía asegura haber bloqueado algunos de estos usos y haber reforzado sus sistemas de seguridad.

No significa que estemos ante máquinas que hayan adquirido voluntad propia ni ante una inteligencia artificial que esté «escapando» de los humanos. Conviene evitar el sensacionalismo. Pero sí significa que los sistemas son capaces de hacer cosas que sus creadores no siempre habían previsto. Y eso, en tecnología, es una frontera importante.

El caso de Elon Musk añade todavía más complejidad. Musk fue uno de los firmantes de las primeras llamadas públicas a ralentizar el desarrollo de la IA. Pero posteriormente creó xAI, lanzó Grok y entró directamente en la carrera por construir los modelos más avanzados. Su enfrentamiento con OpenAI también tiene una dimensión empresarial y personal. Musk fue uno de los fundadores de OpenAI y ha acusado a la compañía de haberse alejado de su misión original, centrada en desarrollar inteligencia artificial en beneficio de la humanidad. OpenAI sostiene, por el contrario, que las acciones de Musk están relacionadas también con la competencia entre compañías y con el crecimiento de su propia empresa de IA.

En mayo, un jurado rechazó las reclamaciones principales de Musk contra OpenAI y Sam Altman. Pero la batalla no ha terminado completamente. En septiembre, las compañías de Musk retiraron una demanda antimonopolio contra Apple relacionada con la integración de OpenAI en sus productos, aunque la disputa judicial de Musk contra OpenAI continúa. Aquí aparece una de las grandes contradicciones de la revolución de la IA: ¿Se puede pedir que la tecnología avance más despacio mientras se intenta ganar la carrera?

OpenAI se encuentra en una situación igualmente paradójica. Por un lado, ChatGPT se ha convertido en uno de los productos tecnológicos de mayor impacto de la historia reciente y la compañía prepara una expansión empresarial gigantesca. Por otro, los últimos episodios han colocado bajo el foco su gestión de la seguridad. La propia OpenAI ha reconocido que todavía no existe una solución suficiente para todos los problemas de alineamiento. Su científico jefe, Jakub Pachocki, ha defendido incluso la posibilidad de ralentizaciones voluntarias mientras no existan estándares de seguridad compartidos.

La compañía también se ha visto envuelta en otras controversias recientes relacionadas con sus sistemas, desde el comportamiento de agentes en internet hasta las métricas utilizadas para comparar modelos y las dudas sobre el uso de datos en procesos de entrenamiento. Y aquí aparece una cuestión que trasciende a OpenAI: ¿quién controla a quiénes están construyendo la tecnología que puede acabar controlando una parte creciente de nuestra economía?

Respuesta política

La respuesta política estadounidense tampoco es unánime. Mientras algunos líderes tecnológicos reclaman más supervisión, Donald Trump ha rechazado las advertencias más alarmistas y ha defendido que Estados Unidos necesita mantener su ventaja tecnológica frente a China. El presidente ha llegado a calificar algunas de las propuestas de regulación como una «conspiración» contra la IA.

La discusión, por tanto, ya no enfrenta simplemente a tecnólogos y reguladores. Ahora existen dos posiciones dentro del propio ecosistema tecnológico. Una sostiene que hay que acelerar porque quien domine la IA dominará la próxima gran infraestructura económica y estratégica mundial. La otra advierte de que acelerar sin establecer antes determinadas barreras de seguridad puede generar riesgos que después sean imposibles de corregir.

Aparece en el escenario la lucha por el liderazgo tecnológico mundial. Una pausa unilateral podría permitir que otros países avancen. Esta es precisamente una de las principales críticas que reciben las propuestas de ralentización: si Estados Unidos reduce el ritmo mientras China continúa desarrollando modelos, chips e infraestructura, la ventaja tecnológica podría cambiar de manos.

Por eso la regulación de la IA se ha convertido también en una cuestión de seguridad nacional. Ahí tenemos uno de los grandes dilemas del siglo XXI: ¿cómo se regula una tecnología que, al mismo tiempo, es una herramienta económica, militar, científica y geopolítica?

Sobre este tema aparecen múltiples preguntas. Durante años hemos debatido si las máquinas llegarán a ser más inteligentes que las personas, pero el debate empieza a ser otro. ¿Qué capacidad de decisión estamos dispuestos a delegar en ellas? Un sistema que escribe un correo electrónico no plantea el mismo riesgo que uno que puede administrar una red informática. Una IA que recomienda una inversión no es equivalente a otra que puede ejecutar automáticamente miles de operaciones financieras. Un asistente que ayuda a un médico no tiene las mismas implicaciones que un sistema que toma decisiones clínicas sin supervisión. La cuestión fundamental no será únicamente cuánto sabe una IA. Será qué puede hacer, con qué autonomía, con qué información y bajo qué responsabilidad.

Y aquí surge una reflexión especialmente relevante para el sector asegurador. La IA está creando enormes oportunidades: diagnóstico médico, prevención, detección del fraude, automatización, análisis de riesgos, atención al cliente, ciberseguridad, eficiencia empresarial. Al mismo tiempo está creando riesgos nuevos o multiplicando algunos ya existentes. ¿Quién responde si un agente de IA comete un error? ¿Quién asume los daños provocados por una decisión automatizada? ¿Debe responder la empresa que utiliza el sistema, el desarrollador del modelo, el proveedor d datos o todos ellos? ¿Qué ocurre cuando una IA genera una vulnerabilidad que permite un ciberataque?

Son preguntas que el sector asegurador tendrá que responder mucho antes de que exista una jurisprudencia consolidada. La inteligencia artificial puede convertirse, de hecho, en uno de los grandes campos de crecimiento del seguro de los próximos años: ciberseguridad, responsabilidad civil tecnológica, interrupción de negocio, protección de datos, errores algorítmicos, riesgos de terceros y nuevas formas de fraude, entre muchos conceptos a revisar.

La cuestión es que los que mejor conocen la IA son los que están empezando a pedir que tengamos cuidado con ella. No porque quieran detener la innovación sino porque saben mejor que nadie hasta dónde está llegando. La paradoja es que esos mismos líderes tienen enormes incentivos económicos para continuar avanzando. Anthropic y OpenAI se preparan para operaciones financieras de dimensiones extraordinarias, mientras la competencia por el liderazgo mundial de la inteligencia artificial continúa acelerándose.

Por eso quizá la pregunta no debería ser si tenemos que frenar la inteligencia artificial. Probablemente sea demasiado tarde para eso. La pregunta verdaderamente importante es otra: ¿Somos capaces de construir los mecanismos de seguridad, responsabilidad y confianza a la misma velocidad con la que estamos construyendo la tecnología? Porque la próxima gran revolución de la IA no dependerá únicamente de que las máquinas sean más inteligentes. Dependerá de que los humanos sigamos siendo capaces de decidir para qué las utilizamos, qué les permitimos hacer y dónde ponemos los límites.