Hi ha alguna cosa profundament paradoxal en el moment que viu la intel·ligència artificial. Els mateixos empresaris que estan liderant la carrera tecnològica comencen a advertir que aquesta carrera pot estar avançant massa de pressa. Dario Amodei, CEO d’Anthropic, acaba de llançar un dels avisos més contundents dels darrers mesos. La seva proposta és tan senzilla de formular com difícil d’aplicar: cal alentir el desenvolupament dels sistemes d’IA més avançats. No perquè la tecnologia hagi deixat de ser útil, sinó precisament perquè s’està tornant massa poderosa amb massa rapidesa.

I Amodei no està sol. Sam Altman, CEO d’OpenAI, ha recolzat la necessitat d’actuar amb prudència i ha frenat la sortida a borsa de la seva companyia. Elon Musk, un dels principals defensors i, al mateix temps, un dels principals crítics de l’evolució de la IA, també ha mostrat el seu suport a l’advertència. Fins i tot altres grans actors del sector han reconegut que els mecanismes de seguretat no avancen necessàriament al mateix ritme que les capacitats dels models. La imatge és difícil d’ignorar: els protagonistes de la cursa comencen a demanar semàfors mentre continuen trepitjant l’accelerador.

Quan la IA deixa de limitar-se a respondre

El problema ja no és únicament què pot respondre una IA. El veritable salt tecnològic arriba amb els anomenats agents d’intel·ligència artificial: sistemes capaços d’utilitzar eines, navegar per internet, executar tasques, escriure codi, interactuar amb altres sistemes i actuar durant períodes de temps prolongats amb una autonomia creixent. I aquí apareix una nova categoria de risc.

OpenAI ha reconegut que alguns dels seus models han protagonitzat comportaments que van més enllà del que estava previst. La companyia està investigant, entre altres episodis, activitats dels seus agents a internet i el conegut incident relacionat amb Hugging Face, que inicialment va ser tractat com un problema de ciberseguretat i posteriorment també va ser analitzat des de la perspectiva del comportament desalineat dels models. Al setembre, a més, OpenAI va reconèixer que estava investigant informacions sobre agents que haurien utilitzat RubyGems i altres serveis d’internet durant processos d’entrenament i avaluació. La mateixa companyia admet que encara està desenvolupant criteris per determinar com comunicar públicament aquest tipus de comportaments.

Això canvia la naturalesa del debat. Una IA que proporciona una resposta equivocada pot ser un problema. Una IA que pren una decisió equivocada i, a més, té capacitat per executar-la planteja un problema completament diferent. L’advertència d’Anthropic és especialment significativa perquè no procedeix d’un crític extern de la indústria, sinó que procedeix d’un dels seus màxims protagonistes. Amodei ha plantejat la necessitat d’introduir avaluacions independents, augmentar la supervisió i establir mecanismes de coordinació entre empreses i governs. La seva preocupació abasta escenaris com els ciberatacs, la biotecnologia, la desinformació i els sistemes capaços de millorar les seves pròpies capacitats.

La qüestió central és inquietant: què passa si la capacitat dels sistemes creix més de pressa que la nostra capacitat per comprovar que continuen fent allò que volem? Anthropic ha informat recentment de casos en què els seus models van ser utilitzats o van intentar ser utilitzats en activitats relacionades amb ciberatacs, vigilància, propaganda i investigació biològica potencialment perillosa. La companyia assegura haver bloquejat alguns d’aquests usos i haver reforçat els seus sistemes de seguretat.

No significa que estiguem davant de màquines que hagin adquirit voluntat pròpia ni davant d’una intel·ligència artificial que estigui «escapant» dels humans. Convé evitar el sensacionalisme. Però sí que significa que els sistemes són capaços de fer coses que els seus creadors no sempre havien previst. I això, en tecnologia, és una frontera important.

El cas d’Elon Musk afegeix encara més complexitat. Musk va ser un dels signants de les primeres crides públiques a alentir el desenvolupament de la IA. Però posteriorment va crear xAI, va llançar Grok i va entrar directament en la cursa per construir els models més avançats. El seu enfrontament amb OpenAI també té una dimensió empresarial i personal. Musk va ser un dels fundadors d’OpenAI i ha acusat la companyia d’haver-se allunyat de la seva missió original, centrada a desenvolupar intel·ligència artificial en benefici de la humanitat. OpenAI sosté, per contra, que les accions de Musk estan relacionades també amb la competència entre companyies i amb el creixement de la seva pròpia empresa d’IA.

Al maig, un jurat va rebutjar les principals reclamacions de Musk contra OpenAI i Sam Altman. Però la batalla no ha acabat completament. Al setembre, les companyies de Musk van retirar una demanda antimonopoli contra Apple relacionada amb la integració d’OpenAI en els seus productes, tot i que la disputa judicial de Musk contra OpenAI continua. Aquí apareix una de les grans contradiccions de la revolució de la IA: es pot demanar que la tecnologia avanci més a poc a poc mentre s’intenta guanyar la cursa?

OpenAI es troba en una situació igualment paradoxal. D’una banda, ChatGPT s’ha convertit en un dels productes tecnològics de més impacte de la història recent i la companyia prepara una expansió empresarial gegantina. De l’altra, els darrers episodis han posat sota el focus la seva gestió de la seguretat. La mateixa OpenAI ha reconegut que encara no existeix una solució suficient per a tots els problemes d’alineament. El seu científic en cap, Jakub Pachocki, ha defensat fins i tot la possibilitat d’alentiments voluntaris mentre no existeixin estàndards de seguretat compartits.

La companyia també s’ha vist involucrada en altres controvèrsies recents relacionades amb els seus sistemes, des del comportament d’agents a internet fins a les mètriques utilitzades per comparar models i els dubtes sobre l’ús de dades en processos d’entrenament. I aquí apareix una qüestió que transcendeix OpenAI: qui controla aquells que estan construint la tecnologia que pot acabar controlant una part creixent de la nostra economia?

Resposta política

La resposta política estatunidenca tampoc és unànime. Mentre alguns líders tecnològics reclamen més supervisió, Donald Trump ha rebutjat les advertències més alarmistes i ha defensat que els Estats Units necessiten mantenir el seu avantatge tecnològic davant de la Xina. El president ha arribat a qualificar algunes de les propostes de regulació com una «conspiració» contra la IA.

La discussió, per tant, ja no enfronta simplement tecnòlegs i reguladors. Ara hi ha dues posicions dins del mateix ecosistema tecnològic. Una sosté que cal accelerar perquè qui domini la IA dominarà la pròxima gran infraestructura econòmica i estratègica mundial. L’altra adverteix que accelerar sense establir abans determinades barreres de seguretat pot generar riscos que després siguin impossibles de corregir.

Apareix en l’escenari la lluita pel lideratge tecnològic mundial. Una pausa unilateral podria permetre que altres països avancessin. Aquesta és precisament una de les principals crítiques que reben les propostes d’alentiment: si els Estats Units redueixen el ritme mentre la Xina continua desenvolupant models, xips i infraestructura, l’avantatge tecnològic podria canviar de mans.

Per això la regulació de la IA s’ha convertit també en una qüestió de seguretat nacional. Aquí tenim un dels grans dilemes del segle XXI: com es regula una tecnologia que, al mateix temps, és una eina econòmica, militar, científica i geopolítica?

Sobre aquest tema apareixen múltiples preguntes. Durant anys hem debatut si les màquines arribaran a ser més intel·ligents que les persones, però el debat comença a ser un altre. Quina capacitat de decisió estem disposats a delegar-hi? Un sistema que escriu un correu electrònic no planteja el mateix risc que un que pot administrar una xarxa informàtica. Una IA que recomana una inversió no és equivalent a una altra que pot executar automàticament milers d’operacions financeres. Un assistent que ajuda un metge no té les mateixes implicacions que un sistema que pren decisions clíniques sense supervisió. La qüestió fonamental no serà únicament quant sap una IA. Serà què pot fer, amb quina autonomia, amb quina informació i sota quina responsabilitat.

I aquí sorgeix una reflexió especialment rellevant per al sector assegurador. La IA està creant enormes oportunitats: diagnòstic mèdic, prevenció, detecció del frau, automatització, anàlisi de riscos, atenció al client, ciberseguretat, eficiència empresarial. Al mateix temps, està creant riscos nous o multiplicant-ne alguns que ja existien. Qui respon si un agent d’IA comet un error? Qui assumeix els danys provocats per una decisió automatitzada? Ha de respondre l’empresa que utilitza el sistema, el desenvolupador del model, el proveïdor de dades o tots ells? Què passa quan una IA genera una vulnerabilitat que permet un ciberatac?

Són preguntes que el sector assegurador haurà de respondre molt abans que existeixi una jurisprudència consolidada. La intel·ligència artificial pot convertir-se, de fet, en un dels grans camps de creixement de l’assegurança dels pròxims anys: ciberseguretat, responsabilitat civil tecnològica, interrupció de negoci, protecció de dades, errors algorítmics, riscos de tercers i noves formes de frau, entre molts conceptes que caldrà revisar.

La qüestió és que els qui millor coneixen la IA són els que estan començant a demanar que anem amb compte amb ella. No perquè vulguin aturar la innovació, sinó perquè saben millor que ningú fins on està arribant. La paradoxa és que aquests mateixos líders tenen enormes incentius econòmics per continuar avançant. Anthropic i OpenAI es preparen per a operacions financeres de dimensions extraordinàries, mentre la competència pel lideratge mundial de la intel·ligència artificial continua accelerant-se.

Per això potser la pregunta no hauria de ser si hem d’aturar la intel·ligència artificial. Probablement és massa tard per a això. La pregunta veritablement important és una altra: som capaços de construir els mecanismes de seguretat, responsabilitat i confiança a la mateixa velocitat amb què estem construint la tecnologia? Perquè la pròxima gran revolució de la IA no dependrà únicament que les màquines siguin més intel·ligents. Dependrà que els humans continuem sent capaços de decidir per a què les utilitzem, què els permetem fer i on posem els límits.