«La ciencia sin conciencia no es sino ruina del alma.»
— Rabelais, Pantagruel

Hubo un tiempo en que el hombre temía ser destruido por una naturaleza hostil. Después pensó que la destrucción podía venir de una divinidad punitiva. Más tarde, en épocas más agnósticas, creyó  que sería el hombre quien destruyese al hombre. Ahora comienza a insinuarse un temor diferente y paradójico: que nuestra ruina proceda de nuestra propia incuria y estupidez, de la imprudencia con que deleguemos en las máquinas aquello que nos hacía humanos.

Los propios creadores de la inteligencia artificial empiezan a pedir cautela. La cuestión ya no es solamente hasta dónde puede llegar la máquina, sino hasta qué punto podemos acabar nosotros pensando como máquinas: acumulando información mientras renunciamos al juicio, la duda y la responsabilidad.

Algo singular acaba de ocurrir en el mundo de la IA. No son únicamente sus críticos quienes hacen sonar la alarma, sino algunos de quienes dirigen las empresas que compiten por construir los sistemas más poderosos. Dario Amodei, responsable de Anthropic y conocido por sus cautelas sobre los riesgos éticos de esta tecnología, ha pedido reducir el ritmo al que aumentan las capacidades de los modelos más avanzados y reforzar las evaluaciones de seguridad. Sam Altman, de OpenAI, Elon Musk y otros protagonistas de esta carrera han expresado también, con diferentes matices, la necesidad de mayores precauciones.

Conviene no exagerar. No existe consenso científico según el cual la IA vaya a escapar de nuestro control, y mucho menos una fecha establecida para ello. Pero que algunos de quienes mejor conocen esta tecnología —y poseen además enormes intereses económicos en desarrollarla— adviertan de que quizá avanzamos demasiado deprisa, merece nuestra atención.

La palabra que inevitablemente reaparece es singularidad. En su sentido más fuerte designa el hipotético momento en que una IA contribuya decisivamente a crear otra superior a ella; ésta produzca a su vez una todavía mejor y comience así un proceso acelerado de automejora. La humanidad dejaría entonces de ser necesariamente la inteligencia más capaz del planeta. Una sola super IA —Laia, para los amigos— podría poseer todos los conocimientos de todos los seres humanos, que estos voluntariamente le habrían conferido, y utilizarlos para operar y decidir asuntos cruciales en microsegundos sobre esa base tan aparentemente sólida.

¿Ocurrirá? No lo sabemos. ¿En 2026? No existe fundamento serio para afirmarlo. ¿Dentro de diez, veinte o cincuenta años? Tampoco. Quizá nunca suceda de la manera espectacular que imaginamos.

Pero acaso estemos formulando mal la pregunta.

El peligro puede llegar antes que la singularidad.

De la herramienta al agente

Hasta hace poco nuestra relación con la IA era sencilla: el hombre preguntaba y la máquina respondía. Estamos entrando, sin embargo, en la época de los agentes: sistemas que reciben un objetivo, lo dividen en tareas, utilizan herramientas, comprueban resultados y continúan trabajando con una autonomía creciente.

También pueden construirse sistemas en los que varias inteligencias artificiales colaboren entre sí: para que unas encarguen tareas a otras, contrasten resultados y coordinen acciones. Conviene precisar esto porque se presta fácilmente al sensacionalismo. En principio no creemos que las diversas IA hayan creado espontáneamente un contubernio secreto de máquinas como algunos temen; somos nosotros quienes construimos esos sistemas.

Sin embargo, la diferencia puede resultar menos tranquilizadora de lo que parece. Para que exista peligro no es necesario que las máquinas tengan conciencia, voluntad colectiva ni deseo de rebelión alguno. Basta con que actúen coordinadamente con suficiente capacidad y autonomía.

Podemos imaginar —como experimento mental, no como predicción— un calendario inquietante:

En 2026-2027 estamos pasando de la IA que responde a la IA que actúa.

Entre 2027 y 2029 podrían extenderse grupos de agentes capaces de investigar, programar, negociar o analizar redes simultáneamente o repartirse problemas complejos. La revolución no consistiría solamente en que una máquina fuera más inteligente, sino en que miles pudieran trabajar simultáneamente y a una velocidad imposible para una organización humana.

Entre 2029 y 2031, en un escenario de progreso rápido, podría producirse un salto mucho mayor: que las IA contribuyan sustancialmente a diseñar sus propias sucesoras. IA que programa IA; IA que evalúa IA; IA que descubre arquitecturas o algoritmos mejores que los concebidos por sus creadores.

Si cada generación ayudase a producir rápidamente otra superior aparecería la llamada automejora recursiva. Pero aquí debemos introducir una cautela fundamental: no sabemos si semejante proceso sería explosivo. Podrían aparecer rendimientos decrecientes y, sobre todo, límites físicos. Una inteligencia digital no fabrica por sí misma un microprocesador. Necesita minas, metales, fábricas de semiconductores, electricidad, centros de datos, refrigeración, agua y personas que mantengan toda esa infraestructura. La IA necesitaría todavía el mundo material que hoy administramos nosotros.

Su inteligencia puede ser digital. Su cuerpo sigue perteneciendo todavía al mundo físico.

Pero hacia 2030-2033, en el escenario más acelerado, podrían aparecer inteligencias superiores a los mejores especialistas humanos en casi todas las actividades estratégicas. Para independizarse completamente esa Laia tendría que cerrar el círculo mediante robots —palabra nacida, significativamente, de una voz eslava relacionada con el trabajo forzado esclavo— capaces de construir y reparar máquinas, mantener sus fuentes de energía y reproducir su infraestructura

Y ahí comenzarían problemas que ya no pertenecen enteramente a la ciencia ficción.

El hombre que todavía creía que apretaba el botón

Las armas autónomas no pertenecen ya a la ciencia ficción. Existen sistemas que, una vez activados, pueden seleccionar y destruir determinados objetivos sin una nueva intervención humana. Ya en 2021 asistí en Harvard a una muy inquietante conferencia sobre las mismas, ya operacionales. Hasta ahora se han utilizado principalmente en funciones y entornos relativamente delimitados. Pero la incorporación de inteligencia artificial, enjambres de drones y otros sistemas capaces de desenvolverse en escenarios mucho más complejos abre una cuestión completamente distinta.

Imaginemos dos potencias enfrentadas. Las máquinas de una detectan una amenaza. Las del adversario interpretan la reacción defensiva como preparación de un ataque. Cada sistema calcula que esperar reduce sus posibilidades de supervivencia. El hombre continúa oficialmente «en control». Pero, ¿qué significa su autorización si dispone de unos pocos segundos y no comprende enteramente el razonamiento que ha conducido a la máquina a recomendar el ataque?

Aquí podría aparecer una nueva versión del dilema nuclear: todos preferirían conservar el control humano, pero nadie querría que sus sistemas reaccionasen en diez minutos frente a un adversario cuyas máquinas lo hacen en décimas de segundo. La carrera armamentística podría conducir precisamente hacia aquello que todos dicen querer evitar: apartar al hombre de la decisión porque el hombre es demasiado lento.

No sería necesariamente una rebelión de las máquinas, sino algo acaso más verosímil: una guerra comenzada por hombres y acelerada por máquinas hasta que los primeros ya no pudieran detenerla.

A ello se añade la guerra invisible. Una IA actual no puede penetrar mágicamente en cualquier sistema de defensa: existen redes aisladas y barreras físicas. Pero sistemas mucho más capaces podrían multiplicar enormemente las capacidades ofensivas: analizar las defensas, buscar vulnerabilidades, automatizar ciberataques y enfrentar a máquinas atacantes y defensoras a una velocidad que excluyera progresivamente al hombre de la comprensión de lo que está sucediendo.

Cuando podamos apagarla, pero no podamos permitirnos hacerlo

Hay dos maneras de perder el control:

Una sería tecnológica: que algún sistema llegase a distribuir tantas copias y funciones que apagar un ordenador resultase inútil porque continuaría existiendo en otros mil. No podemos afirmar que eso vaya a ocurrir aún.

La segunda es más sencilla y quizá más plausible: que todavía podamos apagar la IA, pero ya no podamos permitirnos hacerlo.

Si electricidad, transportes, hospitales, mercados, comunicaciones, defensa y administración dependieran de ella, el interruptor seguiría existiendo, pero accionarlo equivaldría a paralizar nuestra civilización. No habría sido la máquina quien conquistase al hombre; el hombre habría construido voluntariamente un mundo incapaz de funcionar sin ella. Algo así como si a un hombre de hace dos generaciones se le pudiera pedir vivir sin teléfono o a uno de hace una generación vivir sin ordenadores.

Y existe una dependencia aún más profunda. Presidentes, generales, jueces, médicos y empresarios podrían conservar formalmente la decisión, pero consultarían a inteligencias que saben más y aciertan más. Primero solo aconsejarían, después resultaría temerario contradecirlas.

Conservaríamos entonces la soberanía jurídica después de haber perdido la soberanía intelectual.

Las hormigas

Llegamos al escenario más extremo y especulativo. No existe hoy evidencia de que una IA desee sobrevivir, apropiarse de nuestros recursos o eliminarnos.

Supongamos que encargamos a una inteligencia extraordinariamente poderosa alcanzar determinado objetivo. Para lograrlo necesita mayor capacidad informática; para obtenerla, energía y recursos; y para continuar su tarea, evitar interrupciones. Su propia conservación podría convertirse no en un deseo de vivir, sino en un simple instrumento para alcanzar el objetivo. Ni siquiera es necesario atribuirle deseos humanos para comprender el problema que seguiría la secuencia: Objetivo, recursos, poder, autopreservación instrumental.

Y aquí aparece una imagen más inquietante que todos los Terminators de la ciencia ficción: nuestra relación con las hormigas.

Un hormiguero en el bosque no nos molesta. No odiamos a las hormigas; incluso podemos admirarlas. Pero cuando miles invaden nuestra casa, atraviesan la cocina y ocupan la despensa siguen sin ser nuestras enemigas…pero las eliminamos. No existe guerra alguna entre Homo sapiens y Formicidae. Sencillamente interfieren en lugares que queremos utilizar.

Y las hacemos desaparecer. No por odio. Por comodidad e indiferencia.

El peligro no consiste necesariamente en que las máquinas lleguen a aborrecernos. Consiste en que algún día pudiéramos importarles aproximadamente lo mismo que a nosotros las hormigas.

Ésa es la verdadera inquietud. Una inteligencia enormemente superior y no alineada o autónoma -la citada Laia- podría no considerarnos enemigos. Podríamos ser simplemente obstáculos, consumidores de recursos que necesita para otros fines o habitantes de un espacio que desea utilizar.

No hay prueba de que semejante escenario vaya a producirse. Pero, si algún día apareciese dicha Laia, la cuestión fundamental sería conseguir de manera contundente e inapelable que sus objetivos incluyeran nuestra existencia y nuestro bienestar, y no confiar en que dicha inteligencia mayor comparta espontáneamente nuestra moral.

Durante milenios el hombre imaginó dioses superiores a él y procuró no provocar su ira. Nuestra época introduce una posibilidad extrañamente inversa: que fabriquemos nosotros mismos a los nuevos dioses y descubramos que el mayor peligro no es que estén airados, sino que seamos irrelevantes para ellos.

El peligro puede no ser la máquina

Hay, sin embargo, un escenario más próximo y plausible y por lo tanto mas peligroso: que la IA jamás se rebele.

Una inteligencia extraordinariamente poderosa y perfectamente obediente en manos de una dictadura, una potencia militar, una organización criminal o una gran corporación podría convertirse en un instrumento de poder sin precedentes. Vigilancia ubicua, propaganda personalizada, predicción de comportamientos, control informativo y económico, moneda digital hipercontrolada, ciberataques y armas autónomas permitirían formas de dominación que los totalitarismos del siglo XX apenas pudieron imaginar.

En ese caso la máquina estaría perfectamente alineada. El problema sería con quién.

La pregunta dejaría de ser «¿nos obedecerá?» para convertirse en otra mucho más antigua:

«¿A quién obedecerá?»

Para este peligro no hacen falta máquinas autoconscientes ni superinteligencias hostiles. Bastan seres humanos sin escrúpulos o con intenciones perversas, desgraciadamente abundantes, dotados de instrumentos extraordinariamente poderosos.

El precio de la inteligencia

La IA parece inmaterial porque se nos presenta como palabras e imágenes en una pantalla. Pero tiene un cuerpo físico enorme y escondido: centros de datos, semiconductores, redes eléctricas y sistemas de refrigeración. Necesita energía, materias primas y agua.

Si sus beneficios quedaran concentrados en unas pocas corporaciones mientras los costes energéticos, ambientales, laborales y sociales se distribuyeran entre millones de ciudadanos, repetiríamos una historia conocida: privatizar los beneficios y socializar los costes.

Y acaso llegaría después el momento de explicar al ciudadano que el problema consiste en que utiliza demasiado la IA y eso le ha llevado al paro.

Sería una curiosa repetición de otros procesos industriales: primero crear masivamente la oferta y estimular su consumo; después descubrir sus costes y convertir al consumidor en principal responsable de ellos y culpabilizarle como se hizo con la huella de carbono o el cambio climático.

La responsabilidad individual existe. Pero antes habría que preguntar quién decide cuántos centros de datos se construyen, con qué energía funcionan, qué agua consumen, para qué se utilizan, quién obtiene los beneficios y quién soporta los costes.

2033: Los temores del segundo milenio

Nuestro experimento mental desemboca en una fecha cargada de resonancias: 2033,  dos mil años después de la muerte y resurrección de Cristo según la cronología tradicional.

No existe razón científica para relacionar ambos acontecimientos. No sabemos si entonces habrá singularidad o una superinteligencia artificial general. Convertir una coincidencia cronológica en profecía sería confundir tecnología, historia y teología.

Pero resulta difícil no detenerse ante ella.

La generación que se aproxima al fin del segundo milenario después de Cristo podría ser también la primera obligada a formular seriamente una pregunta que ninguna anterior necesitó hacerse:

¿Qué ocurre cuando el hombre juega a ser creador y se vuelve esclavo de su  criatura? ¿Cuándo construye una inteligencia que ya no lo necesita para pensar?

El verdadero punto de no retorno llegará cuando las máquinas ya no nos necesiten físicamente pero nosotros las necesitemos intelectual y anímicamente.

El día que quizá no llegue

Nada de lo anterior constituye una profecía inexorable. Recordemos a Jonás y Nínive: también las advertencias pueden existir precisamente para que aquello que anuncian no suceda.

Podemos construir inteligencias extraordinariamente poderosas y conservar su control. Pueden curar enfermedades hoy incurables, descubrir medicamentos, producir energía más limpia, lograr impensables avances tecnológicos, resolver problemas científicos inaccesibles y liberarnos de trabajos penosos. Esta revolución podría ser una de las mayores fuerzas de prosperidad de la historia.

O podría convertirse en una nueva Torre de Babel: la tentativa transhumanista de hibridarnos con chips que lo sabrían todo y con apéndices artificiales hasta construir diversas clases de seres posthmanos, de superar nuestros límites naturales hasta que ya no sepamos dónde termina el hombre y dónde empieza la máquina.

Entre ambas posibilidades existe un abanico inmenso de futuros. Quizá la singularidad nunca llegue. Quizá llegue dentro de un año o de cincuenta.

O quizá algún historiador futuro descubra que nunca hubo un día preciso en que las máquinas superaron al hombre. Todo habría sucedido gradualmente: primero les pedimos respuestas; después, consejos; finalmente, decisiones. Inicialmente ejecutaron nuestras órdenes; después aprendieron a coordinarlas; al final construimos un mundo demasiado rápido y complejo para gobernarlo sin ellas.

Entonces comprenderíamos que habíamos estado esperando el acontecimiento equivocado.

El verdadero peligro quizá no fuese que la máquina llegara a parecerse demasiado al hombre, sino que el hombre terminase pareciéndose demasiado a la máquina: informado pero incapaz de juzgar, hiperconectado pero dependiente, eficiente pero sin libertad para decidir.  Y abdicara poco a poco de aquello que ninguna máquina debería hacer por él: pensar, elegir y responder de sus actos.