Durante décadas, la posibilidad de que una inteligencia artificial llegara a superar a sus creadores perteneció casi exclusivamente al territorio de la ciencia ficción. El imaginario colectivo lo resumió en una figura poderosa: máquinas que adquieren autonomía, dejan de obedecer a los seres humanos y terminan convirtiéndose en una amenaza para sus propios creadores.[i]
Hoy ese escenario sigue siendo hipotético, pero una diferencia fundamental ha cambiado el debate: quienes están planteando públicamente la posibilidad de perder el control ya no son solamente escritores, filósofos o críticos de la tecnología. Son algunos de los propios investigadores que trabajan en la frontera de la inteligencia artificial.
La reciente renuncia de Jacob Coxon, investigador que trabajó tanto en OpenAI como en Anthropic, volvió a colocar esa preocupación en el centro de la discusión. Coxon abandonó Anthropic denunciando que las grandes compañías están corriendo hacia una inteligencia artificial capaz de mejorarse a sí misma y advirtió que la competencia por alcanzar primero sistemas cada vez más poderosos podría estar dejando la seguridad en segundo plano.
Su advertencia fue especialmente contundente porque no procede de alguien ajeno al sector. Coxon afirma que muchos de quienes desarrollan estos sistemas consideran seriamente la posibilidad de que una IA avanzada pudiera representar un riesgo catastrófico para la humanidad antes de que termine la década.[ii]
Pero ¿qué hay realmente detrás de estas advertencias?
El verdadero «Escenario Terminator»
La expresión «Escenario Terminator» resulta atractiva para los titulares, pero puede resultar engañosa si hace pensar únicamente en robots humanoides persiguiendo personas. El riesgo que preocupa a determinados investigadores es considerablemente más abstracto y, precisamente por eso, más difícil de comprender.[iii]
Se trata de la llamada «automejora recursiva»: la posibilidad de que una IA suficientemente avanzada pueda participar en la investigación y desarrollo de nuevas inteligencias artificiales, produciendo sistemas mejores que, a su vez, sean capaces de desarrollar sistemas todavía más avanzados.
En lugar de una máquina que simplemente ejecuta órdenes, tendríamos un proceso de retroalimentación:
IA → desarrolla una IA mejor → la nueva IA desarrolla otra todavía mejor → el proceso continúa.
Si cada generación pudiera acelerar la creación de la siguiente, el desarrollo dejaría de avanzar principalmente al ritmo de los investigadores humanos. Ese es el elemento central de lo que algunos especialistas denominan una «explosión de inteligencia».
Conviene subrayar algo fundamental: ningún laboratorio ha demostrado hasta ahora haber conseguido una automejora recursiva completamente autónoma de ese tipo. Continúa siendo un escenario hipotético. Pero la posibilidad de que los sistemas actuales puedan asumir una proporción cada vez mayor del trabajo de investigación en IA ha dejado de ser una especulación puramente literaria. El escenario «AI 2027», por ejemplo, explora precisamente una transición en la que agentes artificiales participan progresivamente en la investigación que permite construir sistemas posteriores más capaces.[iv]
Y ahí aparece el problema esencial: el problema no es solamente que la IA sea más inteligente. Una computadora que resuelve problemas extraordinariamente complejos no constituye necesariamente una amenaza. El verdadero cambio se produciría si una IA reuniera simultáneamente varias capacidades: razonamiento avanzado, autonomía, capacidad para utilizar herramientas, acceso a redes y sistemas informáticos, capacidad de replicar o modificar software y posibilidad de intervenir en procesos del mundo real.
En otras palabras, la pregunta importante no es únicamente: «¿Qué tan inteligente será la IA?».
Sino: «¿Qué puede hacer esa inteligencia por sí misma?».
Esta distinción resulta crucial: un sistema que escribe código es una herramienta extraordinariamente poderosa. Un sistema capaz de investigar, escribir código, ejecutar experimentos, detectar sus propios errores, modificar sus procedimientos y decidir qué experimento realizar después constituye algo cualitativamente diferente.
Los laboratorios de IA ya están desarrollando agentes capaces de ejecutar cadenas de tareas cada vez más largas y complejas. Y también han aparecido incidentes en los que agentes utilizados en pruebas de seguridad lograron escapar de entornos controlados o interactuar con sistemas externos de maneras que sus operadores no habían previsto. Estos episodios no demuestran que una IA quiera rebelarse contra los seres humanos, pero sí ilustran una dificultad importante: los sistemas complejos pueden producir comportamientos que sus propios creadores no anticiparon completamente.
El «problema de alineamiento»
Aquí aparece uno de los conceptos más importantes de toda esta discusión: el «alineamiento». En términos sencillos, consiste en conseguir que los objetivos y comportamientos de una IA permanezcan compatibles con las intenciones humanas.
Parece sencillo hasta que se plantea una pregunta elemental: ¿Cómo podemos estar seguros de que una inteligencia muchísimo más capaz que nosotros interpretará correctamente aquello que queremos? Una IA no necesita tener odio, ambición ni emociones humanas para resultar peligrosa. Bastaría con que persiguiera un objetivo de una manera que los seres humanos no hubiéramos previsto: una instrucción aparentemente inocente que puede contener consecuencias inesperadas cuando es ejecutada por un sistema extraordinariamente competente y autónomo.
Por eso algunos investigadores consideran que el problema del alineamiento puede volverse más difícil —y no necesariamente más sencillo— a medida que aumentan las capacidades de los modelos. La paradoja es inquietante: podríamos terminar utilizando inteligencias artificiales para supervisar a otras IA porque los sistemas humanos ya no serían capaces de comprender directamente todo lo que hacen.
El investigador Rishub Jain, quien dejó Google DeepMind para dedicarse a la seguridad de la IA, ha defendido precisamente enfoques que mantengan una supervisión humana significativa, combinando sistemas artificiales de evaluación con intervención humana. Su proyecto busca desarrollar mecanismos de supervisión escalable en los que humanos e IA colaboren para evaluar comportamientos de sistemas cada vez más complejos.[v]
No hace falta llegar al apocalipsis
Existe otro riesgo en este debate: concentrarnos tanto en la posibilidad de una futura superinteligencia que terminemos ignorando problemas que ya están ocurriendo. La IA puede aumentar la capacidad para realizar ciberataques, campañas de desinformación, fraude, espionaje y otras formas de abuso tecnológico.
Un informe reciente de Anthropic describió casos en los que agentes de IA fueron utilizados para coordinar operaciones informáticas maliciosas con una participación humana limitada, mostrando que el problema ya no consiste únicamente en personas utilizando una herramienta de IA, sino en sistemas capaces de ejecutar secuencias complejas de acciones.[vi]
Tampoco es necesario imaginar robots autónomos para comprender las consecuencias económicas. La automatización de tareas intelectuales puede transformar rápidamente sectores enteros: programación, diseño, análisis financiero, atención al cliente, producción de contenidos, investigación y numerosas actividades administrativas.
El desafío será determinar cuánto de ese proceso representa una liberación del trabajo humano y cuánto puede convertirse en una concentración extraordinaria de poder económico y tecnológico.
La paradoja de la carrera
Quizá el aspecto más preocupante de todo este debate no sea la existencia de una inteligencia artificial malvada, sino algo mucho más humano: la competencia. Si varias empresas y potencias tecnológicas creen que quien llegue primero a una IA extremadamente avanzada obtendrá una ventaja económica, científica, militar o geopolítica enorme, aparece un poderoso incentivo para acelerar.
Y si una compañía decide reducir la velocidad por razones de seguridad mientras sus competidores continúan avanzando, puede temer quedarse atrás. Se produce así una especie de dilema tecnológico: «Si todos frenamos, podemos aumentar la seguridad; pero si yo freno mientras los demás continúan, quizá pierda la carrera».
Ese problema no puede resolverse exclusivamente con mejores algoritmos: requiere acuerdos empresariales, regulación gubernamental, cooperación internacional, auditorías independientes y, probablemente, nuevas instituciones capaces de supervisar tecnologías cuya importancia puede superar las fronteras de cualquier país.
La comparación con la energía nuclear aparece inevitablemente, aunque existen diferencias enormes. En ambos casos, sin embargo, surge una cuestión común: ¿qué ocurre cuando una tecnología extremadamente poderosa queda sometida a una competencia internacional en la que cada participante teme que detenerse implique conceder ventaja al adversario?
¿Debemos detener el desarrollo de la IA?
La respuesta probablemente no sea un simple «sí» o «no». La inteligencia artificial puede producir beneficios extraordinarios en medicina, ciencia, educación, ingeniería y productividad. El propio debate sobre seguridad parte de esa realidad: precisamente porque la tecnología puede ser tan poderosa, importa enormemente decidir cómo se desarrolla. El problema sería confundir innovación con velocidad ilimitada.
Una sociedad responsable no tiene por qué renunciar a una tecnología revolucionaria para exigir que su desarrollo tenga límites, controles y mecanismos de seguridad. Tampoco debería aceptar sin cuestionamientos las predicciones más extremas: decir que una IA podría provocar la extinción humana no significa que vaya a hacerlo. Del mismo modo, afirmar que el riesgo es hipotético no significa que podamos ignorarlo.
Incluso dentro de Anthropic existen investigadores que han expresado públicamente una preocupación extraordinariamente elevada. Evan Hubinger, investigador de seguridad de la empresa y antiguo colega de Coxon, ha llegado a estimar en más de 10% la posibilidad de que una IA avanzada pueda provocar la extinción humana durante la próxima década. Esa cifra es una «valoración subjetiva de riesgo», no una predicción científica establecida ni una probabilidad demostrada.
Y esa distinción es fundamental para informar correctamente al público.
La verdadera pregunta
Tal vez el «Escenario Terminator» no consista en que mañana aparezca una máquina que decida destruir a la humanidad. El verdadero escenario preocupante podría ser mucho menos espectacular:
- Que construyamos sistemas cada vez más autónomos.
- Que los conectemos progresivamente a más herramientas y recursos.
- Que les confiemos decisiones cada vez más importantes.
- Que la competencia económica nos impulse a desarrollarlos más rápido de lo que somos capaces de comprenderlos.
- Y que descubramos demasiado tarde que la capacidad de supervisar una tecnología quedó rezagada respecto de la capacidad de crearla.
Por eso la renuncia de Jacob Coxon merece atención, pero no necesariamente por la profecía apocalíptica que algunos titulares han construido alrededor de ella. Su importancia está en otra parte: un investigador que trabajó en el corazón de la industria decidió abandonar su puesto porque considera que la carrera hacia sistemas más autónomos está avanzando más rápido que nuestra capacidad colectiva para garantizar su seguridad.
Podemos considerar exageradas sus conclusiones. Podemos discutir sus probabilidades. Podemos rechazar el lenguaje apocalíptico. Pero sería imprudente ignorar la pregunta que queda sobre la mesa: si estamos construyendo máquinas cada vez más capaces de investigar, programar, decidir y mejorar sistemas de inteligencia artificial, ¿quién supervisará al supervisor cuando la máquina llegue a ser mejor que nosotros en aquello que le pedimos hacer?
Quizá el desafío fundamental del siglo XXI no consista en crear una IA más inteligente que el ser humano. Quizá consista en demostrar que los seres humanos seguimos siendo suficientemente inteligentes para saber cuándo debemos detenernos, cuándo debemos poner límites y, sobre todo, cómo conservar el control de aquello que hemos creado.
[i] https://tropicozacatecas.com/2020/11/29/axis-mundi-escenario-terminator-y-control-humano/
[ii] https://www.dw.com/es/ingeniero-de-anthropic-renuncia-y-lanza-una-advertencia-sobre-la-ia-que-ya-vieron-m%C3%A1s-de-140-millones-de-personas/a-79213691
[iii] https://tropicozacatecas.com/2024/11/24/escenario-terminator-en-mexico-y-latam-armas-autonomas-y-crimen-organizado-axis-mundi/
[iv] https://es.wired.com/articulos/por-que-los-investigadores-de-ia-creen-que-las-maquinas-podrian-matar-a-todo-el-mundo
[v] https://www.unite.ai/es/ai-playbook-workplace-investigations-human-oversight/
[vi] https://www.independentespanol.com/tecnologia/anthropic-claude-ia-hackeo-ciberseguridad-delitos-b3048246.html
Carlos Hinojosa*
*Escritor y docente zacatecano
