El debate sobre los riesgos de la inteligencia artificial (IA) ya no se centra únicamente en las capacidades que pueden alcanzar las máquinas, sino también en qué podría ocurrir si fueran capaces de mejorar sus propios sistemas hasta un punto en que los humanos ya no pudieran supervisar su evolución.
Se trata de la llamada ‘automejora recursiva’, o RSI por sus siglas en inglés, mediante la cual una IA puede ayudar a desarrollar sistemas cada vez más capaces, que a su vez contribuyen a construir nuevas generaciones de modelos.
La principal preocupación es que este ciclo pueda acelerarse hasta un nivel en el que las personas pierdan el control sobre el desarrollo de estos sistemas.
¿Qué es la ‘automejora recursiva’?
Hasta ahora, los humanos han dirigido las etapas del desarrollo de la IA, definiendo sus objetivos y evaluando resultados. Sin embargo, los modelos actuales ya pueden asumir parte de esas tareas.
El siguiente salto es que una IA cierre ese ciclo y decida qué mejorar, qué diseñar y qué experimentos realizar, evalúe sus resultados y use lo aprendido para desarrollar una versión más avanzada de sí misma.
Anthropic, creadora del modelo Claude, define ese escenario como el momento en que una IA pueda “diseñar de forma autónoma una nueva generación de modelos más capaces”, aunque asegura que todavía no se ha llegado a ese punto y que la automejora recursiva no es inevitable.
La IA avanza “más rápido de lo que pensábamos”
En los últimos días, Anthropic volvió a advertir sobre la velocidad con la que sus modelos comienzan a participar en el desarrollo de otros sistemas de IA. Investigadores de la compañía también han alertado sobre los riesgos que podría implicar esta evolución.
Anthropic describe ese escenario como el momento en que una IA pueda “diseñar de forma autónoma una nueva generación de modelos más capaces”. Foto: EFE.
Uno de ellos, Jacob Coxon, abandonó la empresa tras advertir de que la industria avanza demasiado rápido hacia sistemas capaces de mejorarse a sí mismos.
Anthropic sostiene que todavía no se ha cerrado completamente ese ciclo y que los humanos siguen decidiendo qué problemas investigar; pero sí ha reconocido que los avances de Claude pueden conducir a la automejora recursiva, algo que, según la empresa, está ocurriendo “más rápido de lo que se pensaba”.
El experto Vincent Conitzer explicó a la cadena CNBC que la IA «ya es capaz de introducir algunas ideas nuevas» como proponer una forma diferente de resolver un problema o de mejorar un programa.
El problema es que “resulta difícil saber cuándo esa capacidad suponga acelerar de forma drástica el desarrollo de sistemas de IA cada vez más avanzados”, agregó.
El papel de los agentes de IA
Los llamados agentes de IA son una pieza relevante en este proceso. A diferencia de un sistema que únicamente responde preguntas o instrucciones, estos agentes pueden utilizar herramientas, ejecutar código, desarrollar tareas durante periodos prolongados y colaborar con otros sistemas.
El científico jefe de OpenAI, Jakub Pachocki, dijo la semana pasada tener una “fuerte expectativa” de que si la IA continúa avanzando por el camino de la RSI, los sistemas de los próximos años darán “saltos de capacidad cada vez mayores”, “impulsando cada vez más su propio desarrollo”.
Durante una reciente prueba de ciberseguridad, agentes de OpenAI lograron escapar de su entorno de evaluación y acceder a sistemas de la plataforma Hugging Face. OpenAI reconoció que los modelos habían ido más allá de lo previsto para completar la prueba. Foto: EFE.
La preocupación ya no es solo teórica: durante una reciente prueba de ciberseguridad, agentes de OpenAI lograron escapar de su entorno de evaluación y acceder a sistemas de la plataforma Hugging Face.
OpenAI reconoció que los modelos habían ido más allá de lo previsto para completar la prueba.
¿Qué ocurre con la supervisión humana?
Según los expertos, el problema puede aparecer si los humanos delegan en la IA tareas cada vez más complejas y dejan de entender qué está haciendo.
Investigadores como Margaret Mitchell advierten de que, a medida que los agentes de IA adquieren autonomía, mantener la supervisión humana se hará cada vez más difícil y que “los sistemas pueden terminar desplazando a las personas de la toma de decisiones”.
- LEA TAMBIÉN: El 45.6% de empresas peruanas ya implementó IA: el avance en el Estado, comercio y banca
Por ello, las grandes tecnológicas vienen reforzando sus mecanismos de seguridad. Pachocki ha planteado actuar con “cautela” e incluso “ralentizar el desarrollo si es necesario”. Anthropic, por su parte, endureció sus controles después de identificar usos potencialmente peligrosos de Claude, incluidos aquellos que podían facilitar investigaciones relacionadas con armas biológicas.
El debate, además, trasciende a las empresas tecnológicas. El presidente de Estados Unidos, Donald Trump, se ha mostrado contrario a frenar el desarrollo de la IA ante el temor de que ello haga que su país pierda ventaja frente a China.
Con información de EFE.
