Me he mudado muchas veces. Quince veces de soltero, y otras dieciséis de casado. He vivido en nueve ciudades distintas, desde muy pequeñas como Máncora, donde nací, a muy grandes como Ciudad de México. Una de las cosas que aprendí con cada mudanza es que instalarse en un lugar nuevo implica volver a armar en la cabeza la geografía de la ciudad: no había otra manera. Hoy, de regreso hace muchos años en Lima, ya no construyo esos mapas. El GPS lo hace por mí. Lima ha crecido y ha cambiado mucho. El problema de utilizar los sistemas de navegación aparece cuando hay un accidente, una manifestación, una nueva construcción. A veces el sistema no los toma en cuenta o recalcula mal. Llegar tarde a cualquier cita tiene una excusa que se repite una y otra vez: “Yo solo seguí las instrucciones del GPS, pero el tráfico estuvo imposible”. En cuanto escucho esta excusa, la reconozco inmediatamente: es exactamente la defensa de los jerarcas nazis en los juicios de Núremberg.
En el otoño de 1945, muchos de los acusados ante el tribunal de Núremberg emplearon esa misma defensa: “Solo seguí instrucciones”. El tribunal la rechazó y estableció un principio fundamental: la obediencia no exime de la responsabilidad moral; no se puede delegar por completo el juicio moral. Años más adelante, en 1961, Hannah Arendt, cubriendo el juicio al funcionario nazi Eichmann para The New Yorker, utilizó el concepto de la “banalidad del mal” cuando describió a Eichmann como un burócrata que gestionaba monstruosidades y que parecía haber renunciado a pensar por sí mismo con autonomía o con un mínimo de empatía.
Lo que los juicios de Núremberg y la reflexión de Arendt nos revelaron es que un sistema puede distribuir el mal entre miles de participantes que individualmente nunca tomaron la decisión de matar a nadie, porque cada eslabón podía alegar que solo ejecutó una tarea. Ese concepto no depende solamente de un agente irreflexivo. Depende de un sistema que funcionaba como si todos lo fueran.
Hoy, los sistemas de decisión tienden a replicar esta lógica de dispersión de responsabilidad. La inteligencia artificial reproduce esa estructura de una manera particularmente perturbadora. Cuando nos afecta, nadie parece ser responsable. El desarrollador explica que el modelo aprendió de los datos, el operador se exime diciendo que siguió las especificaciones, las autoridades no se sienten obligadas a actuar cuando la ley no contempla el caso, y así. Aun cuando la cadena causal es visible, la responsabilidad se ha disuelto en ella. Más que un responsable, hay un sistema. Y el sistema solo hizo lo que se le pidió. Lo que no es tan fácil de ver es el mecanismo por el cual vamos perdiendo, poco a poco, la capacidad de juzgar por nosotros mismos.
Para comprender este proceso, es útil recurrir a la distinción que Isaiah Berlin propuso entre libertad negativa y libertad positiva. La libertad negativa es cuando nadie te bloquea las puertas; la libertad positiva consiste en decidir por cuál puerta pasar. La libertad negativa define hasta qué punto podemos actuar sin ser obstaculizados y la libertad positiva es la libertad para gobernar nuestras propias vidas y nuestras decisiones.
La inteligencia artificial amenaza ambas libertades potencialmente, aunque de maneras distintas. Por el lado de la libertad negativa, por ejemplo, los sistemas de selección de personas o los algoritmos para impartir justicia, reproducen sesgos concretos sobre las que el afectado no puede saber por qué ocurrieron ni ante quién apelar. La limitación no deja de ser limitación porque el mecanismo sea estadístico. Por el lado de la libertad positiva, la amenaza opera exactamente como con el GPS. Nadie nos obliga a delegar el juicio, pero al delegarlo habitualmente, perdemos de a pocos la capacidad de ejercerlo. En el fondo, limitamos nuestra capacidad de autodeterminación. Limitamos nuestra libertad positiva.
La paradoja de la inteligencia artificial, entonces, es que podemos tener simultáneamente más libertad negativa formal y menos libertad positiva real. Nadie nos coacciona de manera explícita, pero nuestra capacidad de deliberar desde la propia razón se reduce sin que nadie lo haya decidido. El peligro, en realidad, no es solo que la IA reemplace el juicio moral, sino que lo haga a una velocidad que no permita el ajuste evolutivo necesario en las instituciones que lo protegen. Necesitamos, por lo tanto, instituciones que preserven los espacios de deliberación para que las responsabilidades queden claras y las correcciones sean viables.
La inteligencia artificial nos tienta con la idea de un mundo en el que siempre hay un sistema responsable, un proceso documentado. Un mundo en el que nadie tuvo que decidir nada. Eso ya lo hemos escuchado antes. Una cosa es delegar la orientación espacial y llegar tarde a una cita; otra, radicalmente más grave, es delegar el pensamiento crítico y perderlo. Las capacidades humanas de juicio moral y de pensamiento crítico no son imperfecciones a superar con el uso de la tecnología. Son los fundamentos de las instituciones que nos protegen de nosotros mismos. Para perderlas, basta con seguir las instrucciones.
Martin Naranjo es presidente de la Asociación de Bancos del Perú
