Inteligencia Artificial (IA): sesgos, subjetividades, desigualdad automatizada, exclusión y colonialismo digital

La revista Nueva Sociedad de la Fundación Friedrich Ebert dedicó su número 294 de julio-agosto de 2021 a la Inteligencia Artificial (IA) en una mirada crítica desde las ciencias sociales. El objetivo fue mostrar sus luces y sombras, sus efectos en la autonomía individual, en la democracia, las relaciones laborales, entre otras y sobre las necesidades de regulación.

Este volumen incluye el aporte de diez especialistas. En esta nota nos vamos a referir a los trabajos de Enzo Ferrante, Ingeniero de Sistemas, sobre las razones por las cuales la IA debería importarnos y el de Sofía Scasserra, economista, sobre los impactos en la desigualdad, y como podría agravar las brechas existentes.

La inteligencia artificial ya no es parte de un futuro de ciencia ficción; está en nuestras vidas, a veces de manera visible y en la mayor parte de los casos, sin que seamos conscientes de ello. El futuro de la democracia, de los derechos ciudadanos y laborales, y de la capacidad ciudadana para incidir en el rumbo político y social a escala global depende de lo que hagamos con ella, señala el editor de la publicación.

¿Por qué importarnos?
Ferrante señala que cada vez más la inteligencia artificial es parte de nuestras vidas, a menudo de manera imperceptible. Ya no se trata de utopías tecnológicas sobre el futuro, sino de un presente muy concreto. Pero detrás de avances que incluyen desde diagnósticos médicos hasta vigilancia masiva están los algoritmos, cuyos sesgos amenazan con perpetuar e incluso profundizar las desigualdades del presente. Poner el foco en los datos, los modelos y las personas puede servir para construir una inteligencia artificial más justa.

El autor plantea que no se trata de obstaculizar el avance de la IA como disciplina, sino de que tanto quienes la utilizan como quienes la desarrollan sean conscientes de sus limitaciones, y de que se tomen en cuenta a la hora de concebir y hacer uso de estas tecnologías.

Definiciones
La IA se describe como la disciplina que se encarga de comprender y construir entidades inteligentes (pero artificiales). Esta definición es muy amplia y abarca conceptos que van desde los sistemas de razonamiento deductivo basados en reglas lógicas hasta algoritmos de aprendizaje automático que buscan detectar automáticamente patrones en conjuntos de datos y luego usarlos para realizar predicciones.

Un elemento central para este último subcampo de la inteligencia artificial son los datos, que constituyen la materia prima utilizada para automatizar el proceso de aprendizaje en el que los sistemas son entrenados para realizar predicciones. Los datos pueden ser imágenes, sonidos, texto escrito, redes, tablas o cualquier representación que se nos ocurra. La idea central es que los modelos de aprendizaje automático aprenden a partir de los datos.

Pero ¿cómo aprenden estos sistemas? Existen distintos paradigmas de aprendizaje. Uno de los más utilizados es el del aprendizaje supervisado, en el que los sistemas son sometidos a un proceso de entrenamiento que es guiado por anotaciones o etiquetas. Se intenta asociar características o patrones propios de los datos con las correspondientes etiquetas. Es decir, se analizan los datos en busca de patrones distintivos que permitan separar una categoría de la otra. Esta capacidad de generalización es un rasgo primordial, dado que de nada serviría un modelo predictivo que solo acertara en situaciones conocidas.

¿Sexista y racista?
Los modelos de IA pueden ser sexistas y racistas. En otras palabras, pueden adquirir un sesgo que los lleve a presentar un rendimiento dispar en grupos caracterizados por distintos atributos demográficos (étnicos y raciales), lo que redunda en un comportamiento desigual o discriminatorio. Y una de las razones detrás de este comportamiento son justamente los datos que usan para entrenarlos.

En los sistemas comerciales de reconocimiento facial se muestra un rendimiento dispar respecto a variables demográficas como el género y el color de la piel; son las mujeres de piel negra el grupo para el cual los modelos presentan peor rendimiento. Este hecho está posiblemente relacionado con la falta de representatividad de mujeres negras en las bases de datos utilizadas para el entrenamiento.

La brecha salarial entre hombres y mujeres es una realidad del mundo desigual en que vivimos, y probablemente los datos con los que fue entrenado el modelo la reflejaran, por lo que su recomendación era asignarle mayor límite de gasto al hombre que a la mujer. Es decir, los datos son un reflejo (acotado) de la realidad actual. Sin embargo, en estas situaciones cabe preguntarse: ¿realmente queremos que el modelo perpetúe (y hasta en ocasiones amplifique) las desigualdades, por el solo hecho de que vivimos en una sociedad desigual? ¿O queremos modificar esta realidad?

Objetividad cuestionada
La selección de los datos, la población utilizada para construir las muestras, las variables que se miden: todas son decisiones humanas que están lejos de ser neutrales. El aura de neutralidad que muchas veces se atribuye a los sistemas automáticos se desvanece en el instante mismo en que comprendemos la relación entre los datos, los modelos y las personas. Y la necesidad de auditar la equidad de nuestros modelos se vuelve sumamente relevante anota Ferrante.

Los sistemas de inteligencia artificial están diseñados por personas con sus propias visiones del mundo, prejuicios, valoraciones de los hechos y sesgos adquiridos a lo largo de su experiencia de vida, que pueden filtrarse en el diseño y la definición de criterios de evaluación para estos modelos. Si esos grupos de trabajo no son lo suficientemente diversos como para reflejar una amplia variedad de visiones, muy probablemente no lleguen siquiera a darse cuenta de la existencia de los sesgos, y por tanto a corregirlos.

Sesgos
La industria de la IA está viviendo una crisis de diversidad, aunque hay muchos esfuerzos para diversificarla. Solo 18% de los trabajos publicados en las principales conferencias de IA son realizados por mujeres, y que más de 80% de los docentes de IA son hombres. Esta disparidad también se refleja en la industria, donde, por ejemplo, las mujeres representan solo 15% del personal de investigación de IA en Facebook y 10% en Google, dos de las empresas líderes a escala global.

Y a escala regional la situación tampoco mejora. Por ejemplo, según un informe elaborado para la Argentina sobre mujeres en el sistema universitario entre 2010 y 2016, existen grandes brechas de género en el ingreso y egreso de las estudiantes de las disciplinas ciencia, tecnología, ingeniería y matemática: 33% de mujeres y 67% de varones.

Exclusión
Sofía Scasserra señala que la IA plantea nuevos problemas y desafíos respecto de la industrialización del Sur global, que se enfrenta a renovadas formas de colonialismo. Lejos de reducir las desigualdades, las normas para la economía digital que están siendo negociadas en la Organización Mundial del Comercio (OMC) podrían agravar las brechas existentes.

La autora anota que, si los algoritmos deciden sobre las personas, sobre su libertad, sobre su empleo, sobre su capacidad de acceder a seguros, servicios médicos y otras cuestiones fundamentales de la vida, es menester tener la posibilidad de regularlos. Sin embargo, eso no está ocurriendo en la OMC.

Los derechos de propiedad intelectual fueron, son y serán un tema de controversia global. No existen argumentos más fuertes que generar ingresos adicionales para reinvertir para defender su existencia. La idea de que si no existieran normas de propiedad no habría innovación es falsa: esas normas tienen apenas algo más de 25 años de existencia en la OMC, y siempre hubo innovación a lo largo de la historia.

Estas normas no solo limitan la posibilidad de acceder a los códigos fuente de la IA que se programa en el mundo. Amparadas por un velo de secretismo y poder, las empresas deciden sobre la vida de las personas sin que estas puedan saber cuáles fueron los criterios de selección y los datos contemplados o si fueron activamente discriminadas o no. La sistematización de desigualdades dentro de las sociedades está a la orden del día anota la investigadora.

Colonialismo digital
La acumulación de datos pasa casi inadvertida por el Sur global, EE.UU. funciona como una aspiradora que absorbió en grandes volúmenes la materia prima para la IA y pudo así desarrollar sistemas que hoy son inigualables. Aun si un país se planteara la posibilidad de generar un Google local, no lograría el mismo éxito debido a la escasez de datos y, en muchos lugares, de recursos humanos capacitados.

Indudablemente la escala llevó a la eficiencia en lo que podría considerarse una especie de monopolio natural. Sería muy oneroso para un país encauzar una estrategia de ese tipo y el resultado sería incierto. La competencia con los gigantes tecnológicos carece de sentido en una economía que ya los ha coronado como reyes y señores. El colonialismo digital es hoy una realidad inapelable.

Efectivamente, la competencia con los gigantes tecnológicos no tiene sentido, pero ¿y la complementariedad? Se pueden crear nuevos servicios a escala nacional con un proyecto de soberanía de datos que sirva para mejorar la administración pública, construir cadenas regionales de valor y trabajar desde universidades y empresas desarrollos locales de IA para atender las necesidades nacionales.

Comercio desigual
Lo que se trabaja en la OMC genera desigualdades en distintos niveles. La agenda de comercio electrónico se vincula sobre todo con la desregulación de la economía digital del futuro: Transferencia transfronteriza de datos; prohibición de exigencias de localización y procesamiento; no divulgación del código fuente; exención de impuestos aduaneros por venta de servicios digitales; 0bligatoriedad del principio de neutralidad de la web (los Estados no puedan regular los contenidos ni a las empresas que operan en sus mercados digitales).

También hay normas respecto a la autorización del envío masivo de correos no deseados, normativas liberalizadoras en materia de compras y licitaciones públicas, limitaciones a la protección de datos, desvinculación de las empresas en su responsabilidad como intermediarias de los contenidos que se publican en internet y limitaciones a la solicitud de autorización previa para operar en un mercado, entre otras. Estas normas generan un marco que limita la capacidad de los Estados de impulsar una estrategia soberana de industrialización digital, que incluya la generación de IA.

Este aparato regulatorio potencia el extractivismo digital desmedido del Norte global respecto del Sur, al permitirle tomar datos sin pagar por ellos, eliminar la posibilidad de procesarlos localmente y que cuente con ellos para el diseño de mejores políticas públicas, y limitar también la capacidad de auditar la inteligencia artificial que se genere, aun si afecta a la población en aspectos tan diversos como la seguridad, la democracia, el empleo y los derechos. En un mundo que recién empieza a comprender cómo nos impacta esta tecnología, desregularla y limitar la capacidad de accionar de los Estados no parece ser la mejor opción.

Colofón
Nadie llamó a la sociedad civil a la mesa del diseño y desarrollo de una tecnología que regula de facto nuestras sociedades. Tampoco nos llamaron a participar en la formulación de las normas que regulan esta tecnología. El producto es, como era de esperarse, una tecnología autoritaria y monopólica que envía órdenes desde países lejanos y a la que obedecemos de manera complaciente, anota Scasserra.