“¿Quieres verte actuando en una película o en la televisión?”, decía la descripción de una aplicación en tiendas online, que ofrecía a los usuarios la posibilidad de crear medios sintéticos generados por inteligencia artificial, también conocidos como ‘deepfakes’ (ultrafalso).
“¿Quieres ver a tu mejor amigo, colega o jefe bailando?”, añadía. “¿Te has preguntado alguna vez cómo te verías si tu cara se intercambiara con la de tu amigo o la de un famoso?”.
La misma aplicación se anunciaba de forma diferente en decenas de sitios para adultos: “Haz ‘deepfake’ porno en un segundo”, decían los anuncios. “‘Deepfake’ con cualquiera”.
La forma de aplicar la tecnología, cada vez más sofisticada, es una de las complejidades que suscita el software de medios sintéticos, en el que se usa el aprendizaje automático para modelar digitalmente los rostros a partir de las imágenes y luego intercambiarlos en las películas de la forma más fluida posible.
Esta tecnología, que apenas tiene cuatro años, puede estar en un momento crucial, según las entrevistas de Reuters con empresas, investigadores, responsables políticos y activistas.
Según los expertos, ya está lo suficientemente avanzada como para que los espectadores en general tengan dificultades para distinguir muchos videos falsos de la realidad, y ha proliferado hasta el punto de estar al alcance de casi cualquier persona que tenga un teléfono inteligente, sin necesidad de ser especialista.
“Una vez que el punto de entrada es tan bajo que no requiere ningún esfuerzo, y una persona poco sofisticada puede crear un vídeo pornográfico ultrafalso muy sofisticado y no consentido, ese es el punto de inflexión”, dijo Adam Dodge, abogado y fundador de la empresa de seguridad en línea EndTab.
“Ahí es donde empezamos a tener problemas”, añadió.
Muchos activistas de la seguridad en línea, investigadores y desarrolladores de software afirman que la clave está en garantizar el consentimiento de quienes son simulados, aunque esto es más fácil de decir que de hacer. Algunos abogan por adoptar un enfoque más estricto en lo que respecta a la pornografía sintética, dado el riesgo de abuso.
La pornografía ultrafalsa no consentida representó el 96% de los más de 14,000 vídeos ‘deepfake’ publicados en línea, según un informe de 2019 de Sensity, una empresa que detecta y supervisa los medios sintéticos. Añadió que el número de vídeos deepfake en línea se duplicaba aproximadamente cada seis meses.
“La gran, gran mayoría de los daños causados por los ‘deepfakes’ en este momento es una forma de violencia digital de género”, dijo Ajder, uno de los autores del estudio y el jefe de políticas y asociaciones de la compañía de IA Metaphysic, y agregó que su investigación indicó que millones de mujeres habían sido atacadas en todo el mundo.
En consecuencia, hay una “gran diferencia” entre que una aplicación se comercialice explícitamente como una herramienta pornográfica o no, dijo.
Aplicación eliminada
ExoClick, la red de publicidad en línea que fue utilizada por la aplicación “Make deepfake porn in a sec” (Fabrica porno ultrafalso en un santiamén), dijo a Reuters que no estaba familiarizada con este tipo de software de intercambio de rostros de inteligencia artificial.
La empresa señaló que había suspendido la publicidad de la aplicación y que no promovería la tecnología de intercambio de rostros de forma irresponsable.
“Se trata de un tipo de producto nuevo para nosotros”, dijo Bryan McDonald, jefe de cumplimiento de normas publicitarias de ExoClick, que, al igual que otras grandes redes publicitarias, ofrece a los clientes un panel de sitios que pueden personalizar ellos mismos para decidir dónde colocar los anuncios.
“Tras una revisión del material de marketing, dictaminamos que la redacción utilizada en el material de marketing no es aceptable. Estamos seguros de que la gran mayoría de los usuarios de este tipo de aplicaciones las utiliza para entretenerse sin malas intenciones, pero también reconocemos que podrían emplearse con fines maliciosos”.
Otras seis grandes redes de publicidad en línea a las que se dirigió Reuters no respondieron a las solicitudes de comentarios sobre si habían encontrado software ‘deepfake’ o tenían una política al respecto.
No se menciona el posible uso pornográfico de la aplicación en su descripción en la App Store de Apple o en la Play Store de Google, donde está disponible para cualquier persona mayor de 12 años.
Apple dijo que no tenía ninguna norma específica sobre las aplicaciones de ultrafalso, pero que sus directrices más amplias prohibían las aplicaciones que incluyeran contenidos difamatorios, discriminatorios o que pudieran humillar, intimidar o dañar a alguien.
Google no respondió a las solicitudes de comentarios.
Tras ser contactado por Reuters sobre los anuncios de “Deepfake porn” en sitios para adultos, Google retiró temporalmente la página de Play Store de la aplicación, que había sido calificada como E, o para todos. La página fue repuesta después de unas dos semanas, clasificada como T -para adolescentes debido al “contenido sexual”-.
Filtros y marcas de agua
Aunque hay agentes con malas prácticas en la creciente industria del software de intercambio de rostros, hay una gran variedad de aplicaciones a disposición de los consumidores y muchas toman medidas para tratar de evitar los abusos, dijo Ajder, que defiende el uso ético de los medios sintéticos como parte del grupo industrial Synthetic Futures.
Algunas aplicaciones, por ejemplo, sólo permiten a los usuarios intercambiar imágenes en escenas preseleccionadas o exigen la verificación de la identidad de la persona que se intercambia, o usan la inteligencia artificial para detectar las cargas pornográficas, aunque estas medidas no siempre son eficaces, añadió.
Reface es una de las aplicaciones de intercambio de rostros más populares del mundo, que ya ha atraído más de 100 millones de descargas en todo el mundo desde 2019, en las que se anima a los usuarios a intercambiar rostros con celebridades, superhéroes y personajes de memes para crear divertidos videoclips.
La compañía, que tiene su sede en Estados Unidos, dijo a Reuters que estaba usando la moderación automática y humana del contenido, incluyendo un filtro de pornografía, además de tener otros controles para evitar el mal uso, incluyendo el etiquetado y las marcas de agua visuales para marcar los videos como sintéticos.
“Desde el principio de la tecnología y el establecimiento de Reface como empresa, se ha reconocido que la tecnología de medios sintéticos podría ser objeto de abuso o mal uso”, dijo.
El único responsable es el autor
El creciente acceso de los consumidores a una potente informática a través de los teléfonos inteligentes va acompañado de avances en la tecnología de ultrafalsos y en la calidad de los medios sintéticos.
Por ejemplo, el fundador de EndTab, Dodge, y otros expertos entrevistados por Reuters dijeron que en los primeros días de estas herramientas en 2017 requerían una gran cantidad de datos, que a menudo sumaban miles de imágenes, para lograr el mismo tipo de calidad que podría obtenerse hoy en día a partir de una sola imagen.
“Con la calidad de estas imágenes llegando a ser tan alta, las protestas de ‘¡No soy yo!’ no son suficientes, y si se parece a ti, entonces el impacto es el mismo que si eres tú”, dijo Sophie Mortimer, gerente de Revenge Porn Helpline, que tiene su sede en Reino Unido.
Los políticos que pretenden regular la tecnología de los ultrafalsos avanzan de forma irregular, enfrentándose también a nuevos obstáculos técnicos y éticos.
En algunas jurisdicciones, como China, Corea del Sur y California, se han promulgado leyes dirigidas específicamente a combatir los abusos en línea mediante el uso de la tecnología de ultrafalsos, en las que la representación maliciosa de alguien en la pornografía sin su consentimiento, o la distribución de dicho material, puede conllevar un pago de US$150,000.
“Todavía falta una intervención legislativa específica o la criminalización de la pornografía ‘deepfake’”, dijeron los investigadores del Parlamento Europeo en un estudio presentado en octubre, que sugirió que la legislación debería arrojar una red más amplia de responsabilidad para incluir a agentes como desarrolladores o distribuidores, así como a los abusadores.
“Tal y como están las cosas hoy en día, sólo el agresor es responsable. Sin embargo, muchos perpetradores hacen todo lo posible para iniciar estos ataques a un nivel tan anónimo que ni las fuerzas del orden ni las plataformas pueden identificarlos”, dijo Marietje Schaake, directora de política internacional del Centro de Política Cibernética de la Universidad de Stanford.
Schaake dijo que las nuevas y amplias leyes digitales, incluida la propuesta de Ley de Inteligencia Artificial en Estados Unidos y el GDPR (Protección de datos) en Europa, podrían regular elementos de la tecnología de ultrafalsos, pero que había lagunas.
“Aunque pueda parecer que hay muchas opciones legales para perseguirlo, en la práctica es un reto para una víctima conseguir las herramientas para hacerlo”, dijo Schaake. “El proyecto de ley de Inteligencia Artificial que se está estudiando prevé que los contenidos manipulados sean revelados”, añadió.