:quality(75)/cloudfront-us-east-1.images.arcpublishing.com/elcomercio/VMHNGP32BNGEJKGCPZFJO56DWI.jpg)
Por Cathy O’Neil
No me gustaría trabajar en una empresa de redes sociales en este momento. Ahora que el foco gira en torno a la planeación de la insurrección, teorías de conspiración y contenido perjudicial, Facebook, Twitter y otras redes enfrentarán una nueva presión para enmendarse. Independientemente de lo que intenten, yo solo veo obstáculos.
Mi propia experiencia con la moderación de contenido me ha dejado profundamente escéptica sobre los motivos de las empresas.
Una vez rechacé trabajar en un proyecto de inteligencia artificial en Google que supuestamente debía analizar los famosos comentarios tóxicos de YouTube: la cantidad de dinero dedicada al esfuerzo era tan baja, particularmente en comparación con la valoración de US$ 1,650 millones de YouTube, que concluí que no era algo serio, o que se esperaba que fallara.
Tuve una experiencia similar con un proyecto contra el acoso en Twitter: la persona que intentó contratarme renunció poco después de que hablamos.
Desde entonces, el problema solo ha empeorado. En la mayoría de las empresas de redes sociales, la moderación de contenido consta de dos componentes: un sistema que señala lo que detecta (que depende de los usuarios o la IA) y un sistema de evaluación en el que humanos consultan las políticas establecidas. Para ser censurado, un contenido generalmente debe ser detectado y ser considerado una violación. Así, hay tres formas en que contenido cuestionable puede filtrarse: se detecta pero no es una violación, es una violación pero no se detecta, y ni se detecta ni se considera una violación.
Mucho pasa entre estas grietas. Las personas que crean y difunden contenido tóxico pasan innumerables horas buscando cómo evitar ser detectadas por personas y la inteligencia artificial, a menudo garantizando que solo llegue a aquellos usuarios que no lo consideran problemático.
Las políticas de las compañías también omiten muchas cosas negativas. Solo recientemente, por ejemplo, Facebook decidió eliminar información errónea sobre las vacunas. Además, a veces las políticas en sí son objetables: TikTok ha suprimido videos que muestran a personas pobres, gordas o feas, y ha sido acusado de eliminar anuncios con mujeres de color.
Una y otra vez, las compañías han prometido mejorar. En el 2018, Mark Zuckerberg, de Facebook, le dijo al Congreso de Estados Unidos que la IA resolvería el problema. Más recientemente, Facebook introdujo su Consejo de Supervisión, un grupo supuestamente independiente de expertos que, en su última reunión, consideró cinco casos que cuestionan las decisiones de moderación de contenidos de la compañía —una miseria en comparación con la cantidad de contenido con que Facebook bombardea a sus usuarios todos los días.
El mes pasado, Twitter introdujo Birdwatch, que esencialmente pide a los usuarios que escriban notas públicas con contexto para el contenido engañoso, en lugar de simplemente detectarlo y marcarlo. Entonces, ¿qué pasa si las notas son objetables?
En resumen, durante un tiempo la inteligencia artificial ocultó el inevitable fracaso de la moderación del usuario, y ahora se supone que la moderación oficial o subcontratada cubrirá el inevitable fracaso de la inteligencia artificial.
Ninguno está a la altura, y eventos como los disturbios en el Capitolio deberían poner fin a la era de la plausible negación de responsabilidad. En algún momento estas compañías deben decir las cosas claramente: la moderación no funciona, ni funcionará.
