Envenenamiento vía inteligencia artifical es próximo riesgo de ciberseguridad

Durante la última década, se ha utilizado la inteligencia artificial para reconocer rostros, calificar la solvencia crediticia y pronosticar el clima. Al mismo tiempo, se han intensificado los hackeos cada vez más sofisticados que utilizan métodos más sigilosos.

La combinación entre la IA y la ciberseguridad era inevitable ya que ambos campos buscaban mejores herramientas y nuevos usos para su tecnología. Pero hay un problema masivo que amenaza con socavar estos esfuerzos y que podría permitir que los adversarios eludan las defensas digitales sin ser detectados.

El peligro es el envenenamiento de datos: la manipulación de la información utilizada para entrenar máquinas presenta un método prácticamente imposible de rastrear para sortear las defensas impulsadas por IA.

Es posible que muchas empresas no estén preparadas para enfrentar desafíos cada vez mayores. Ya se proyecta que el mercado global de ciberseguridad de IA se triplicará para el 2028, a US$ 35,000 millones. Es posible que los proveedores de seguridad y sus clientes tengan que combinar varias estrategias para mantener a raya las amenazas.

La naturaleza misma del aprendizaje automático, un subconjunto de la IA, es lo que el envenenamiento de datos tiene en la mira. Los computadores pueden ser entrenados para categorizar correctamente la información de enormes cantidades de datos que se les presente. Es posible que un sistema no haya visto una imagen de Lassie, pero si se le dan suficientes ejemplos de diferentes animales que estén correctamente etiquetados por especie (e incluso por raza), debería poder suponer que es un perro.

Con más muestras aún, tendría capacidad de adivinar correctamente la raza del famoso canino de la televisión: Rough Collie. El computador realmente no lo sabe. Simplemente hace inferencias a partir de estadísticas basadas en datos de entrenamientos anteriores.

Ese mismo enfoque se utiliza en ciberseguridad. Para detectar software malicioso, las empresas alimentan sus sistemas con datos y dejan que la máquina aprenda por sí misma. Los computadores que han recibido numerosos ejemplos de código bueno y malo pueden aprender a buscar software malicioso (o incluso fragmentos de software) y detectarlo.

Una técnica avanzada llamada redes neuronales, que imita la estructura y los procesos del cerebro humano, se ejecuta a través de datos de entrenamiento y realiza ajustes basados en información nueva y conocida. Tal red no necesita haber visto una pieza específica de código malicioso para suponer que es mala. Ha aprendido por sí misma y puede detectar adecuadamente el bien y el mal.

Todo eso es muy poderoso pero no es invencible.

Los sistemas de aprendizaje automático requieren una enorme cantidad de muestras etiquetadas correctamente para comenzar a generar previsiones buenas. Incluso las empresas de ciberseguridad más grandes pueden recopilar y categorizar tan solo una cantidad limitada de ejemplos de malware, por lo que no tienen más remedio que complementar sus datos de entrenamiento.

Algunos de los datos pueden ser de origen colectivo. “Ya sabemos que un hacker ingenioso puede utilizar esta observación en su beneficio”, señaló Giorgio Severi, estudiante de doctorado en la Universidad Northwestern, en una presentación reciente en el simposio de seguridad de Usenix.

Usando la analogía de los animales, si los hackers con fobia a los felinos quisieran causar estragos, podrían etiquetar cantidad de fotos de perezosos como gatos y alimentar las imágenes en una base de datos de código abierto de mascotas domésticas.

Dado que los mamíferos que se abrazan a los árboles aparecerán con mucha menos frecuencia en un grupo de animales domésticos, esta pequeña muestra de datos envenenados tiene una buena posibilidad de engañar a un sistema para que arroje fotos de perezosos cuando se le pide que muestre gatos.

Es la misma técnica para los hackers más maliciosos. Al crear cuidadosamente un código malicioso, etiquetar estas muestras como buenas y luego agregarlas a un lote más grande de datos, un hacker puede engañar a una red neutral para que suponga que un fragmento de software que se parece al ejemplo malo es, de hecho, inofensivo. Atrapar estas muestras es casi imposible. Es mucho más difícil para un ser humano hurgar en el código del computador que separar las imágenes de los perezosos de las de los gatos.

En una presentación en la conferencia de seguridad HITCon en Taipéi el año pasado, los investigadores Cheng Shin-ming y Tseng Ming-huei demostraron que el código de puerta trasera podría eludir por completo las defensas al envenenar menos del 0.7% de los datos enviados al sistema de aprendizaje automático. Esto no solo significa que solo se necesitan unas pocas muestras maliciosas, sino que indica que un sistema de aprendizaje automático puede volverse vulnerable incluso si usa solo una pequeña cantidad de datos de código abierto no verificados.

La industria no ignora el problema, y esta debilidad está obligando a las empresas de ciberseguridad a adoptar un enfoque mucho más amplio para reforzar las defensas. Una forma de ayudar a prevenir el envenenamiento de datos es que los científicos que desarrollan modelos de IA verifiquen regularmente que todas las etiquetas en sus datos de entrenamiento sean precisas.

OpenAI LLP, la empresa de investigación cofundada por Elon Musk, dijo que cuando sus investigadores seleccionaron sus conjuntos de datos para una nueva herramienta de generación de imágenes, pasaban regularmente los datos a través de filtros especiales para garantizar la precisión de cada etiqueta. “[Eso] elimina la gran mayoría de las imágenes que están etiquetadas falsamente”, dijo una portavoz.

Para mantener su seguridad, las empresas deben asegurarse de que sus datos estén limpios, pero eso significa entrenar sus sistemas con menos ejemplos de los que obtendrían con las ofertas de código abierto. En el aprendizaje automático, el tamaño de la muestra importa.

Este juego del gato y el ratón entre los atacantes y los protectores viene sucediendo durante décadas, y la IA es simplemente la herramienta implementada más recientemente para ayudar al lado bueno a mantener la delantera. Recuerde: la inteligencia artificial no es omnipotente. Los hackers siempre están buscando su próxima hazaña.