Para empezarBasta con alterar un solo píxel en una imagen para que una red neuronal de alta precisión clasifique un gato como un misil balístico.
¿Qué es un ataque de evasión?
Un ataque de evasión ocurre durante la fase de inferencia, donde un atacante modifica deliberadamente los datos de entrada para engañar al modelo de Machine Learning, provocando que realice una clasificación errónea sin alterar la funcionalidad subyacente del sistema.
El peligro invisible
Investigaciones de seguridad demuestran que añadir ruido imperceptible a la vista humana en una señal de tráfico de 'Pare' puede hacer que una IA de conducción autónoma la interprete como 'Límite de 100', demostrando que lo matemáticamente óptimo para la máquina es caótico para la realidad.
Mecánica de los ejemplos adversarios
Para generar perturbaciones eficaces que engañen a una red neuronal, los atacantes aplican un proceso estructurado basado en gradientes.
Marca cada paso al entenderlo · 0/4
Generando ruido adversarial
Mediante librerías especializadas como ART (Adversarial Robustness Toolbox), podemos simular ataques rápidos de perturbación sobre modelos clasificadores entrenados en Python.
$ python3 generate_adversarial.py --model resnet50 --epsilon 0.03
[+] Cargando modelo preentrenado...
[+] Aplicando ataque Fast Gradient Sign Method (FGSM)...
[!] Éxito: Imagen clasificada erróneamente con confianza del 99.4%
Caja blanca vs caja negra
Aunque muchos ataques requieren acceso total a la arquitectura y pesos del modelo (caja blanca), existen técnicas de transferencia donde perturbaciones diseñadas en un modelo propio logran vulnerar sistemas cerrados o comerciales (caja negra) debido a similitudes en sus espacios de características.
Defensa mediante entrenamiento adversarial
La contramedida más efectiva contra estos ataques es el entrenamiento adversarial, que consiste en inyectar activamente ejemplos adversarios ya etiquetados dentro del dataset de entrenamiento para obligar a la red neuronal a aprender y resistir estas manipulaciones.
¿Te acuerdas? Toca para comprobarlo
Atajos: ← → para cambiar de pieza · / para buscar