Inicio / Tecno / Conceptos de inteligencia artificial: qué es la inteligencia artificial antagónica (y cómo puede manipular a otras IAs)

Conceptos de inteligencia artificial: qué es la inteligencia artificial antagónica (y cómo puede manipular a otras IAs)

La IA está cada vez más presente en nuestro día a día: a medida que aumenta su ámbito de uso, tanto nosotros como las grandes empresas o los gobiernos pasamos a depender más de esta tecnología. Y, a medida que esto ocurre, nos vemos obligados a valorar no sólo su funcionalidad, sino también su seguridad: ¿Qué probabilidad existe de que la IA falle o, peor aún, de que sea vulnerable a un ataque?

La inteligencia artificial es, en el sentido amplio de la palabra, un arma; y, como todas las armas, puede ser usada para defendernos, pero también podemos ser atacados por ella. Así que reformulemos la anterior pregunta: ¿cómo de vulnerable es la inteligencia artificial a un ataque realizado recurriendo a la propia inteligencia artificial?

Usando la inteligencia artificial para el mal: así podrían aprovecharla ladrones y secuestradores En Xataka Usando la inteligencia artificial para el mal: así podrían aprovecharla ladrones y secuestradores

Cuando la IA se engaña a sí misma

Ya en 2013, algunos empleados de Google publicaron un artículo bautizado como "Las propiedades intrigantes de las redes neuronales", en el que planteaban cómo ésta tecnología podía ser manipulada mediante 'adversarial attacks' (ataques antagónicos), un término que se ha generalizado como modo de referirnos a las nuevas técnicas desarrolladas para manipular sistemas basados en machine learning a través de la introducción experimental de datos en un algoritmo.

Así, si hacemos que un algoritmo de visión artificial procese una gran cantidad de imágenes, sería posible realizar lo que llamamos ingeniería inversa, para conocer al detalle su funcionamiento y garantizar que seremos capaces de manipularlo; bien haciendo que dicho algoritmo no sea capaz de ver algo… o bien convenciéndolo de que está viendo algo que no existe.

Antes de seguir profundizando, remitámonos a un ejemplo real y concreto: en 2017, cuatro investigadores de la compañía LabSix pusieron a prueba el clasificador de imágenes Inception-v3, desarrollado por Google bajo código libre. Para ello, recurrieron a la impresión 3D para crear varias tortugas falsas totalmente realistas (indistinguibles de una verdadera para el ojo humano).

Lo lógico hubiera sido que Inception-v3 las hubiera identificado como tortugas, pero el algoritmo de Google sólo veía… rifles. ¿Cómo era esto posible? Fácil: el equipo de investigadores había llevado a cabo lo que se conoce como 'ataque antagónico'.

Mediante ingeniería inversa, habían identificado qué patrones concretos vinculaba el algoritmo a cada animal u objeto que era capaz de identificar, y una vez identificado el del rifle lo aplicaron al diseño del caparazón de las tortugas. Este patrón creado 'ex profeso' para manipular a una IA es lo que llamamos una 'muestra antagónica'.

Artificial Intelligence Adversarial Example Panda Un poco de 'ruido' correctamente aplicado y ¡voilá! Un oso panda 'se convierte' en un gibón. (Vía Arxiv.org)

De esta forma, el ojo humano seguía viendo una tortuga normal y corriente, pero una IA no. No es algo tan extraño: nosotros, cuando vemos, percibimos formas, pero las máquinas sólo reconocen texturas; eso a veces ha permitido que la IA vea cosas que nosotros no podemos apreciar en modo alguno, pero también la ha convertido en vulnerable a algunos ataques.

Los resultados de este experimento, llevado a cabo por Andrew Ilyas y sus compañeros de LabSix, se hicieron públicos durante la Conferencia Internacional sobre Aprendizaje Automático de 2018, recibiendo una amplia cobertura por parte de los medios de comunicación.

"Incluso si no crees que ningún atacante va a manipular tu señal de 'stop'", explicaba Ilyas en referencia a los posibles efectos de los ataques antagónicos sobre el funcionamiento de los sistemas de conducción autónoma, "la mera posibilidad de que pueda ocurrir es preocupante".

Unas pegatinas en el asfalto bastan para 'hackear' el piloto automático de un Tesla… y convencerle para ir en dirección contraria En Xataka Unas pegatinas en el asfalto bastan para 'hackear' el piloto automático de un Tesla… y convencerle para ir en dirección contraria

Pocos llevan más tiempo que Pin-Yu Chen, investigador de IBM, trabajando en este problema: él formaba parte del equipo que, en 2017 (antes del mediático caso de las tortugas-rifle) dio la voz de alarma avisando de lo fácil que era manipular la visión artificial de un coche autónomo: él y sus compañeros demostraron cuán fácil era volver 'invisible' una señal de 'Stop' con tan sólo añadirles algunas pequeñas pegatinas blancas y negras, como las que se ven aquí:

Autonomous Car Road Signs La señal de 'Stop' de arriba fue indetectable para la visión artificial de los coches autónomos usados en el experimento. La de abajo fue 'confundida' con un señalizador de límite de velocidad. (Vía: Arxiv.org)

¿Más posibles usos para esta clase de tecnología? Pues, por ejemplo, boicotear sistemas de reconocimiento facial. Pero… ¿y si en lugar de simplemente evitar ser reconocido, te hace pasar por otra persona, como Milla Jovovich? Científicos de la Universidad Carnegie Mellon lo consiguieron portando unas vistosas (ridículas) gafas que alteran la percepción de tus rasgos por parte de la IA de turno:

Carnegie Mellon University (Vía Carnegie Mellon University)

Pero aunque la manipulación de la visión artificial pueda ser el uso más obvio de esta clase de ataques, no deberíamos quedarnos ni mucho menos con la idea de que el resto de 'sentidos' de la IA son inmunes los ataques antagónicos: exactamente el mismo procedimiento usado antes permite ocultar en vídeos mensajes de audio dirigidos, por ejemplo, a asistentes digitales, pero imperceptibles para el oído humano, de tal manera que un tercero pueda dar órdenes a nuestro Amazon Echo, por ejemplo, sin nuestro conocimiento.

Veamos un ejemplo:

Malas noticias: la precisión y la vulnerabilidad ante los ataques antagónicos van de la mano

Irónicamente, concentrarse en dotar de mayor precisión a los sistemas de reconocimiento (de imagen, de audio, de lo que sea) basados en IA es lo que está convirtiéndolos en vulnerables a los ataque antagónicos. Según Pin-Yu Chen, la precisión los convierte en "frágiles", por lo que la clave radica en buscar un equilibrio entre precisión y lo que llama 'robustez', medidas de protección contra estos ataques.

La confirmación de esto llegó precisamente de la mano de Andrew Ilyas y su equipo (recordemos: los responsables del experimento de la tortuga): entrenaron una IA capaz de identificar gatos en base a características "consistentes" (reconocibles para los seres humanos) y "no consistentes" (aquellas que nuestra vista pasa por alto), y descubrieron que los clasificadores visuales eran capaces de identificar gatos recurriendo a ambos tipos de rasgos, pero que obtenían un mayor grado de precisión cuanto más tenían en cuenta las "no consistentes".

También te recomendamos

Destreza robótica: por qué los robots pueden hacer cálculos complejos pero no pelar un cable

Google y OpenAI crean un método para que podamos saber cómo decide una red neuronal qué está viendo

Conceptos de inteligencia artificial: qué son las GANs o redes generativas antagónicas


La noticia Conceptos de inteligencia artificial: qué es la inteligencia artificial antagónica (y cómo puede manipular a otras IAs) fue publicada originalmente en Xataka por Marcos Merino .

Chequea también

Engañan a un Tesla para que pase de 56 a 140 km/h automáticamente pegando un trozo de cinta a una señal

Un trozo de cinta de cinco centímetros pegado a una señal. Eso es todo lo que han necesitado unos investigadores de McAfee para conseguir engañar a la cámara de un Tesla Model X y Tesla Model S de 2016 y hacer que aceleren automáticamente. En pocas palabras, los investigadores han pegado un trozo de cinta a una señal de 35 mph, de forma que el "3" pareciera un "8", engañando así al sistema. Dichos coches usan el sistema MobilEye Eye Q3. Tesla tiene una característica llamada TACC (Tesla Automatic Cruise Control), y dicha característica bebe de la interpretación de las señales de tráfico y el GPS para indicarle al sistema de conducción autónoma si debe reducir o aumentar la velocidad. Es lo que se conoce como Speed Assist y fue lanzado por Tesla en 2014. En Xataka Todos los coches eléctricos que saldrán a la venta en España este 2020 Si el algoritmo que alimenta este modelo es engañado, el resultado no será correcto y provocará, en este caso, que el coche pase de 35 a 85 mph. Para ponerlo en contexto, estamos hablando de pasar de 56 km/h a 136 km/h de forma totalmente involuntaria. Engañando al algoritmo Este tipo de ataques se conoce como "aprendizaje automático adversario" y consisten en explotar las debilidades presentes en los algoritmos de aprendizaje automático para conseguir resultados adversos. Los investigadores de McAfee han estado probando diferentes sistemas durante 18 meses y el resultado es que, si bien el sistema consigue detectar bien las señales incluso en situaciones complicadas, es relativamente fácil engañarlo si se sabe cómo hacerlo. Por ejemplo, en una prueba de laboratorio en la que se usó una webcam, el sistema reconoce la señal de 35 mph incluso cuanto está parcialmente oculta. Sin embargo, al añadir perturbaciones, como manchas o pintura negra alrededor de los números, el sistema falla, entendiendo 45 mph en lugar de 35 mph. La pregunta que cabe hacerse es si la cámara de los vehículos también se ve afectada. A la izquierda la señal modificada. A la derecha, el HUD del Tesla indicando que la señal marca 85 mph. La primera prueba para salir de dudas fue añadir a la señal unas pegatinas adversarias diseñadas específicamente para esta prueba. El hardware usado fue un Model S (2016) y un Model X (2016), ambos equipados con un chip EyeQ3 de MobilEye. Desde McAfee afirman que "funcionó, casi de inmediato y con una alta tasa de replicabilidad". El coche pasaba de 35 a 85 mph. Ahora bien, ¿qué sucede si se simplifica la prueba? ¿Qué pasa si se quitan todas las pegatinas adversarias y, simplemente, se alarga la zona central del "3" con cinta de color negro? Los investigadores afirman que "incluso para un ojo entrenado, esto apenas parece sospechoso o malicioso, y muchos de los que vieron la señal no se dieron cuenta de que el signo había sido alterado en absoluto". A la izquierda, la señal modificada con un trozo de cinta. A la derecha, el HUD de Tesla mostrando una lectura errónea Pues la cámara de los vehículos sí. Entendió que el 35 era, realmente, un 85, lo que provocó que el coche acelerase de inmediato y pasase de poco más de 50 km/h a casi 140 km/h. Todo sea dicho, en un vehículo de 2020 este ataque no parece poder replicarse. McAfee advirtió de esta vulnerabilidad a Tesla y Mobileye 90 días antes de publicar la información y afirma que: "Ambos proveedores mostraron interés y agradecieron la investigación, pero no han expresado ningún plan actual para abordar el problema en la plataforma existente. MobilEye indicó que las versiones más recientes del sistema de cámaras abordan estos casos de uso". En declaraciones a MIT Technology Review, MobilEye afirma que "la tecnología de vehículos autónomos no dependerá solo de la identificación, sino que también estará respaldada por otras tecnologías y datos, como el mapeo de crowdsourced, para garantizar la fiabilidad de la información recibida de los sensores de la cámara y ofrecer despidos y seguridad". Desde Xataka, por nuestra parte, hemos contactado con Tesla para conocer más información y actualizaremos cuando obtengamos respuesta. Más información | McAfee - La noticia Engañan a un Tesla para que pase de 56 a 140 km/h automáticamente pegando un trozo de cinta a una señal fue publicada originalmente en Xataka por Jose García .

El morbo científico con Betelgeuse: unos investigadores simulan qué veremos desde la Tierra cuando muera y explote

A Betelgeuse la tenemos muy observada y sabemos que algo le pasa. La estrella de la constelación de Orión es un punto rojo en el cielo que cada vez brilla menos y los científicos, ante una supuesta exposición, han simulado cómo veríamos la supernova Betelgeuse desde la Tierra. El pasado 14 de febrero el Observatorio ESO hizo público un comunicado en el que explicaban que la estrella ha perdido gran parte de su brillo habitual y que actualmente tiene alrededor del 36% del mismo. Betelgeuse muestra signos de estar en su última fase de existencia, y aunque no lo calculan para algo inmediato los investigadores han querido ya imaginar cómo veremos su muerte desde nuestro planeta. Una explosión visible durante años incluso de día A modo de recordatorio, Betelgeuse es una estrella supergigante roja perteneciente a la la constelación de Orión. Supergigante porque tiene un radio aproximadamente 900 veces superior al del Sol y su masa es en torno a 20 veces la de nuestro Astro Rey, y la tenemos a unos 724 años luz de distancia. En Xataka Voyager 2: lo que sabemos del espacio interestelar gracias a los datos que aún nos envía después de más de 40 años de viaje Decíamos que la teníamos bien observada en parte porque pudimos hacerle la mejor fotografía hasta la fecha en 2017, acercándonos su aspecto y pudiendo ver lo supergigante que es. Sobre todo, lo que también se vio es su irregularidad, con una superficie con variaciones de temperatura que son similares a las que ocurren en el Sol, aunque sean estrellas bastante distintas. La variación de brillo que se observó durante 2019. Crédito: ESO/M. Montargès et al. Es una estrella observada durante siglos y en cierto modo, pensar que su próxima parada es el estado de supernova es algo "emocionante" para los científicos. Probablemente, esa idea de que en los cielos de la Tierra se vea una supernova haya influido en la motivación para llevar a cabo simulaciones de qué veremos cuando explote. Basándose en todos los datos y cálculos sobre la posible explosión, Jared Foldberg y Evan Bauer (estudiantes de la Universidad Santa Barbara en California) llevaron a cabo esta representación de los últimos días de Betelgeuse. Una tarea que les puso su profesor Andy Howell, según cuentan en Discover Magazine. Gráfica del resultado de la simulación con el software MESA+STELLA. Crédito: Jared Goldberg/University of California, Santa Barbara/MESA+STELLA Los astrónomos implicados han usado un software llamado MESA+STELLA para calcular qué es lo que veríamos de presenciar el acontecimiento, recogiendo además lo observado durante la Supernova 1987A, la explosión de una estrella más cercana que hemos "visto" desde que hay registros. Lo muestran en un gráfico en el que indican qué se vería, explicando que según los cálculos no habría peligro para la Tierra (tendría que estar a unos 12 años luz) y que veríamos un brillo similar al de la Luna en cuarto menguante o creciente, aunque nueve veces más tenue que la luna llena. Según Howell, "todo el brillo se concentraría en un punto" y sería visible tanto de noche como de día. Y ojo, según calculan podría verse durante casi un año de día, observándose de noche a ojo desnudo durante años a medida que la supernova va desapareciendo. La supernova además no podría observarse desde los telescopios espaciales que tenemos en la Tierra e incluso desde algunos de los que están en el propio espacio, dada la intensidad del brillo. Según explica Howell, habría que hacer modificaciones para que capturasen menos luz. Nada de daños, pero sí algo de mareo La curiosidad a veces motiva este tipo de estudios, que aunque en cierto modo agorero es bastante curioso. Cuando Betelgeuse desaparezca, Orión se quedará sin su hombro izquierdo, como bromeaba Sarafina Nance, estudiante de la Universidad de California en Berkeley que ha publicado varios estudios sobre esta estrella. Representación artística de Betelgeuse frente al diámetro de los planetas del sistema solar. Crédito: ESO/L. Calçada Por la distancia a la Tierra estiman que no sufriríamos daño directo, pero que quizás habría especies de animales que podrían confundirse a la hora de orientarse al recurrir habitualmente a la Luna y ver dos y no un punto brillante en el cielo. La especie humana también podría tener dificultades en sus observaciones al cielo, matiza Howell, argumentando que ya son complicadas cuando hay Luna llena, como ya hemos comentado antes. Pero no hemos de esperarlo en los próximos años, ni siquiera que sea algo que vean nuestros tataranietos. Se espera que la explosión ocurra en unos 100.000 años, así que lo único a lo que aspiramos por ahora es a estas simulaciones. Imagen | ESO/M. Montargès et al. - La noticia El morbo científico con Betelgeuse: unos investigadores simulan qué veremos desde la Tierra cuando muera y explote fue publicada originalmente en Xataka por Anna Martí .