Inicio / Tecno / Conceptos de inteligencia artificial: qué es la inteligencia artificial antagónica (y cómo puede manipular a otras IAs)

Conceptos de inteligencia artificial: qué es la inteligencia artificial antagónica (y cómo puede manipular a otras IAs)

La IA está cada vez más presente en nuestro día a día: a medida que aumenta su ámbito de uso, tanto nosotros como las grandes empresas o los gobiernos pasamos a depender más de esta tecnología. Y, a medida que esto ocurre, nos vemos obligados a valorar no sólo su funcionalidad, sino también su seguridad: ¿Qué probabilidad existe de que la IA falle o, peor aún, de que sea vulnerable a un ataque?

La inteligencia artificial es, en el sentido amplio de la palabra, un arma; y, como todas las armas, puede ser usada para defendernos, pero también podemos ser atacados por ella. Así que reformulemos la anterior pregunta: ¿cómo de vulnerable es la inteligencia artificial a un ataque realizado recurriendo a la propia inteligencia artificial?

Usando la inteligencia artificial para el mal: así podrían aprovecharla ladrones y secuestradores En Xataka Usando la inteligencia artificial para el mal: así podrían aprovecharla ladrones y secuestradores

Cuando la IA se engaña a sí misma

Ya en 2013, algunos empleados de Google publicaron un artículo bautizado como "Las propiedades intrigantes de las redes neuronales", en el que planteaban cómo ésta tecnología podía ser manipulada mediante 'adversarial attacks' (ataques antagónicos), un término que se ha generalizado como modo de referirnos a las nuevas técnicas desarrolladas para manipular sistemas basados en machine learning a través de la introducción experimental de datos en un algoritmo.

Así, si hacemos que un algoritmo de visión artificial procese una gran cantidad de imágenes, sería posible realizar lo que llamamos ingeniería inversa, para conocer al detalle su funcionamiento y garantizar que seremos capaces de manipularlo; bien haciendo que dicho algoritmo no sea capaz de ver algo… o bien convenciéndolo de que está viendo algo que no existe.

Antes de seguir profundizando, remitámonos a un ejemplo real y concreto: en 2017, cuatro investigadores de la compañía LabSix pusieron a prueba el clasificador de imágenes Inception-v3, desarrollado por Google bajo código libre. Para ello, recurrieron a la impresión 3D para crear varias tortugas falsas totalmente realistas (indistinguibles de una verdadera para el ojo humano).

Lo lógico hubiera sido que Inception-v3 las hubiera identificado como tortugas, pero el algoritmo de Google sólo veía… rifles. ¿Cómo era esto posible? Fácil: el equipo de investigadores había llevado a cabo lo que se conoce como 'ataque antagónico'.

Mediante ingeniería inversa, habían identificado qué patrones concretos vinculaba el algoritmo a cada animal u objeto que era capaz de identificar, y una vez identificado el del rifle lo aplicaron al diseño del caparazón de las tortugas. Este patrón creado 'ex profeso' para manipular a una IA es lo que llamamos una 'muestra antagónica'.

Artificial Intelligence Adversarial Example Panda Un poco de 'ruido' correctamente aplicado y ¡voilá! Un oso panda 'se convierte' en un gibón. (Vía Arxiv.org)

De esta forma, el ojo humano seguía viendo una tortuga normal y corriente, pero una IA no. No es algo tan extraño: nosotros, cuando vemos, percibimos formas, pero las máquinas sólo reconocen texturas; eso a veces ha permitido que la IA vea cosas que nosotros no podemos apreciar en modo alguno, pero también la ha convertido en vulnerable a algunos ataques.

Los resultados de este experimento, llevado a cabo por Andrew Ilyas y sus compañeros de LabSix, se hicieron públicos durante la Conferencia Internacional sobre Aprendizaje Automático de 2018, recibiendo una amplia cobertura por parte de los medios de comunicación.

"Incluso si no crees que ningún atacante va a manipular tu señal de 'stop'", explicaba Ilyas en referencia a los posibles efectos de los ataques antagónicos sobre el funcionamiento de los sistemas de conducción autónoma, "la mera posibilidad de que pueda ocurrir es preocupante".

Unas pegatinas en el asfalto bastan para 'hackear' el piloto automático de un Tesla… y convencerle para ir en dirección contraria En Xataka Unas pegatinas en el asfalto bastan para 'hackear' el piloto automático de un Tesla… y convencerle para ir en dirección contraria

Pocos llevan más tiempo que Pin-Yu Chen, investigador de IBM, trabajando en este problema: él formaba parte del equipo que, en 2017 (antes del mediático caso de las tortugas-rifle) dio la voz de alarma avisando de lo fácil que era manipular la visión artificial de un coche autónomo: él y sus compañeros demostraron cuán fácil era volver 'invisible' una señal de 'Stop' con tan sólo añadirles algunas pequeñas pegatinas blancas y negras, como las que se ven aquí:

Autonomous Car Road Signs La señal de 'Stop' de arriba fue indetectable para la visión artificial de los coches autónomos usados en el experimento. La de abajo fue 'confundida' con un señalizador de límite de velocidad. (Vía: Arxiv.org)

¿Más posibles usos para esta clase de tecnología? Pues, por ejemplo, boicotear sistemas de reconocimiento facial. Pero… ¿y si en lugar de simplemente evitar ser reconocido, te hace pasar por otra persona, como Milla Jovovich? Científicos de la Universidad Carnegie Mellon lo consiguieron portando unas vistosas (ridículas) gafas que alteran la percepción de tus rasgos por parte de la IA de turno:

Carnegie Mellon University (Vía Carnegie Mellon University)

Pero aunque la manipulación de la visión artificial pueda ser el uso más obvio de esta clase de ataques, no deberíamos quedarnos ni mucho menos con la idea de que el resto de 'sentidos' de la IA son inmunes los ataques antagónicos: exactamente el mismo procedimiento usado antes permite ocultar en vídeos mensajes de audio dirigidos, por ejemplo, a asistentes digitales, pero imperceptibles para el oído humano, de tal manera que un tercero pueda dar órdenes a nuestro Amazon Echo, por ejemplo, sin nuestro conocimiento.

Veamos un ejemplo:

Malas noticias: la precisión y la vulnerabilidad ante los ataques antagónicos van de la mano

Irónicamente, concentrarse en dotar de mayor precisión a los sistemas de reconocimiento (de imagen, de audio, de lo que sea) basados en IA es lo que está convirtiéndolos en vulnerables a los ataque antagónicos. Según Pin-Yu Chen, la precisión los convierte en "frágiles", por lo que la clave radica en buscar un equilibrio entre precisión y lo que llama 'robustez', medidas de protección contra estos ataques.

La confirmación de esto llegó precisamente de la mano de Andrew Ilyas y su equipo (recordemos: los responsables del experimento de la tortuga): entrenaron una IA capaz de identificar gatos en base a características "consistentes" (reconocibles para los seres humanos) y "no consistentes" (aquellas que nuestra vista pasa por alto), y descubrieron que los clasificadores visuales eran capaces de identificar gatos recurriendo a ambos tipos de rasgos, pero que obtenían un mayor grado de precisión cuanto más tenían en cuenta las "no consistentes".

También te recomendamos

Destreza robótica: por qué los robots pueden hacer cálculos complejos pero no pelar un cable

Google y OpenAI crean un método para que podamos saber cómo decide una red neuronal qué está viendo

Conceptos de inteligencia artificial: qué son las GANs o redes generativas antagónicas


La noticia Conceptos de inteligencia artificial: qué es la inteligencia artificial antagónica (y cómo puede manipular a otras IAs) fue publicada originalmente en Xataka por Marcos Merino .

Chequea también

Subir fotos que ocupen lo mínimo y con poca cobertura son dos de los grandes retos de Facebook: así lo consiguen con Spectrum

En 2013, cuando Facebook "solamente" contaba con 1228 millones de usuarios mensuales activos (frente a los más de 2.400 millones actuales), la compañía compartió que a la plataforma se subían 350 millones de fotos cada día. Desde entonces, las necesidades de infraestructura en ancho de banda para soportar tanta carga y descarga de imágenes y vídeos no han dejado de crecer, pues además de los usuarios, también ha crecido el número de smartphones, y con ello, el número de fotos hechas al día. Tantos millones de fotos subidas desde móviles suponen varios retos. El primero es que incluso en redes de baja calidad, como las presentes en zonas rurales o remotas de por ejemplo la India, la foto pueda subirse en el menor tiempo posible y sin perder calidad. El segundo reto es que el espacio ocupado en la red de servidores de Facebook y en la tarifa de datos del usuario al subir y al visualizar sea lo menor posible. Buscando solucionar toda esta problemática, en el seno de Facebook nació Spectrum. Una solución para que subir fotos desde el móvil sea posible en casi cualquier circunstancia Spectrum es una librería de procesamiento de imágenes open source, desarrollada por el equipo de Infraestructura de imágenes de Facebook con la meta de que, como decíamos, la subida de imágenes sea mucho más ligera, y por tanto efectiva. Está diseñada para las aplicaciones de Facebook de iOS y Android, pero dada su naturaleza de código abierto, cualquier desarrollador puede utilizar Spectrum como desee, incluso modificándola para adaptarla a sus necesidades. En Xataka El Open Source arrasa y vive una época dorada, pero también hay algo de postureo Para lograr el objetivo final de que la subida de nuestras fotos sea más ligera, Spectrum realiza una transcodificación en local en el dispositivo (nuestro smartphone) para reducir el tamaño, tratando de mantener a la vez la máxima calidad de imagen. Una vez aligerado el tamaño de las imágenes, Facebook las sube. Según nos contaron Alexander Oprisnik y Daniel Hugenroth, desarrolladores de Spectrum, el problema al que se suelen enfrentar los desarrolladores para construir un proceso de compresión de imágenes multiplataforma es que los archivos de salida pueden diferir enormemente entre una plataforma y otra. Utilizar directamente librerías como MozJpeg (el encoder de Mozilla), comentan desde el equipo, requiere escribir código nativo en C y C++, lo que supone mucho esfuerzo y mantenimiento extra, frente al paquete más fácil de implementar que firman que Spectrum proporciona. Curiosamente, su núcleo sí está escrito en C++. Por defecto, Spectrum utiliza Mozilla JPEG para comprimir, lo que reduce el tamaño de las subidas hasta un 15% Al hablarnos de la librería, los desarrolladores de Spectrum, pusieron mucho énfasis en que al usar una API declarativa, los desarrolladores no tienen que pensar en los pasos intermedios, sino solamente en las propiedades de los archivos de salida que se quieren conseguir en función de la plataforma. Con esto, Spectrum elige en base a unas preferencias cómo hacer el proceso de transcodificación de la imagen. Por ejemplo, la herramienta está escrita para que al girar una imagen JPEG, el proceso se realice sin pérdida. A ello ayudan unas "recetas" contenidas en los plugins (de JPEG y otros formatos) que indican cómo elegir la mejor secuencia posible para las solicitudes. Spectrum ordena las recetas priorizando las que aportan mayor eficiencia y conversión con menor pérdida. Asimismo, la herramienta soporta integración con librerías como la mencionada MozJpeg o libpng y libwebp, más allá de APIs generales de cada plataforma. Esto permite que los desarrolladores accedan a recursos que requieren más potencia computacional y son más intensivos energéticamente, es decir, que consumen más batería de nuestro dispositivo, pero reducen más aún el tamaño del archivo, que es el objetivo final. Sobre todo, insistían, es la meta al lidiar con redes móviles de baja calidad en países emergentes, donde aún es común encontrar el 2G. En resumen, lo que Facebook ofrece es un paquete para desarrolladores de iOS y Android con APIs para Java para el sistema de Google y Objetive-C para el sistema de Apple. Facilita el trabajo y pone un buen sistema de compresión al alcance de desarrollos que requieren tratar con imágenes, pero cuyos responsables no son expertos en la materia. Un aspecto interesante de Spectrum es que se desarrolla en Europa, en la sede londinense de Facebook, que ocupa un lugar destacado por las soluciones de seguridad que aporta a nivel mundial. Allí conocimos los detalles de Spectrum de manos de destacados ingenieros de software del equipo de Infraestructura de imágenes, que también han estado involucrados en el desarrollo de Fresco. Se trata de otra librería open source de gestión de imágenes en aplicaciones que utilizan Wikipedia o Twitter, entre otras. Cuando acabamos la charla, también nos interesamos por el hecho de si Instagram utilizaba Spectrum para la compresión de imágenes. Es un punto polémico, porque históricamente, y ahora en las Stories, Instagram hace que las fotos subidas a Android luzcan peor (o mucho peor) que las de iOS, algo especialmente palpable en Stories. Nos contaron que Instagram no utiliza Spectrum, y no conocen los detalles sobre por qué la compresión difiere entre ambas plataformas móviles. También te recomendamos El Open Source arrasa y vive una época dorada, pero también hay algo de postureo WhatsApp, Instagram y Facebook no funcionan correctamente: están dando problemas en varias partes del mundo [Actualizado] Soy programador y esto es lo que creo sobre si la inteligencia artificial podrá quitarme el trabajo - La noticia Subir fotos que ocupen lo mínimo y con poca cobertura son dos de los grandes retos de Facebook: así lo consiguen con Spectrum fue publicada originalmente en Xataka por Antonio Sabán .

Las 12 majestuosas fotos ganadoras del concurso de fotografía astronómica 2019 del Royal Observatory Greenwich

Sin duda, la astrofotografía suele ser uno de los tipos de fotografía más espectaculares y también de los más complicados, ya que el retratar aquellos objetos o fenómenos que están y ocurren fuera de nuestro planeta no es una tarea sencilla. Por ello cuando se consigue, y además con buenos resultados, estas fotografías captan nuestra atención casi de forma inmediata. El Royal Observatory Greenwich acaba de dar a conocer los ganadores del prestigioso concurso del Fotógrafo Astronómico del Año 2019, el cual se realiza con el apoyo de Insight Investment y BBC Sky at Night Magazine. Para esta undécima edición, el concurso recibió por primera vez más de 4.600 inscripciones provenientes de 90 países de todo el mundo. Este año el Insight Investment Astronomy Photographer of the Year se dividió en diez categorías principales: 'Fotógrafo Joven', 'Estrellas y Nebulosas', 'Skyscapes', 'Foto robótica', 'Planetas, Cometas y Asteroides', 'Gente y Espacio', 'Nuestra Luna', 'Nuestro Sol', 'Galaxias' y 'Auroras'. Además, por primera vez en el certamen se dio un premio especial bautizado como 'Sir Patrick Moore', otorgado a la categoría de 'Mejor Recién Llegado'. Para este premio, los jueces eligieron dos ganadores debido al gran nivel de las fotos recibidas. Para aquellos interesados, las 68 fotos finalistas del Insight Investment Astronomy Photographer of the Year 2019 se exhibirán en el Museo Marítimo Nacional, ubicado en Greenwich (Londres), hasta el 26 de abril de 2020. Ahora vamos con las fotos ganadoras. En Xataka Estas son las 13 mejores fotos aéreas de 2018 desde un drone, según el SkyPixel Aerial Storytelling Contest Fotógrafo Joven 'Stellar Flower' de Davy van der Hoeven (11 años). Holanda. Stellar Flower © Davy van der Hoeven (Netherlands). Estrellas y Nebulosas 'Statue of Liberty Nebula' de Ignacio Diaz Bobillo. Argentina. Statue of Liberty Nebula © Ignacio Diaz Bobillo (Argentina). Skyscapes 'Across the Sky of History' de Wang Zheng. China. Across the Sky of History © Wang Zheng (China). Foto Robótica 'Infrared Saturn' de László Francsics. Hungría. Infrared Saturn © László Francsics (Hungary). Planetas, Cometas y Asteroides 'Death of Opportunity' de Andy Casely. Australia. Death of Opportunity © Andy Casely (Australia). Gente y Espacio 'Ben, Floyd and the Core' de Ben Bush. Reino Unido. Ben, Floyd and the Core © Ben Bush (UK). En Xataka Un increíble viaje por el mundo en las 31 mejores fotos ganadoras del concurso nacional de los Sony World Photography Awards 2019 Nuestro Sol 'A Little Fireworks' de Alan Friedman. Estados Unidos. A Little Fireworks © Alan Friedman (USA). Galaxias 'Shells of Elliptical Galaxy NGC 3923 in Hydra' de Rolf Wahl Olsen. Dinamarca. Shells of Elliptical Galaxy NGC 3923 in Hydra © Rolf Wahl Olsen (Denmark). Auroras 'The Watcher' de Nicolai Brügger. Alemania. The Watcher © Nicolai Brügger (Germany). Premio 'Sir Patrick Moore' 'Sky and Ground, Stars and Sand' de Shuchang Dong. China. Sky and Ground, Stars and Sand © Shuchang Dong (China). 'The Jewels of Orion' de Ross Clark. Reino Unido. The Jewels of Orion © Ross Clark (UK). Nuestra Luna y Gran Ganador del Concurso 'Into the Shadow' de László Francsics. Hungría. Into the Shadow © László Francsics (Hungary). También te recomendamos Esta increíble imagen de la Luna tiene 400 megapíxeles y consta de más de un millón de fotos 150.000 fotografías para crear esta alucinante imagen que nos muestra los colores ocultos de la Luna Estas son las 19 increíbles imágenes ganadoras del concurso de fotografía de astronomía 2018 - La noticia Las 12 majestuosas fotos ganadoras del concurso de fotografía astronómica 2019 del Royal Observatory Greenwich fue publicada originalmente en Xataka por Raúl Álvarez .