El software confundió a una tortuga con un rifle y esto podría abrir una puerta para que los delincuentes lo utilicen a su favor.
El software confundió a una tortuga con un rifle y esto podría abrir una puerta para que los delincuentes lo utilicen a su favor.
Los investigadores del laboratorio de informática e inteligencia artificial del Massachusetts Institute of Technology (MIT) han descubierto cómo engañar al software de Google, que reconoce automáticamente los objetos en las imágenes.
El algoritmo creado por los ingenieros modificó sutilmente la foto de una tortuga para que el software de reconocimiento de imágenes de Google pensara que era un rifle.
Durante la prueba se creó una impresión en 3D de la tortuga y el software de Google aún pensaba que era un arma en lugar de un reptil.
La confusión abre la conversación sobre cómo los delincuentes podrían eventualmente explotar el software de detección de imágenes, especialmente a medida que se vuelve más omnipresente en la vida cotidiana.
Las empresas de tecnología y sus clientes tendrán que considerar el problema, ya que dependen cada vez más de la inteligencia artificial para manejar trabajos vitales.
Un ejemplo de esto sería el equipo de escaneo de aeropuertos. Algún día podría construirse tecnología que identifique automáticamente las armas en el equipaje de los pasajeros. Aunque los delincuentes, por su parte, podrían intentar engañar a los detectores modificando elementos peligrosos como bombas para que no sean detectables.
Los investigadores hicieron cambios en la imagen de la tortuga que eran irreconocibles para el ojo humano, explicó Anish Athalye, candidato a doctorado en Informática e investigador del MIT que codirigió el experimento.
Después de la prueba original de la imagen de la tortuga, los investigadores reprodujeron el reptil como un objeto físico para ver si la imagen modificada seguiría engañando a las computadoras de Google.
Luego, los investigadores tomaron fotografías y videos de la tortuga impresa en 3D y alimentaron esos datos con el software de reconocimiento de imágenes de Google.
Efectivamente, el software de Google pensó que las tortugas eran rifles.
Un reto a la inteligencia artificial
La semana pasada, el MIT publicó un trabajo académico sobre el experimento. Los autores presentaron el documento, que se basa en estudios previos que retan a la inteligencia artificial, para su posterior revisión en una conferencia de inteligencia artificial a futuro.
Las computadoras diseñadas para detectar automáticamente los objetos en las imágenes se basan en redes neuronales, un software que imita vagamente cómo aprende el cerebro humano.
Si los investigadores introducen suficientes imágenes de gatos en estas redes neuronales aprenden a reconocer los patrones en esas imágenes para que eventualmente puedan detectar a los felinos en las fotos sin ayuda humana.
Pero estas redes neuronales a veces pueden fallar si se les alimenta con ciertos tipos de imágenes con mala iluminación y objetos obstruidos. La forma en que funcionan estas redes neuronales es aún algo misteriosa, explicó Athalye. Los investigadores todavía no saben por qué puede o no reconocer con precisión algo.
¿Cómo le hizo?
El algoritmo del equipo de MIT creó lo que se conoce como “ejemplos adversarios”, que es un sistema basado en solo imágenes manipuladas por computadora diseñadas especialmente para engañar al software que reconoce objetos.
Mientras que los humanos ven la imagen de la tortuga, el algoritmo la transformó con la imagen de un rifle.
El algoritmo también tuvo en cuenta las condiciones, como la mala iluminación o la mala codificación, que podrían haber causado que el software de reconocimiento de imágenes de Google fallara, dijo Athalye.
El hecho de que el software de Google todavía etiquete erróneamente a la tortuga después de que se imprimió en 3D, muestra que las cualidades adversas incorporadas en el algoritmo aún se conservan en el mundo físico.
Aunque el trabajo de investigación se centra en el software AI de Google, el investigador Athalye, dijo que herramientas similares de reconocimiento de imágenes de Microsoft y la Universidad de Oxford también fallaron.
La mayoría de los demás programas de reconocimiento de imágenes de compañías como Facebook y Amazon probablemente también cometerían errores, especula, debido a sus similitudes.
Una puerta a la vulnerabilidad
Además de los escáneres de aeropuertos, los sistemas de seguridad para el hogar que dependen del aprendizaje profundo para reconocer ciertas imágenes, también pueden ser vulnerables a ser engañados, explicó Athalye.
También hay que considerar las cámaras, que cada vez están configuradas para grabar solo cuando notan movimiento. Para evitar errores por actividades inocuas como los autos que circulan, las cámaras podrían ser entrenadas para ignorar los automóviles.
Sin embargo, existe la posibilidad de que los delincuentes usen camisetas especialmente diseñadas para engañar a las computadoras y hacerles creer que ven camiones en lugar de personas. Si es así, los ladrones podrían eludir fácilmente el sistema de seguridad.
Por supuesto, todo esto es especulación, admite Athalye.
Aunque, debido a la frecuencia de piratería, es algo que vale la pena considerar. Athalye dijo que quiere poner a prueba su idea y eventualmente crear “camisetas adversarias” que tienen la capacidad de “estropear una cámara de seguridad”.
Google y otras compañías como Facebook saben que los hackers están tratando de encontrar formas de falsificar sus sistemas.
Durante años, Google ha estado estudiando el tipo de amenazas que Athalye y su equipo de MIT provocaron.
Un portavoz de Google se negó a comentar sobre el proyecto MIT, pero señaló dos recientes trabajos de investigación de Google que involucran esfuerzos de la compañía en la lucha contra las técnicas de hackeo a la inteligencia artificial.
“Hay muchas personas inteligentes trabajando duro para hacer que los clasificadores [como el software de Google] sean más sólidos”, concluyó Athalye.