Amazon, una de las empresas insignia del mundo tech está obsesionada con los algoritmos. ¿Qué podría salir mal?
“Necesitamos un manifiesto ético para desarrolladores de tecnología”.
La exsoldado estadounidense y controvertida activista Chelsea Manning cerraba así su participación en la conferencia de negocios y creatividad C2 Montréal el pasado 24 de mayo. Su charla, ofrecida ante un público que la recibió con aplausos y ovaciones –desde su liberación de prisión en mayo de 2017, Manning ha encontrado un espacio en estas presentaciones públicas de alto perfil–, abordó temas imperantes sobre los dispositivos de comunicación personal en la era de lo que llamó “vigilancia masiva”.
“Cada pedazo de hardware es una máquina que escucha; un dispositivo que sólo espera ser utilizado”, Manning.
“Los anuncios actúan como un tipo de malware. Parece exagerado, pero escúchenme: su historial web puede y será usado en contra suya, incluso por la industria publicitaria, no solo por el gobierno”, señaló Manning.
EL ALGORITMO DE AMAZON, ¿UN ACIERTO?
Dejando de lado el escepticismo por sus declaraciones, ese mismo fin de semana, del lado opuesto del continente, las oficinas de Amazon en Seattle se mantuvieron bastante ocupadas con sus declaraciones públicas.
Por un lado, una usuaria de Alexa, la asistente de reconocimiento de voz y dispositivo de Amazon, recibía una disculpa oficial de esta compañía. Gracias a uno de sus contactos de teléfono, la usuaria se había dado cuenta que alguno de sus dispositivos operados por Alexa había grabado y compartido sus conversaciones con ese contacto sin haber recibido la orden o autorización para hacerlo.
Según la cadena local de noticias KIRO 7, la usuaria habló con representantes de Amazon, quienes le ofrecieron disculpas y advirtieron que era un caso muy extraño. La empresa emitió también un comunicado donde indicaba que “Amazon se toma la privacidad muy en serio. Investigamos lo que pasó y determinamos que esta es una situación sumamente rara. Estamos tomando pasos para evitar que esto pase en el futuro.”
Un representante de Amazon explicó a Fortune USA que un dispositivo Echo de la usuaria había escuchado palabras, conocidas como wake words como “Hey, Alexa” con las que el dispositivo se “despierta”, que le hicieron grabar y compartir el mensaje pensando que era una orden. La reacción ante estas wake words están determinadas por el algoritmo de reconocimiento de voz de los dispositivos.
También lee: La gran batalla minorista
El incidente no pasó a mayores. Tras las disculpas y promesas de acción por parte de Amazon, la usuaria desconectó todos sus dispositivos y solicitó un reembolso. Pero este no fue el único fuego que la empresa, creada y dirigida por Jeff Bezos, tuvo que apagar esta última semana.
Una nota del 22 de mayo publicada por el diario The New York Times reportó que Amazon Web Services, una de las ramas más importantes de esta compañía, está vendiendo su tecnología de reconocimiento facial, llamada Rekognition, a departamentos policiales en Estados Unidos. Ésta puede reconocer rostros, escenas y objetos a partir de fotografías, y usarla tiene un costo de entre US$6 y US$12 al mes.
En el propio sitio web de la tecnología aparece una cita de John Mina, jefe del departamento de policía de la ciudad de Orlando, Florida. “La ciudad de Orlando está entusiasmada de trabajar con Amazon en un piloto para lo último en software de seguridad pública…. Utilizando este piloto, Orlando utilizará las tecnologías Amazon Rekognition Video y Amazon Kinesis Video Streams aprovechando recursos existentes de la ciudad para proveer detección en tiempo real de personas de interés, con lo que incrementará la seguridad pública.”
Pese a las aparentes buenas intenciones de la policía, miembros de la sociedad civil, en particular de A.C.L.U. (la Unión de Libertades Civiles de América, por sus siglas en inglés), criticaron la nueva agenda comercial de Amazon. “Exigimos que Amazon deje de operar una infraestructura de vigilancia gubernamental que representan una grave amenaza a clientes y comunidades en todo el país”, escribieron en una carta pública el martes pasado.
El principal motivo de preocupación de organizaciones como A.C.L.U. es que los cuerpos policiales pueden utilizar Rekognition para atentar contra libertades civiles de grupos vulnerables y minorías, como los afroamericanos (En Estados Unidos, abundan los casos de abuso de violencia policial contra este grupo en particular.
Los algoritmos solo son tan eficientes como los datos con los que se entrena: un estudio reciente del MIT Media Lab encontró que tecnologías de reconocimiento facial, como Rekognition, suelen tener hasta un 99% de exactitud al identificar el género de una persona si ésta es blanca, pero solo 35% si es negra y si es mujer.
En respuesta a la carta de A.C.L.U., en otro comunicado para Fortune USA Amazon dijo que la compañía “requiere que sus clientes acaten la ley y sean responsables cuando utilicen Amazon Web Services. Nuestra calidad de vida sería mucho peor hoy si se prohibiera nueva tecnología solo porque algunas personas deciden abusar de ella”.
“El mundo tech crea algoritmos rápidos que reconocen rostros, edad y género. ¿Qué propósito sirve? ¿De marketing? ¿Cómo podría ser mal utilizado? ¿Cuál es el algoritmo correcto?”, dijo también Manning en C2 Montréal, tal vez enterada de que Amazon estaba teniendo una semana complicada al momento de su plática en Canadá. Y aunque la compañía de Jeff Bezos estaba ocupada resolviendo estas crisis ante la opinión pública, tal vez haría bien hacerse estas preguntas antes de que tecnologías como Rekognition o errores como el de Alexa comiencen a comercializarse con más frecuencia fuera de Estados Unidos.
También lee: Google, Facebook y Apple. ¿monopolios o los mejores en su rubro?