La administración norteamericana utilizó un algoritmo para decidir en qué casos una persona debe recibir atención en el hogar. De repente se cortaron muchas de esas ayudas, y ancianos que habían estado recibiendo cuidados en casa durante años se quedaron sin ella. ¿Qué había cambiado? El algoritmo no tenía en cuenta el contexto

"Su objetivo es acabar con las llamadas black boxes (cajas negras), sistemas automatizados y totalmente opacos que usan los gobiernos para decidir cuestiones fundamentales para la vida de las personas, como a quién conceden ayudas a la dependencia. 

"Nadie sabe cómo funcionan ni los criterios que se utilizan para entrenar a esas máquinas", denuncia la experta, a quien la Administración Obama encargó organizar unas jornadas sobre las implicaciones sociales de la inteligencia artificial en 2016.

Crawford participó la semana pasada en el Conversatorio sobre Inteligencia Artificial y su Impacto en la Sociedad, organizado por el Ministerio de Energía y Agenda Digital en Madrid, donde presentó las conclusiones de su informe Algorithmic Impact Assesment, una guía para detectar las injusticias y perfeccionar los algoritmos desde los poderes públicos.

Pregunta. El mundo digital está reproduciendo las desigualdades del mundo real. ¿De qué fuentes se extraen los datos para el entrenamiento de los algoritmos?

Respuesta. Hay que entender cómo funcionan los sistemas de inteligencia artificial. Para enseñarles a distinguir un perro de un gato le damos millones de imágenes de cada uno de esos animales. Los entrenamos para que aprendan a identificar. El problema es que esos mismos sistemas, esos software, los está usando la policía en Estados Unidos para predecir crímenes. 

Entrenan al algoritmo con fotos de procesados, con datos de los barrios en los que se registran más delitos o en los que más arrestos se han registrado. Esos patrones tienen un sesgo, reproducen estereotipos y el sistema de inteligencia artificial lo toma como única verdad. Les estamos inyectando nuestras limitaciones, nuestra forma de marginar.

P. ¿Esos datos se recopilan de Internet de forma aleatoria?

R. Se usan bases de datos. Una de las más populares y más usadas por las tecnológicas es Image Net, que contiene 13.000 imágenes. En el 78% de ellas aparecen hombres y el 84% de ellas, blancos. Esas son las referencias para cualquier sistema entrenado con ese kit. La forma en la que etiquetamos las imágenes está muy relacionada con nuestra cultura y nuestro constructo social. Image Net se creó recopilando fotografías de Yahoo News entre 2002 y 2004. 

La cara que más aparece es la de George W. Bush, que era el presidente de Estados Unidos en ese momento. Hoy todavía es una de las bases de datos más utilizadas. Los sistemas de inteligencia artificial parecen neutrales y objetivos, pero no lo son. Te cuentan una versión muy particular de la historia.

P. ¿Qué empresas están interesadas en destinar recursos para analizar esos sesgos?

R. En Microsoft lo hemos hecho. En nuestro estudio Man is to Computer Programmer as Woman is to Homemaker? detectamos que los hombres se asocian habitualmente con profesiones como políticos o programadores, y las mujeres con modelo, ama de casa, madre... Analizando cientos de textos se extraen esos patrones, esos estereotipos sociales que después replican los algoritmos.

 Por eso si buscas en Google imágenes la palabra médico, te aparecerán fotos de hombres con chaquetas blancas. Si pones enfermero, solo verás mujeres en hospitales. Cuando la gente ve eso automáticamente se refuerzan las formas más básicas de sesgo. Hay que empezar a cuestionar cómo se han construido esos sistemas.

P. En Europa todavía no es tan habitual que los gobiernos empleen la Inteligencia Artificial para la toma de decisiones. ¿Qué impacto está teniendo en Estados Unidos?

R. Los medios publicaron el pasado marzo cómo se está usando por parte de la administración un algoritmo para decidir en qué casos una persona debe recibir atención en el hogar. De repente se cortaron muchas de esas ayudas, y ancianos que habían estado recibiendo cuidados en casa durante años se quedaron sin ella. ¿Qué había cambiado? El algoritmo no tenía en cuenta el contexto y tomaba malas decisiones. 

Nadie había evaluado el sistema para ver cuánta gente se había quedado fuera. Fue un escándalo en Estados Unidos. Es un ejemplo de un sistema aplicado sin la suficiente investigación. Las personas con menos recursos económicos y menos nivel educativo son las que lo están sufriendo primero.

P. ¿Deberían los gobiernos hacer públicos esos algoritmos?

R. En uno de los informes que publicamos el año pasado en AI Now Research Institute, lanzamos una recomendación crucial: que los gobiernos dejen de usar sistemas algorítmicos cerrados. Tendrían que permitir a expertos independientes auditar esas fórmulas para detectar dónde están las flaquezas, los sesgos. Esa parte es muy importante para asegurar la igualdad de oportunidades. Nos dimos cuenta de que hasta ese momento nadie había publicado ninguna investigación sobre ese tema, no había ninguna guía. 

Formamos un equipo de expertos en derecho, ingeniería, ciencias de la computación, sociología y elaboramos un mecanismo para ayudar a los gobiernos a desarrollar un sistema transparente que permita a los ciudadanos conocer los detalles, si sus datos se han procesado de forma correcta. Si no, nunca sabrán cómo se ha tomado una decisión que afecta directamente a su vida, a su día a día.

P. ¿Han probado ya su método contra los sesgos con alguna administración?

R. Lo estamos probando con el ayuntamiento de Nueva York, es la primera ciudad en implementarlo de Estados Unidos. Estamos midiendo cómo afectan los algoritmos a los ciudadanos. También lo hemos presentado en la Comisión Europea y en España, donde en un mes se publicará el primer informe sobre las consecuencias de la IA encargado por el Ministerio a un comité de expertos. 

Espero que si finalmente se produce el cambio de Gobierno, salga adelante (esta entrevista se realizó antes de la moción de censura a Mariano Rajoy). Europa ha llegado tarde al juego y por eso tiene que aprender de los errores de Estados Unidos y China, países en los que más avanzada está la aplicación de la IA a la toma de decisiones pública.

P. Y las empresas como Facebook, ¿deberían estar obligadas a hacerlos públicos?

R. Mirar los algoritmos de Facebook o Google no nos ayudaría. Son sistemas masivos y complejos con cientos de miles de algoritmos operando al mismo tiempo, y están protegidas por el secreto industrial. Los gobiernos no van a usar esos algoritmos, van a crear sistemas públicos y por eso deben ser abiertos y transparentes. Igual no para el público en general, pero sí para comisiones independientes de expertos.

P. La inteligencia artificial está cada vez más presente en los procesos de selección de las empresas. ¿A qué tipo de perfiles perjudica esta tecnología?

R. En Estados Unidos hay una nueva empresa, Hirevue, que recluta nuevos perfiles para compañías como Goldman Sachs o Unilever usando inteligencia artificial. Durante la entrevista te graban y monitorizan 250.000 puntos de tu rostro para después analizar tus expresiones. Con esos datos determinan si serás un buen líder o si serás o no honesto. También estudian el tono de tu voz y sacan patrones de comportamiento.

 No podemos asumir que sabemos cómo es alguien por sus expresiones, no existe una base científica. En el siglo diecinueve se popularizó la frenología, que se basaba en descifrar aspectos de la personalidad con el análisis del rostro. Otro punto peligroso es que las empresas buscan personas que se parezcan a sus actuales empleados, y el impacto que eso tiene en la diversidad es tremendo. Están creando monoculturas.

P. ¿Cree que ha llegado el momento de desmitificar algunas creencias sobre la inteligencia artificial, como que las máquinas podrán tener conciencia? ¿Cuánto daño están haciendo algunos gurús?

R. Es una terrible distracción de los verdaderos problemas que genera hoy la IA. Habitualmente, son los más ricos y poderosos hombres de Silicon Valley los que más temen la Singularidad, la hipotética rebelión de las máquinas, porque no tienen otra cosa de la que preocuparse, de la que sentir miedo. 

Para el resto de nosotros, los temores van sobre cómo consigo un empleo, cómo llego a final de mes y pago mi alquiler, o cómo pago mi seguro médico. Pensar que las máquinas van a tener sentimientos es un malentendido, es no tener idea de cómo funciona la conciencia humana, que es imposible que una máquina replique.Tenemos cuerpo, unas conexiones muy complejas, que no son solo impulsos cerebrales.

Somos cuerpos en un espacio, viviendo en comunidad y en una cultura. La gente ve la palabra inteligencia artificial y piensa que estamos creando inteligencia humana, cuando lo que estamos haciendo es diseñar patrones de reconocimiento y automatización. Si lo llamásemos automatización artificial, el debate cambiaría totalmente."               (Entrevista a la investigadora de Microsoft, Kate Crawford, Ana Torres, El País, 18/06/18)