9/5/22

El escándalo holandés sirve de advertencia para Europa sobre los riesgos del uso de algoritmos... Tener doble nacionalidad se marcó como un gran indicador de riesgo, al igual que unos ingresos bajos... La Agencia Tributaria holandesa arruinó miles de vidas tras utilizar un algoritmo para detectar presuntos fraudes en las prestaciones sociales, y los críticos dicen que no hay nada que impida que vuelva a ocurrir... La predicción del fraude y la policía predictiva basada en la elaboración de perfiles debería estar prohibida sin más

 "La vida de Chermaine Leysner cambió en 2012, cuando recibió una carta de la Agencia Tributaria holandesa en la que se le exigía la devolución de la prestación por cuidado de hijos desde 2008. Leysner, que entonces estudiaba trabajo social, tenía tres hijos menores de 6 años. La factura fiscal superaba los 100.000 euros.

"Pensé: 'No te preocupes, esto es un gran error'. Pero no era un error. Fue el comienzo de algo grande", dice.

El calvario se llevó nueve años de la vida de Leysner. El estrés causado por la factura fiscal y el diagnóstico de cáncer de su madre llevaron a Leysner a la depresión y al agotamiento. Acabó separándose del padre de sus hijos. "Trabajaba como una loca para poder seguir haciendo algo por mis hijos, como darles algo bonito de comer o comprar caramelos. Pero había veces que mi hijo pequeño tenía que ir al colegio con un agujero en el zapato", dijo Leysner.

Leysner es una de las decenas de miles de víctimas de lo que los holandeses han bautizado como el "toeslagenaffaire", o el escándalo de las prestaciones por cuidado de niños.

En 2019 se reveló que las autoridades fiscales holandesas habían utilizado un algoritmo de aprendizaje automático para crear perfiles de riesgo en un esfuerzo por detectar el fraude en las prestaciones por cuidado de niños.

Las autoridades sancionaron a las familias por una mera sospecha de fraude basada en los indicadores de riesgo del sistema. Decenas de miles de familias -a menudo con ingresos más bajos o pertenecientes a minorías étnicas- se vieron abocadas a la pobreza debido a las exorbitantes deudas contraídas con la agencia tributaria. Algunas víctimas se suicidaron. Más de un millar de niños fueron acogidos en familias de acogida.

La Agencia Tributaria holandesa se enfrenta ahora a una nueva multa de 3,7 millones de euros impuesta por el regulador de la privacidad del país. En un comunicado el martes, la agencia señaló varias violaciones del reglamento de protección de datos de la UE, el Reglamento General de Protección de Datos, entre ellas no tener una base legal para procesar los datos de las personas y conservar la información durante demasiado tiempo.

Aleid Wolfsen, director de la autoridad neerlandesa de protección de la intimidad, calificó las infracciones como algo sin precedentes.

"Durante más de 6 años, a menudo se etiquetó erróneamente a la gente como defraudadores, con consecuencias nefastas... algunos no recibieron un acuerdo de pago o no pudieron acogerse a la reestructuración de la deuda. El fisco ha puesto la vida patas arriba", dijo, según el comunicado.

 Mientras los gobiernos de todo el mundo recurren a los algoritmos y a la IA para automatizar sus sistemas, el escándalo holandés muestra lo absolutamente devastadores que pueden ser los sistemas automatizados sin las salvaguardias adecuadas. La Unión Europea, que se posiciona como el principal regulador tecnológico del mundo, está trabajando en un proyecto de ley que pretende frenar los daños causados por los algoritmos.

Pero los críticos dicen que el proyecto de ley no da en el clavo y no protegería a los ciudadanos de incidentes como el ocurrido en Holanda. 

Sin controles y equilibrios

El sistema holandés -que se puso en marcha en 2013- pretendía eliminar el fraude en las prestaciones en una fase temprana. Los criterios para el perfil de riesgo fueron desarrollados por la autoridad fiscal, informa el periódico holandés Trouw. Tener doble nacionalidad se marcó como un gran indicador de riesgo, al igual que unos ingresos bajos.

No está claro por qué Leysner acabó en esta situación. Una de las razones podría ser que tuvo gemelos, lo que significó que necesitaba más apoyo del gobierno. Leysner, nacida en Holanda, también tiene raíces surinamesas.

En 2020, Trouw y otro medio de comunicación holandés, RTL Nieuws, revelaron que las autoridades fiscales también mantuvieron listas negras secretas de personas durante dos décadas, en las que se rastreaban "señales" tanto creíbles como infundadas de posible fraude. Los ciudadanos no tenían forma de saber por qué estaban en la lista ni de defenderse. Un portavoz de la autoridad fiscal holandesa dijo que una investigación sobre la lista negra estará lista en abril.

Una auditoría demostró que las autoridades fiscales se centraron en las personas con "apariencia no occidental", mientras que tener nacionalidad turca o marroquí era un objetivo particular. Estar en la lista negra también suponía una mayor puntuación de riesgo en el sistema de prestaciones por cuidado de niños.

Un informe parlamentario sobre el escándalo de las prestaciones para el cuidado de los hijos descubrió varias deficiencias graves, como sesgos institucionales y autoridades que ocultaban información o engañaban al parlamento sobre los hechos. Cuando se conoció la magnitud del escándalo, el gobierno del Primer Ministro Mark Rutte dimitió, para reagruparse 225 días después.

 Además de la sanción anunciada el martes, la agencia holandesa de protección de datos también multó a la administración tributaria holandesa con 2,75 millones de euros en diciembre de 2021 por la "manera ilegal, discriminatoria y, por tanto, indebida" en que la autoridad tributaria procesó los datos sobre la doble nacionalidad de los solicitantes de prestaciones por cuidado de hijos.

"Hubo una falta total de controles y equilibrios dentro de cada organización para asegurarse de que la gente se diera cuenta de lo que estaba pasando", dijo Pieter Omtzigt, un miembro independiente del parlamento holandés que desempeñó un papel fundamental en el descubrimiento del escándalo y en el interrogatorio de las autoridades fiscales.

"Lo que realmente me preocupa es que no estoy seguro de que hayamos tomado ni siquiera vagamente las medidas preventivas necesarias para reforzar nuestras instituciones para hacer frente al próximo descarrilamiento", continuó.

El nuevo gobierno de Rutte ha prometido crear un nuevo regulador de algoritmos bajo la autoridad de protección de datos del país. La ministra holandesa de Asuntos Digitales, Alexandra van Huffelen -que antes era la ministra de Economía y Hacienda a cargo de la autoridad fiscal- dijo a POLITICO que el papel de la autoridad de datos será "supervisar la creación de algoritmos y la IA, pero también cómo se desarrolla cuando está ahí, cómo se trata, asegurarse de que está centrada en el ser humano y que se aplica a todas las regulaciones que están en uso". El regulador examinará los algoritmos tanto en el sector público como en el privado.

Van Huffelen subrayó la necesidad de asegurarse de que los seres humanos estén siempre al tanto. "Lo que me parece muy importante es asegurarse de que las decisiones, las decisiones gubernamentales basadas en la IA, sean siempre tratadas después por una persona humana", dijo.  
Una advertencia para el resto de Europa

La máxima responsable digital de Europa, la vicepresidenta ejecutiva de la Comisión Europea, Margrethe Vestager, dijo que el escándalo holandés es exactamente lo que todos los gobiernos deberían temer.

"Tenemos sectores públicos enormes en Europa. Hay muchos servicios diferentes en los que la toma de decisiones con ayuda de la IA podría ser realmente útil, si se confía en ella", dijo Vestager al Parlamento Europeo en marzo. La nueva Ley de Inteligencia Artificial de la UE tiene como objetivo crear esa confianza, argumentó, "para que este gran mercado del sector público esté abierto también a la inteligencia artificial".

La propuesta de la Comisión para la Ley de IA restringe el uso de los llamados sistemas de IA de alto riesgo y prohíbe ciertos usos "inaceptables". Las empresas que proporcionen sistemas de IA de alto riesgo tendrán que cumplir determinados requisitos de la UE. La Ley de IA también crea un registro público de la UE de tales sistemas en un esfuerzo por mejorar la transparencia y ayudar a su cumplimiento.

Esto no es suficiente, según Renske Leijten, diputado socialista del Parlamento holandés y otro político clave que ayudó a descubrir la verdadera magnitud del escándalo. Leijten sostiene que la Ley de IA debería aplicarse también a quienes utilizan sistemas de IA de alto riesgo tanto en el sector privado como en el público.

En la Ley de IA, "vemos que hay más garantías para sus derechos cuando las empresas y las compañías privadas trabajan con IA. Pero lo importante que debemos aprender del escándalo de las prestaciones por cuidado de niños es que no se trataba de una empresa o del sector privado... Se trataba del gobierno", dijo.

Tal y como está ahora, la Ley de Inteligencia Artificial no protegerá a los ciudadanos de peligros similares, dijo el eurodiputado holandés de Los Verdes Kim van Sparrentak, miembro del equipo de negociación de la Ley de Inteligencia Artificial del Parlamento Europeo en la comisión de mercado interior. Van Sparrentak está presionando para que la Ley de IA cuente con evaluaciones de impacto sobre los derechos fundamentales que también se publicarán en el registro de IA de la UE. El Parlamento también propone añadir obligaciones a los usuarios de sistemas de IA de alto riesgo, incluso en el sector público.

"La predicción del fraude y la policía predictiva basada en la elaboración de perfiles debería estar prohibida sin más. Porque sólo hemos visto resultados muy malos y no se puede determinar una sola persona en base a algunos de sus datos", dijo van Sparrentak.

En un informe en el que se detalla cómo el gobierno holandés utilizó la elaboración de perfiles étnicos en el escándalo de las prestaciones por cuidado de niños, Amnistía Internacional pide a los gobiernos que prohíban "el uso de datos sobre nacionalidad y etnia a la hora de realizar una puntuación de riesgo con fines policiales en la búsqueda de posibles sospechosos de delitos o fraudes".

Los Países Bajos todavía están haciendo cuentas con las consecuencias del escándalo. El gobierno ha prometido devolver a las víctimas del incidente 30.000 euros. Pero para quienes, como Leysner, eso no cubre ni de lejos los años que perdió: la justicia parece estar muy lejos.

"Si pasas por cosas así, también pierdes la confianza en el gobierno. Así que es muy difícil confiar en lo que dicen [las autoridades] ahora mismo", dijo Leysner."  
                  ( Melissa Heikkilä  , POLITICO, 29/03/22)

No hay comentarios: