Sophie Stipes era una niña del estado de Indiana (Estados Unidos) con parálisis cerebral y un trastorno en el desarrollo. Desde su nacimiento, contó con la ayuda del seguro estadounidense de salud Medicaid. Nacida en el seno de una familia obrera, Sophie recibió una inquietante carta en marzo de 2008. En ella, los servicios sociales del Estado le advertían que perdería su acceso a atención médica gratuita –que incluía el pago de fármacos muy caros– por «falta de colaboración» con las autoridades a la hora de determinar si tenía o no derecho a contar con esa póliza pública.
La pequeña Sophie finalmente recuperó el acceso al seguro. Lo hizo después de que su madre, con la ayuda de varias asociaciones de base, llevase su caso hasta el mismo Congreso del estado de Indiana. Igual que ella, miles de familias de bajos recursos estaban siendo víctimas de un sistema automatizado que discernía, supuestamente, entre casos aptos y no aptos para recibir subsidios con base en criterios sorprendentes (como la existencia o no de una firma en un documento). Dicho sistema, implementado por la multinacional tecnológica IBM, llegó a denegar más de 1 millón de solicitudes entre 2006 y 2008, antes de que el gobierno federal lo suspendiese.
La politóloga y profesora de la Universidad de Albany Virginia Eubanks (Nueva York, 1972) relata con todo detalle la batalla de la familia de Sophie en su libro La automatización de la desigualdad, reeditado este año en castellano por Capitán Swing. Esta y otras historias de exclusión por parte de algoritmos sirven a Eubanks para alertar sobre cómo la tecnología aplicada en los servicios públicos puede tener consecuencias desastrosas sobre los pobres. «Tenemos la tendencia a pensar en estas tecnologías como simples mejoras administrativas, como cuestiones de eficiencia, cuando realmente hay una serie de decisiones sociales, culturales y políticas incrustadas en ellas», reflexiona Eubanks por videoconferencia desde su despacho en Nueva York.
SEÑALAMIENTO DEL POBRE
El libro aborda casos que ejemplifican bien esta discriminación envuelta en papel de modernidad e innovación. El condado de Allegheny, en el estado de Pensilvania, contrató en 2014 un sistema de predicción de riesgos ideado para anticiparse a posibles casos de maltrato infantil en los hogares. A partir de más de un centenar de variables, este algoritmo estimaba de forma automática en qué familias supuestamente había un riesgo para los pequeños. Si la puntuación era alta, los servicios sociales abrían una investigación que podía acabar con la retirada de la tutela de los niños.
Eubanks revela historias de familias pobres que tuvieron que pasar por este trance… aunque no existiese ese supuesto maltrato. El algoritmo –alimentado en ocasiones por denuncias telefónicas falsas– se basaba en datos recogidos por los servicios públicos, como el número de visitas al médico o la recepción de ayudas sociales. Este tipo de muestreo, explica la autora, introducía un sesgo en el sistema: en Estados Unidos, los principales usuarios de servicios públicos son familias de clase trabajadora, de tal manera que eran estas las que acababan sufriendo el escrutinio del software.
Eubanks explica que estos métodos de vigilancia digital y filtrado se han extendido por todo Estados Unidos en las últimas décadas. ¿El resultado? «Las familias de clase trabajadora y los pobres no son solo juzgados por el formulario que rellenan ante los servicios sociales, sino por todo su historial de interacciones con el sistema», apunta. «Los únicos valores que importan son la eficiencia, el ahorro de costes y la lucha contra el supuesto fraude, desperdicio o abuso de los solicitantes», en línea con el discurso proausteridad en la gestión pública que ha triunfado en las últimas décadas, prosigue.
¿QUIÉN MERECE AYUDA?
En su libro, Eubanks traza un paralelismo histórico entre estas herramientas digitales de supervisión y los asilos para pobres que proliferaron durante el siglo XIX en la joven democracia estadounidense. Estas instituciones lúgubres, explica la autora, tenían un doble objetivo: recluir a los excluidos lejos del resto de la sociedad y ejercer una suerte de diagnóstico moral sobre quiénes eran merecedores de algún tipo de ayuda pública.
«Lo que hacen estas herramientas digitales también es tomar decisiones del tipo quién merece ayuda y quién no. Y esa es una decisión política», señala. Eubanks lleva 20 años estudiando el impacto que la minería de datos, los modelos de riesgo predictivo y las políticas de algoritmo tienen sobre la población pobre de su país. Y su diagnóstico es contundente: «Estamos usando estas herramientas como escapatoria. Bajo esa especie de fachada de neutralidad y objetividad nos permiten, de alguna manera, lavarnos las manos ante conversaciones difíciles que tenemos que tener como sociedad en torno a la pobreza y el racismo».
La narrativa de que la pobreza solo afecta a una pequeña minoría en Estados Unidos sigue teniendo mucho éxito, tanto dentro como fuera del país norteamericano. Pero los datos son tozudos, esgrime esta profesora. Los estudios elaborados por los expertos en desigualdad Mark Robert Rank y Thomas A. Hirschl estiman que casi seis de cada diez estadounidenses caerán por debajo del umbral de la pobreza en su vida adulta. Estos datos, señala Eubanks, desmontan el discurso de que estas herramientas optimizan el reparto de unos recursos limitados sobre una población reducida.
«Si asumimos que esa narrativa sobre la pobreza es falsa, entonces el diagnóstico de trabajo de las herramientas digitales queda mucho más claro: se trata de una racionalización para violar los derechos humanos de la gente pobre y la clase obrera, con consecuencias duraderas para las personas, las familias y las comunidades», apunta Eubanks. «Hay un montón de lugares en el mundo en los que no hay decisión que puedas tomar que te haga no merecer atención médica. Ese no es el caso en Estados Unidos», concluye.
UNA CONVERSACIÓN GLOBAL
El libro de Eubanks ha recibido numerosos premios así como elogios de prominentes figuras de la izquierda estadounidense, como Naomi Klein. Las reseñas destacan su capacidad para analizar, a partir de historias humanas reales, el régimen distópico al que se ven sometidos los pobres en suelo estadounidense. Pero su autora advierte que estos sistemas llevan años extendiéndose por todo el mundo, con efectos perniciosos también entre las clases medias.
Un ejemplo de ello es el escándalo ocurrido en Australia en torno al sistema de cobro de deudas automatizado conocido como Robodebt. En 2016, el gobierno de la isla lanzó un software que casaba los datos fiscales de los contribuyentes y su registro de ingresos para detectar posibles fraudes en el cobro de ayudas sociales. Durante este tiempo, las autoridades enviaron cerca de 1 millón de avisos reclamando supuestas deudas. Los afectados se vieron ante el compromiso de tener que demostrar que tales reclamos, algunos de hasta 20 años de antigüedad, eran infundados.
Después de que la prensa revelase numerosas historias truculentas de cómo este sistema estaba castigando de manera injusta a miles de familias, el primer ministro australiano anunció en 2020 que cancelaba el programa. La justicia ha dictaminado que hasta 400 mil familias tuvieron que abonar injustamente el equivalente a 550 millones de dólares estadounidenses. «Ese algoritmo estaba lleno de errores, en algunos casos con efectos horribles», apunta Eubanks, quien decidió investigar casos similares en su país natal.
En Europa tuvo lugar el escándalo que provocó la dimisión del gobierno holandés en enero pasado. Las autoridades tributarias del país acusaron erróneamente de fraude a 26 mil familias receptoras de un subsidio para el cuidado de hijos menores. Según se ha demostrado a posteriori, la administración puso el foco de sus pesquisas en el origen de las familias y apuntó a los hogares de ascendencia marroquí o turca. El resultado para muchas de ellas fue la ruina económica y el estigma social por un fraude que no habían cometido.
CONTRA LA NEUTRALIDAD DE LA TECNOLOGÍA
Para la autora de La automatización de la desigualdad, es necesario desterrar la idea de que los sistemas automatizados han de ser «neutrales». Más bien al contrario: hay que construir herramientas con valores explícitos que ayuden a combatir los sesgos arrastrados históricamente. «Solo la fantasía puede llevar a creer que un modelo estadístico o un algoritmo de clasificación cambiará drásticamente, como por arte de magia, una cultura, unas políticas y unas instituciones construidas a lo largo de los siglos», escribe Eubanks.
Este análisis se emparenta con otras voces críticas con el impacto que los algoritmos están teniendo en el Estado de bienestar de numerosos países. Poco antes del inicio de la pandemia del coronavirus, el relator especial de Naciones Unidas sobre extrema pobreza y derechos humanos, Philipp Alston, advirtió en un informe de los riesgos de encaminarnos hacia una «distopía digital del Estado social».
En este documento se recomendaba a los gobiernos no centrar sus políticas sociales en la lucha contra el fraude, el ahorro de costes y la búsqueda de la eficiencia económica en último término, y utilizar, en cambio, la tecnología para asegurar una mejora en las vidas de los más vulnerables y desfavorecidos. «Existe el riesgo de que los Estados de bienestar digitales se conviertan en caballos de Troya de la hostilidad neoliberal hacia la protección social y las regulaciones», concluía.
Eubanks coincide con esta reflexión e insiste en la necesidad de tener «una conversación urgente» sobre unas herramientas que «automatizan e intensifican los aspectos ya punitivos de nuestros sistemas», especialmente tras la covid-19, una crisis que ha dado cobertura a los gobiernos para producir sistemas digitales cada vez más extensos e invasivos, concluye.
(Publicado originalmente en CTXT. Brecha publica fragmentos por convenio.)
