Sobre "Armas de destrucción matemática", de Cathy O´Neil

Me invitaron recientemente a reseñar “Armas de destrucción matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia”, de Cathy O´Neil. Acepté la invitación, y aquí van mis comentarios, basados en las notas que utilicé para la presentación pública del libro.

Cuando arranco un libro que presumo “militante” sobre temáticas que me son cercanas suelo hacerlo con cierta precaución: es habitual que adopten o un tono injustificadamente agresivo o que presenten errores originados en un insuficiente conocimiento de la materia. Y tanto el título como la cubierta, un tanto apocalípticos, me pusieron alerta, alerta que ha resultado injustificada. El libro está argumentado y sus propuestas de cierre son ambiciosas a la vez que evitan caer en esa dinámica militante tan típica que confunde radicalismo con propuestas inalcanzables en el aquí y ahora. A la vez, se encuentra en un nivel técnico manejable, sin exceso de formalismos ni simplificaciones. Vamos, en resumen, un libro que no cae en la pesadez militante para autoconvencidos, más bien facilita tanto a profesionales como a un lector común entender el impacto social de los algoritmos e impulsa la reflexión política e individual al respecto.

Tratando de no destripar el libro, algunas líneas de análisis a raíz de su lectura:

- Los ADM (esas armas de destrucción de masiva que serían algoritmos descritos por O´Neil como opacos en sus criterios y supuestos, aplicados en escalas relevantes y con elevado impacto social e individual en las personas "sobre los que corren") suponen un ejercicio de ingeniería social, en al menos tres planos:

1. Construyen rutas vitales, o mejor dicho, consolidan las rutas vitales que por variables como estructura de clase, género, edad, etnia, hábitat… tienes probabilidades de tener. Al pronosticar lo “esperable” de cada individuo conforme a su mix de variables definitorias de origen y hacer que las organizaciones/instituciones operen dando por hecho que efectivamente va a ocurrir, acaban por favorecer que efectivamente ocurra. El ejemplo más claro es el ámbito de la prevención del delito: al atribuir mayor propensión al delito (específicamente, a determinados tipos de delitos, como pequeños hurtos, menudeo de drogas) a determinados vecindarios se incrementa la presencia policial, lo que da lugar a una mayor identificación de delitos que en otros vecindarios, de forma que la trayectoria vital de sus habitantes queda marcada en mayor medida. Si la presencia policial se definiese por otro tipo de delitos (fiscales, de malos tratos) la presión y con ella la sanción se distribuiría de otra manera con distinto impacto en las rutas vitales individuales de los miembros de distintos grupos sociales. De esta forma, los ADM tendrían, además de un sesgo conservador a nivel de estructura social, un rol de orientadores en términos de trayectorias vitales individuales. Este impacto es casi obvio en el ámbito de la delincuencia y los barrios, pero también puede darse en la concesión de créditos o el coste de un seguro médico. Este rol se ve agravado en la medida en que los ADM se alimentan entre sí (algoritmos que pronostican en el ámbito educativo afectan a rutas vitales en lo profesional que generan datos que alimentan a algoritmos en el ámbito del acceso a seguros médicos o a créditos financieros… y así de forma encadenada).
2. Como ya se ha señalado con cierta frecuencia en el ámbito del consumo de contenidos, los ADM dan lugar a esferas uniformes en la experiencia de consumo dentro de los grupos pre-existentes, al pronosticar (y servir/ofrecer) propuestas de consumo basadas en perfilado lookalike 
3. Al vincular ADM con proyectos de definición de experiencia de cliente vía customer journeys: se trata de acompañar un ejercicio de "diseño" de las emociones del consumidor, estructurándolas mediante la definición de sus interacciones posibles (customer journey con la compañía) y desencadenándolas gracias a los ADM. El consumo es una forma de estar en el mundo: y esa forma de estar en el mundo es coregrafiada por una coalición de directivos&diseñadores de experiencias&científicos de datos, que determinan las experiencias que deben sentir los consumidores y los comportamientos que han de desempeñar los trabajadores de esas organizaciones (venta, atención al cliente…).

- No por casualidad uno de los ámbitos de desarrollo de los ADM ha tenido lugar en lo que se llamaban instituciones totales: el mundo de la prisión y los delitos (pero también de la escuela, la medicina y el trabajo), lugares donde los sujetos (delincuentes, alumnos, enfermos, candidatos a un empleo) son siempre actores de segundo orden frente a la institución, en espacios sometidos a observación, con una institución que recopila sus datos y se los apropia, espacios donde las interacciones tienen lugar desde planos con grandes desequilibrios de poder (la policía y el delincuente; el empleador y el posible empleado... entre el evaluado y el evaluador). La captura del dato es un acto de poder, como lo es la obligatoriedad de contestar una pregunta. Del poder no se puede recoger dato. Las instituciones totales, con sus desequilibrios de poder y sus registros, son las incubadoras de los ADM.   

- El ámbito del marketing y la consultoría son mercados con sus propias dinámicas: una de ellas es alertar permanentemente a las grandes compañías de los riesgos a los que se exponen si no abrazan la última tendencia o la última tecnología, siempre bajo la promesa de adelantarse a su competencia. ¿Y qué promesa es más potente que la idea de omnisciencia implícita en la idea de Big Data? El lado oscuro de esa promesa de omnisciencia a nivel empresarial es la conspiranoia a nivel social. Por un lado, se ha construido una narrativa (divulgada en buena medida por quiénes venden servicios asociados… tras Brexit o Trump, pero también con Obama, aparecían los expertos que se trataban de apuntar el tanto de la gestión de su campaña… y de ahí en cascada hasta cualquier llegar a cualquier pequeña compañía en el mundo) sustentada en la fantasía de que alguien "tiene acceso a todo", y que por tanto "conoce todo", y por tanto, hipotéticamente podría "hacer todo". Atribución de superpoderes al modo de los que ocurría con la masonería, los Sabios de Sión o los Illuminati, que todo lo ven, todo lo saben, todo lo hacen. Por otro, efectivamente son modelos opacos, no replicables (frente, por ejemplo, a la investigación de mercados "clásica", donde en teoría, con la descripción de la muestra y el cuestionario, los datos deberían ser replicables), sustentados tanto en datos como en reglas no explicitadas.

Este último aspecto engarza con el cierre del libro, donde la autora desgrana distintas líneas de actuación para que estas herramientas de ingeniería social sean sometidas al debate y valoración política. Una de ellas es la apertura de la “caja negra” de los algoritmos con impacto social o su supervisión por parte de entidades independientes (universidades, tercer sector…). Propone otras muchas, lo suficientemente relevantes y oportunas como para justificar la lectura de un libro que cumple su función de contribuir a que el desarrollo del Big Data sea sometido a debate público.

Comments

[Publicado por: darmeght]

Sei un uomo o una donna d'affari? Hai bisogno di fondi per avviare un'attività in proprio? Hai bisogno di un prestito per estinguere il debito o pagare le bollette o avviare una buona attività? Hai bisogno di fondi per finanziare il tuo progetto? Offriamo servizi di prestito garantiti di qualsiasi importo e in qualsiasi parte del mondo per (persone fisiche, società, agenti immobiliari ed enti corporativi) al nostro tasso di interesse del 3%. Ulteriori informazioni gentilmente Contattaci Email: [email protected]
Numero Whatsapp: +2348051664076