Nos fiamos más de los algoritmos que de los propios humanos. Al menos eso es lo que ha revelado un estudio reciente de la Universidad de Georgia (EE. UU.) publicado el pasado abril en Nature’s Scientific Reports. En él se establece que, a medida que las tareas se van haciendo más complejas, los humanos confiamos más en lo que nos dice un algoritmo que en el juicio de otras personas. Tendemos a dar por supuesto que el uso de machine learning (ML) o inteligencia artificial (IA) para el desarrollo de algoritmos que analicen multitud de datos nos ayudará a tomar mejores decisiones, más racionales y evitando que entren en juego nuestros prejuicios personales. Pero en los últimos años han salido a la luz tantos ejemplos de aplicaciones que han demostrado un mal uso de los datos que este dogma se ha puesto en duda y nos ha hecho preguntarnos: ¿realmente el uso de algoritmos ayuda a reducir el sesgo o, más bien al contrario, lo perpetúa o incluso magnifica?
Es un hecho indiscutible que la introducción de big data, la ciencia de datos y el uso de algoritmos de predicción ha transformado por completo nuestra sociedad. La aplicación de estas tecnologías nos ha permitido resolver problemas que hasta hace relativamente pocos años eran imposibles de abordar desde un punto de vista computacional, y hoy en día somos capaces de dar solución a problemas que antes no la tenían, de una manera más rápida y consumiendo menos recursos. Pero no podemos olvidar un hecho tan obvio como que el machine learning y la inteligencia artificial necesitan datos de los que alimentarse. Datos que empresas y administraciones han ido almacenando a lo largo de los años y que son el punto de partida sobre el que los algoritmos aprenderán. La cuestión entonces es ¿qué pasa si los datos de partida contienen sesgos o elementos históricamente poco éticos? Si estos datos no se tratan con cuidado la respuesta parece sencilla, aunque no siempre resulta evidente. Obtendremos algoritmos que -construidos con el objetivo de eliminar desigualdades y lograr la equidad en las decisiones- pueden, por el contrario, no solo incluir sesgos sino amplificar las desigualdades que ya tenemos hoy en día en la sociedad. Veamos algunos ejemplos de mal uso de los datos o con implicaciones éticas:
-
- Algoritmo de Google para la detección de discursos de odio. Google desarrolló una herramienta IA para detectar y moderar los discursos de odio en la web, y se demostró posteriormente que tenía un sesgo contra los comentarios de personas negras. Para entrenar este algoritmo anti-odio se utilizaron más de 100.000 tuits que previamente habían sido etiquetados por humanos en función de si eran o no tóxicos. Se descubrió en evaluaciones posteriores que las personas encargadas de realizar este etiquetado tendían a marcar como ofensivos tuits que estaban escritos en Inglés Afroestadounidense Vernáculo (IAV), por lo que este sesgo incluido en el conjunto de datos de entrenamiento se transmitió al algoritmo desarrollado. Esto se traducía en que una herramienta diseñada para moderar los mensajes de odio online estaría eliminando publicaciones no maliciosas en función de la etnia, generando así un silenciamiento o sesgo en la representatividad de ciertas comunidades.
- Modelo de prevención de maltrato infantil en Pensilvania (EE.UU). El condado de Allegheny encargó un modelo de predicción de riesgo familiar, donde cada embarazo obtenía una puntuación en función del análisis de 132 variables. Si esta puntuación que calculaba el algoritmo era alta, el sistema avisaba a Asuntos Sociales para que realizara una visita al hogar y comprobara si había algún problema en la familia, visita que ya quedaba registrada en los sistemas fuera o no una alarma real. El problema radica en que las variables que alimentaron al modelo (la edad de la madre, antecedentes penales en la familia, si recibían ayudas públicas, la salud mental de los progenitores etc.) fueron tomadas de los sistemas públicos, y en Estados Unidos tan solo las clases más desfavorecidas utilizan estos sistemas. Las clases más ricas hacen uso de seguros médicos privados, psicólogos de pago, centros de rehabilitación privados etc., datos que no fueron tenidos en cuenta por el algoritmo. Se comprobó, por tanto, que el modelo tiene un sesgo que perjudica a las clases más pobres, que en EE. UU. están fuertemente representadas por inmigrantes latinoamericanos y personas negras, y el algoritmo penaliza y agudiza aun más esta desigualdad.
- Las decisiones de los vehículos autónomos. En 1967 la filósofa Philippa Foot presentó por primera vez el dilema del tranvía, experimento que ha fascinado a sociólogos desde entonces. Un tranvía avanza sin frenos y se dirige directamente hacia cinco trabajadores que están sobre las vías. Podemos no hacer nada y dejar que el tranvía arrolle a estas cinco personas, o podemos accionar una palanca que desviará el tranvía hacia otra vía distinta, pero matará a un trabajador que está sobre ella. ¿Qué decisión tomamos? ¿Matamos por acción o por omisión? Un dilema parecido se nos presenta como sociedad ante la implantación del vehículo autónomo, que está llamado a revolucionar el sector de la movilidad. Gran parte de la tecnología necesaria para que la implantación masiva del vehículo autónomo sea una realidad se encuentra ya desarrollada, pero el gran reto pendiente es la ética detrás de sus decisiones, cuestiones morales para las que los humanos tendremos que programarlos. Imaginemos que un vehículo autónomo ha de evitar un choque: girando hacia la derecha avanzaría hacia una mujer embarazada, hacia la izquierda hacia el carrito de un bebé, y siguiendo de frente no salvaría a ningún integrante del vehículo. En este caso no habrá ningún conductor para tomar la decisión, pero será una persona quien habrá tenido que desarrollar los algoritmos de decisión sobre los que el vehículo autónomo actuará. Es un dilema ético y moral que muestra la importancia de estas cuestiones en el desarrollo de la tecnología.
- Tay, el bot para conversaciones adolescentes de Microsoft. En 2016 Microsoft lanzó, a modo de experimento, un bot de IA con el objetivo de mejorar su comprensión del lenguaje de conversación. En su lanzamiento Microsoft anunció que las habilidades comunicativas de Tay, orientada a hablar con un lenguaje natural y de tono juvenil en plataformas como Twitter, GroupMe o Kik, irían mejorando con el tiempo a medida fuera aprendiendo mediante su interacción con las personas. Menos de un día tardó Twitter en corromper a Tay y hacer que empezara a lanzar mensajes de odio, racismo y misoginia, entre otros. Microsoft retiró entre disculpas a Tay a las 16 horas de su lanzamiento.
Estos son solo algunos de los múltiples ejemplos que hay alrededor de un uso indebido del dato o con fuertes implicaciones morales aplicado a algoritmos de ML e IA, y que fueron creados por empresas y desarrolladores que son líderes en el sector. ¿Significa esto entonces que no debemos hacer uso de estas técnicas para la toma de decisiones? Principalmente significa que, más allá de contar con grandes cantidades de datos con los que alimentar los modelos predictivos, el desarrollo de algoritmos debe tener muy presente la calidad y ética de los datos y verificar que no constituyen una representación de sesgos existentes en la sociedad. Son varios los países y organizaciones que ya han puesto en marcha códigos regulatorios a nivel internacional con el objetivo de analizar las implicaciones éticas, sociales y jurídicas de la inteligencia artificial. A nivel técnico, se han multiplicado en los últimos tiempos las publicaciones que intentan fomentar un desarrollo responsable de los algoritmos a través de buenas prácticas, tales como detectar si hay sesgo por parte de los datos o del algoritmo, comprender el contexto para el cual se desarrollan, asegurar la imparcialidad y que el modelo sea explicable o revisar la evolución del modelo a lo largo del tiempo, entre otras.
El objetivo no consiste en frenar la tecnología, sino en hacer un uso adecuado de ella. Utilicemos las posibilidades que la inteligencia artificial, el machine learning o el big data nos ofrecen para mejorar nuestra sociedad, pero no olvidemos que estas tecnologías han introducido también nuevos riesgos de los que hay que ser conscientes para poder evitarlos. Hagamos un uso responsable de los datos para que la sociedad pueda confiar en los algoritmos, especialmente en aquellos cuyas decisiones tienen implicaciones directas en las personas. Y no permitamos que los algoritmos sean un reflejo de las desigualdades que ya tenemos.
Ana Olmeda Clemares | CTO Big Data
Referencias
Humans rely more on algorithms than social influence as a task becomes more difficult. 13 abril 2021. Nature. https://www.nature.com/articles/s41598-021-87480-9
Google’s Artificial Intelligence Hate Speech Detector Is ‘Racially Biased,’ Study Finds. 13 agosto 2019. Forbes. https://www.forbes.com/sites/nicolemartin1/2019/08/13/googles-artificial-intelligence-hate-speech-detector-is-racially-biased/?sh=630742dc326c
Automating Inequality. Virginia Eubanks. St Martin’s Press.17 septiembre 2018. ISBN-13: 978-1250074317
The Problem of Abortion and the Doctrine of the Double Effect. Philippa Foot. Oxford Review no. 5. 1967
Tay: Microsoft issues apology over racist chatbot fiasco. 25 marzo 2016. BBC News. https://www.bbc.com/news/technology-35902104
Libro Blanco sobre la inteligencia artificial – un enfoque europeo orientado a la excelencia y la confianza. Comisión Europea. 2020.https://ec.europa.eu/info/sites/default/files/commission-white-paper-artificial-intelligence-feb2020_es.pdf