PREJUICIOS DE LA INTELIGENCIA ARTIFICIAL
Hay inteligencias artificiales que seleccionan personal, deciden quién puede recibir un crédito y lanzan operaciones bursátiles. No lo hacen a su aire, sino en función de los sesgos introducidos en sus algoritmos por programadores de carne y hueso. Los asistentes virtuales, los sistemas de reconocimiento de voz y otras tecnologías también reflejan nuestras ideas preconcebidas. ¿Podemos evitarlo?
En una película de culto de los años ochenta, Cortocircuito (1986), su protagonista, el robot Johnny 5, es alcanzado por un rayo que trastoca su programación, lo hace inteligente y lo humaniza. Escapa de sus creadores y se apodera de él una necesidad imperiosa de aprender todo sobre el mundo que lo rodea. “Necesito datos”, repite una y otra vez a Stephanie –interpretada por la actriz Ally Sheedy–, la joven con la que se encuentra en su huida y que intenta ayudarlo. La muchacha le entrega todos los libros que tiene en su casa, incluida una enciclopedia. A una velocidad vertiginosa, el robot lee esa información escrita, pero necesita más y por eso se engancha a la televisión. Con esos contenidos en su disco duro, ya se siente listo para desenvolverse entre los humanos.
Y sí, lo habría estado, porque con tales fuentes de información, Johnny 5 habría obtenido una visión del mundo muy sesgada, construida a partir de textos escritos en su gran mayoría por varones blancos occidentales. Las enciclopedias estadounidenses de los ochenta no reflejaban las ideas del mundo oriental, africano o indígena. En cuanto a la televisión de entonces, además de informativos marcados por los sucesos, abundaban los programas de entretenimiento y las películas protagonizadas casi siempre por jóvenes blancos. Johnny 5 habría sido muy humano, porque habría replicado los prejuicios de la sociedad en la que había surgido.
ROBOTS MUY SIMILARES AL DE CORTOCIRCUITO SON HOY UNA REALIDAD, aunque su uso se limita por lo general a plantas de producción y prototipos. De lo que sí estamos rodeados es de inteligencia artificial (IA), una mezcla de hardware y software integrada en numerosos dispositivos y que imita funciones cognitivas humanas, como el aprendizaje y la resolución de problemas. El asistente virtual del teléfono, los buscadores, las centralitas automatizadas, los traductores online o los sistemas de reconocimiento de voz son solo algunos ejemplos de estos sistemas.
Las IA se entrenan con cantidades ingentes de datos procedentes de distintos textos, al igual que Johnny 5. Aunque parezca que las máquinas son asépticas y no caen en los errores humanos, un estudio publicado en la revista Science reveló que los dispositivos replicaban los sesgos de los datos relacionados con género, etnia o nacionalidad. Los investigadores –británicos y estadounidenses– evaluaron las asociaciones de palabras que hizo uno de estos aparatos con aprendizaje automático a partir de un corpus de 2,2 millones de voces extraídas de la Red.
OBSERVARON QUE ERA MáS PROBABLE QUE EL SISTEMA ASOCIARA LOS NOMBRES de personas estadounidenses con adjetivos positivos como feliz. En cuanto al género, la máquina mostró más asociaciones entre mujer y niña con las artes que con las matemáticas. Según los autores, “los corpus de texto contienen huellas recuperables y precisas de nuestros sesgos históricos, ya sean moralmente neutros –por ejemplo, respecto a insectos o flores–, problemáticos en cuanto a etnia o género [...]”. Esto tendría influencia en la carrera profesional de las personas, en función de factores como su género o su nombre.
¿Qué consecuencias tienen estos prejuicios que las máquinas repiten? Para saberlo, primero hay que observar las de los sesgos humanos, sin dispositivos electrónicos de por medio que tomen decisiones. Un trabajo de dos investigadores de la Escuela de Negocios de la Universidad de Chicago (EE. UU.) demostró que un mismo currículum tenía un 50% más de probabilidades de ser seleccionado para una entrevista si el nombre del candidato era europeo o estadounidense en lugar de afroamericano: nombres como Emily o Greg se escogían más que otro, caso de Lakisha o Jamal.
El ejemplo más famoso de este fenómeno es un estudio publicado por un equipo de investigadores de la Universidad de Yale en la revista
PNAS, en 2012. Para averiguar por qué había
tan pocas mujeres en el ámbito científico académico, los autores enviaron de forma aleatoria a 127 profesores y profesoras de ciencias de universidades estadounidenses el mismo currículum para un puesto de gerente de laboratorio. La única diferencia estaba en el nombre: en unos casos era John, y en otros, Jennifer. Los docentes que recibieron el documento otorgaron mayor puntuación al CV de John, y lo calificaron como más competente y susceptible de ser elegido que el de Jennifer, aunque fueran idénticos. También apostaron por ofrecerle a John un salario inicial más alto y más orientación profesional que a la otra candidata. Además, estos prejuicios se observaron tanto en los profesores como en las profesoras.
“El único lugar completamente libre de sesgos es la utopía idealizada de Platón”, ironiza Matthew Lease, profesor de la facultad de Información de la Universidad de Texas en Austin (EE. UU.). A este experto no le sorprende que los sistemas de inteligencia artificial o los motores de búsqueda de internet acaben reflejando ideas preconcebidas. “Cualquier sociedad tiene una variedad de prejuicios, implícitos y explícitos, y los motores de búsqueda son un espejo en el que tenemos la oportunidad de vernos como realmente somos, con verrugas y todo”, bromea Lease.
LOS SISTEMAS DE INTELIGENCIA ARTIFICIAL APRENDEN PROCESANDO Y ANALIZANDO GRANDES CANTIDADES DE DATOS que pueden provenir de la Web, de bases de datos específicas, del lenguaje hablado y de un sinfín de fuentes más. Esos datos los utilizan como ejemplos y, a partir de ahí, van tomando sus decisiones. Este proceso es lo que se conoce como aprendizaje automático. Si los algoritmos de las inteligencias artificiales incorporan sesgos del mundo real y se utilizan, por ejemplo, para procesos automatizados en algunas tareas, caso de la selección de personal o la concesión de préstamos hipotecarios, podrían incurrir en acciones discriminatorias, como descartar automáticamente perfiles o clientes en función de un prejuicio introducido sin querer en el software. “Puede suceder que mujeres que soliciten un trabajo para el que están muy cualificadas sean rechazadas de forma errónea, a causa del sesgo aprendido de los ejemplos. Hablamos de decisiones importantes que afectan a aspectos cruciales de la vida de la gente”, advierte Solon Barocas, investigador del centro Microsoft Research de Nueva York y profesor de la Universidad Cornell.
Si este tipo de sistemas aprenden de textos y otras fuentes de información de origen humano –y de cuál si no–, ¿no resulta inevitable que reproduzcan nuestros prejuicios? Los expertos así lo creen, aunque con matices. “Los sesgos no son inherentes al modelo, sino que están presentes en los datos con los que este fue entrenado. Si los datos los contienen y no hacemos nada por corregirlos, entonces es muy probable que los modelos los incorporen”, mantiene David Álvarez Melis, investigador del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del Instituto Tecnológico de Massachusetts (MIT). Este matemático mexicano trabaja en la actualidad en
El prejuicio que relaciona la profesión de científico con el género masculino puede percibirse en muchos sistemas de IA
redes neuronales, un tipo de IA en el que se conectan unidades llamadas neuronas. Aunque cada una ejecuta de forma individual una operación matemática sencilla, en red pueden llegar a realizar con éxito operaciones tan complejas como la traducción de textos. “El proceso de aprendizaje consiste en ajustar los parámetros de este modelo y requiere dos cosas: datos y un objetivo”, resume el científico.
Si estas redes neuronales se utilizan para la traducción automática, los datos serán las oraciones en un idioma y su correspondiente traducción, mientras que el objetivo será generar la traducción más similar posible al original. Para mejorar los resultados y que la máquina aprenda, se tienen que comparar las traducciones que esta haga con el resultado ideal, y corregir los errores. Es un método similar al requerido en el caso de que el sistema reprodujera sesgos humanos. En un estudio, Álvarez Melis analizó cómo piensan estas redes neuronales para procesar el lenguaje, utilizando como ejemplo un traductor automático. En sus conclusiones también descubrió sesgos. “Si entrenamos al modelo con una base de datos en la que traducción de la palabra inglesa doctor es doctor en castellano, en lugar de doctora, el modelo reproducirá esto”, explica.
JULIA HIRSCHBERG ES EXPERTA EN EL PROCESAMIENTO DE LENGUAJES NATURALES en el departamento de Ciencias de la Computación de la Universidad de Columbia (EE. UU.). Tras casi cuatro décadas de trabajo en este campo, considera inevitable que una inteligencia artificial reproduzca sesgos si se entrena con lenguaje natural que los posea, pero cree que estos desequilibrios pueden enmendarse si se reconocen. Afirma que “los sistemas de procesamiento de lenguajes naturales, como los tra
ductores automáticos o el reconocimiento de voz, pueden evitar la perpetuación de los sesgos al reconocerlos en los propios sistemas, y si se desarrollan sistemas híbridos para corregirlos”. Cuando hablamos de mecanismos híbridos nos referimos a sistemas donde se combinan las habilidades humanas con las de las máquinas para obtener los mejores resultados.
Los especialistas coinciden en una cosa: si no procesamos el contenido o establecemos filtros para el alud de información indiscriminada que circula por internet, no será una buena idea utilizarla para adiestrar a los dispositivos electrónicos con capacidades de inteligencia artificial. “El usuario más frecuente de la Red es occidental, con estudios medios o superiores y cristiano, lo que provoca que Europa disfrute en internet de una presencia mucho mayor que la de África, y que el cristianismo se encuentre más presente que el islam”, señala Carles Sierra, profesor de investigación y vicedirector del Instituto de Investigación en Inteligencia Artificial del CSIC, en Barcelona. Por tanto, si un dispositivo se entrena con estos datos, las predicciones que emita el algoritmo sobre toda la población estarán sesgadas. Según Sierra, la forma de evitarlo es corregir la sobrerrepresentación de ciertos contenidos, usuarios o países.
Uno de los problemas es que los algoritmos de aprendizaje suelen ser cajas negras sin ningún tipo de capacidad explicativa. “Hay que reflexionar y volver a valorar la representación de conocimientos, el razonamiento y la semántica como forma de compensar los prejuicios que se puedan introducir en la selección de datos”, propone Sierra. En su opinión, así seremos capaces de explicar el porqué de las decisiones de estos sistemas y contraponer estas explicaciones con nuestros principios éticos y valores para saber si el funcionamiento del algoritmo es el deseado o no.
Otra opción es la que propone Rich Caruana, investigador de Microsoft: se basa en enfocar los algoritmos de aprendizaje automático en partes de la Red que podríamos considerar menos prejuiciosas. “Si restringimos nuestros modelos para entrenarlos con datos de colectivos en los que confiamos más –dejando fuera grupos racistas, por ejemplo–, probablemente los modelos resultarán menos sesgados”, dice.
LAS PERSONAS REBOSAMOS DE PREJUICIOS CONSCIENTES E INCONSCIENTES, Y ESO SE REFLEJA EN LA TECNOLOGíA. Para detectarlos, los expertos plantean utilizar las posibilidades que ofrece la inteligencia artificial. Es lo que hicieron Morten Scheibye-Knudsen y el resto de investigadores de Diversity.AI, una organización dedicada al desarrollo de una IA inclusiva: utilizar redes neuronales profundas para evaluar la diversidad étnica y sexual en las empresas más grandes del mundo.
Analizaron los perfiles tanto de los ejecutivos como de los miembros de las juntas directivas de las quinientas empresas más grandes según la lista Forbes
Sin filtros, los sesgados contenidos que circulan por internet pueden ser una pésima fuente de datos para crear una inteligencia artificial
Global 2000, y procesaron toda esa información en su conjunto. La principal conclusión que extrajeron es que “el sexismo y el racismo parecen existir en los niveles ejecutivos de las empresas de la mayoría del planeta”, indica Scheibye-Knudsen, investigador del Centro para el Envejecimiento Saludable de la Universidad de Copenhague (Dinamarca). Los algoritmos de IA podrían emplearse para analizar sesgos que no se aprecian a simple vista y que pueden relacionarse con el género, la etnia o la edad. A juicio de este científico danés, los algoritmos son más imparciales que los humanos, porque solo les influyen los datos, y no las muchas cosas y emociones que pueden alterar el comportamiento y los pensamientos de las personas.
El riesgo de favorecer los prejuicios aun sin pretenderlo está ahí, y algunas grandes empresas tecnológicas lo tienen muy en cuenta. IBM emplea la IA en algunos de sus dispositivos para evitar juicios a priori. Iniciativas como el software inteligente IBM Watson Recruitment ayudan a seleccionar personal sin sesgos establecidos. “No se fija en cosas como la etnia, el género, el estilo del currículum o el código postal desde el que este se ha enviado; se centra en factores relevantes como la educación, la experiencia laboral y las habilidades”, resalta Francesca Rossi, investigadora de IBM y responsable de ética aplicada a la inteligencia artificial de la multinacional. En Microsoft aseguran estar trabajando para detectar estos sesgos en sus sistemas inteligentes y tener disponibles métodos para corregirlos. “Progresamos, pero nos queda mucho por hacer”, admite Caruana.
Los especialistas apuestan por desarrollar algoritmos más transparentes e interpretables, en los que se puedan detectar los posibles desequilibrios de forma más sencilla. Aquí entran en juego los ya mencionados sistemas híbridos, que mezclan las habilidades humanas con las de las máquinas. Como apunta Álvarez Melis, “conforme la inteligencia artificial se siga expandiendo a los campos médicos, profesional y legal, el área de los sesgos, la transparencia y la justicia de los algoritmos resultará cada vez más importante”.
EN UN TERRENO TAN RESBALADIZO COMO ESTE, donde muchos de los prejuicios que reproducen las máquinas no son intencionados, ¿cómo debe legislarse? Existen numerosas normas para proteger a las personas de la discriminación, pero la duda es inevitable: ¿qué hacer si es un algoritmo el que perpetra un error que lleva a la marginación de individuos o colectivos? Según Barocas, la ley contra la discriminación de Estados Unidos no parece estar a la altura para tratar este tipo de cuestiones. “¿Hace falta un nuevo enfoque o quizá ser más creativos?”, se pregunta. La legislación tiene que adaptarse al vertiginoso avance de la computación para seguir protegiendo los derechos de los ciudadanos.
Mientras tanto, los científicos e ingenieros continúan trabajando para diseñar inteligencias artificiales cada vez más imparciales, que incluso nos ayuden a deshacernos de nuestro lado más siniestro: los prejuicios hacia el otro. Pero será complicado. Como dice Caruana, “resulta más sencillo corregir un sesgo en un sistema de IA que en una persona”.