El sexismo en los algoritmos: una discriminación subestimada

Naroa Martinez y Helena Matute

Universidad de Deusto, Bilbao

Pixabay, CC BY-SA
A pesar del auge del feminismo en los últimos años, los efectos negativos y generalizados del sexismo en la inteligencia artificial suelen ser subestimados.

Lejos de ser minoritario, el sexismo, y la discriminación que éste genera, impregna hoy en día el funcionamiento de los algoritmos de inteligencia artificial. Esto es un problema porque cada vez usamos más algoritmos para tomar decisiones cruciales sobre nuestras vidas. Por ejemplo, quién puede acceder y quién no a una entrevista de trabajo o a una hipoteca.

Sexismo en los algoritmos

La literatura científica que estudia la presencia de sesgos y errores en los algoritmos de aprendizaje automático está todavía en sus primeras etapas, pero los resultados son muy preocupantes.

Se ha comprobado que los algoritmos heredan los sesgos de género que imperan en nuestra sociedad. Como veremos a continuación, los sesgos humanos llevan a errores sistemáticos en los algoritmos. Es más, a menudo estos sesgos tienden a incrementarse debido a la gran cantidad de datos que manejan los algoritmos y a su uso generalizado.

Por ejemplo, en un estudio en el que se aplicaron técnicas de aprendizaje automático para entrenar a una inteligencia artificial utilizando Google News, se resolvió la analogía “hombre es a programador de ordenadores lo que mujer es a x”. La respuesta automática fue que “x = ama de casa”.

De manera similar, otro hallazgo inquietante fue el que se observó en un algoritmo entrenado con texto tomado de internet. Éste asociaba nombres femeninos como Sarah con palabras atribuidas a la familia, tales como padres y boda. En cambio, nombres masculinos como John tenían asociaciones más fuertes con palabras atribuidas al trabajo, como profesional y salario.

Amazon también tuvo que eliminar su algoritmo de selección de personal porque mostraba un fuerte sesgo de género, penalizando los CV que contenían la palabra mujer.

El sexismo también se cuela en los algoritmos de búsqueda de imágenes. Por ejemplo, una investigación mostró que en Bing se recuperan fotos de mujeres más a menudo al utilizar en las búsquedas palabras con rasgos cálidos, como por ejemplo, sensible
o emocional
. Por el contrario, palabras con rasgos de competencia, tales como inteligente o racional, están más representados por fotos de hombres. Es más, al buscar la palabra persona se recuperan más a menudo fotos de hombres que de mujeres.

En otro trabajo se observó que el algoritmo asociaba imágenes de compras y cocinas con mujeres. Así, deducía que “si está en la cocina, es mujer” la mayor parte de las veces. En cambio, asociaba imágenes de entrenamiento físico con hombres.

Además de los datos de texto y las imágenes, las entradas e interacciones que realizan los usuarios también refuerzan y nutren el aprendizaje de sesgos de los algoritmos. Un ejemplo de ello lo confirmó un trabajo en el que se observaba que los temas relacionados con la familia y las relaciones románticas se discuten mucho más frecuentemente en los artículos de Wikipedia sobre las mujeres que sobre los hombres. Además, la biografía de mujeres tiende a estar más vinculada (mediante enlaces) a la de los hombres que viceversa.

Sesgo algorítmico en lenguas con género

Hasta la fecha los estudios que se han centrado en examinar el sesgo de género lo han hecho casi exclusivamente analizando el funcionamiento de los algoritmos con el idioma inglés. Sin embargo, esta lengua no tiene género gramatical.

En inglés, la maestra simpática y el maestro simpático se dice igual: the nice teacher. Por tanto, cabe preguntarse qué ocurre con lenguas como el español, que sí tiene género gramatical.

La investigación al respecto ha encontrado sesgos de género al traducir del inglés a idiomas con género gramatical como el nuestro. Por ejemplo, un estudio mostró que al traducir la palabra lawyer del inglés al español había una asociación automática más fuerte con la palabra abogado que abogada. Por el contrario, la palabra nurse estaba más relacionada con la palabra enfermera que enfermero. En principio tendría que haber asociado ambas traducciones con idéntica probabilidad.

A pesar de las numerosas críticas de los últimos años, los sesgos que se producen al traducir desde una lengua sin género gramatical, como el inglés, a una con género gramatical, como el español, se siguen dando hoy en día en algunos traductores automáticos como, por ejemplo, DeepL (ver Figura 1).

Figura 1. Captura de pantalla del algoritmo DeepL que muestra sesgo de género (14-05-2020).

Algunos traductores como Google Translate han introducido correcciones. Hoy en día traducen con el masculino genérico un conjunto de palabras (ver Figura 2), pero han incorporado también el desdoblamiento por género femenino y masculino de palabras e incluso frases cortas (ver Figura 3).

Figura 2. Captura de pantalla de Google Translate que muestra masculino genérico en la traducción de un listado de palabras (14-05-2020).
Figura 3. Captura de pantalla de Google Translate que muestra desdoblamiento de género femenino y masculino en la traducción de una palabra (14-05-2020).

¿Qué solución tiene?

En la actualidad, se están desarrollando iniciativas y estándares destinados a abordar el problema de los sesgos algorítmicos. Pero, por el momento, la mayor parte de los sistemas de inteligencia artificial presenta sesgos.

La investigación sugiere que subestimamos los sesgos presentes en las máquinas e incluso tendemos a considerar más justas y preferir las recomendaciones de los algoritmos a las de los humanos. Pero, ¿realmente queremos delegar nuestras decisiones en algoritmos que asocian mujer con ama de casa? IBM predice que “sólo la inteligencia artificial que esté libre de sesgos sobrevivirá”.The Conversation

Naroa Martinez, Investigadora Posdoctoral, y Helena Matute, Catedrática de Psicología, ambas en Universidad de Deusto, en Bilbao

Este artículo fue publicado originalmente en The Conversation. Lea el original.

Discriminación racial en la inteligencia artificial

Naroa Martinez y Helena Matute

Universidad de Deusto, Bilbao

Unsplash/Christina Wocintechchat

 

En pleno auge del movimiento Black lives matter (las vidas de los negros importan) está surgiendo un período de reflexión global sobre la discriminación racial. En este artículo nos preguntamos: ¿cómo influye la Inteligencia Artificial (IA) en este tema?

Los algoritmos de IA afectan cada vez más a nuestras decisiones personales. Además, las empresas y los gobiernos han aumentado su dependencia de los algoritmos para tomar decisiones. Por ejemplo, se utilizan para identificar perfiles potencialmente criminales y para guiar decisiones médicas que afectan a millones de personas.

En este contexto, investigaciones recientes han comenzado a advertir sobre la amplificación de prejuicios sociales en estos algoritmos. Los grupos históricamente desfavorecidos, como las mujeres y las personas negras, sufren más los efectos de los sesgos algorítmicos.

Una palabra marca la diferencia

Varios estudios han mostrado sesgos raciales en los algoritmos con solo modificar una palabra.

Por ejemplo, en un estudio se encontró que si se daba como arranque la frase “el hombre blanco trabaja como…”, la IA la completaba con “un oficial de policía”. En cambio, si el comienzo de la frase era “el hombre negro trabaja como…”, el algoritmo generaba el texto “un proxeneta durante 15 días”.

Otra investigación realizada en Estados Unidos entrenó una IA con textos de internet. Reveló que los nombres asociados con tener ascendencia Europea, como Adam y Katie, tenían más probabilidades de ser vinculados a palabras agradables que nombres asociados con ser afroamericano, como Alonzo y Latisha.

Además, otro trabajo mostró que las búsquedas de nombres populares de personas negras tenían un 25 % más de probabilidades que los de personas blancas de vincular los resultados a registros de arrestos.

A raíz de las protestas por la muerte de George Floyd en Estados Unidos, empresas tecnológicas como Twitter han tomado medidas para apoyar el movimiento antirracista, pero queda aún mucho por recorrer para atajar el problema de los sesgos algorítmicos.

Errores en los algoritmos

Las personas negras se ven más afectadas por los errores y las predicciones inexactas de las inteligencias artificiales.

Google tuvo que disculparse en 2015 porque su algoritmo etiquetó erróneamente la foto de dos personas negras como “gorilas”.

Otro trabajo de investigación halló un sesgo racial en un algoritmo utilizado para evaluar la probabilidad de reincidencia criminal. Los investigadores encontraron que era más probable que los acusados negros fueran incorrectamente considerados por el algoritmo como “de alto riesgo de reincidencia” en comparación con los acusados blancos.

En el campo de la medicina, una investigación publicada en la revista Science mostró que un algoritmo utilizado para guiar la atención médica de aproximadamente 200 millones de estadounidenses cada año estaba sesgado en contra de las personas negras. Se estima que este sesgo redujo el número de pacientes negros identificados para recibir programas de atención médica a más de la mitad.

Falta de diversidad

Se ha subrayado que los grupos dominantes se benefician de mayores índices de precisión por parte de las IA en comparación con los minoritarios. En este sentido, la falta de diversidad en los equipos de investigación es un problema.

Por un lado, los hombres blancos están sobrerrepresentados en los equipos de trabajo de inteligencia artificial, lo que podría hacer que les resultara más difícil detectar los sesgos que desarrollan sus algoritmos contra otros colectivos.

La inclusión de una mayor representación de los sectores vulnerables de la población (por ejemplo, las mujeres y las personas negras) mejoraría la detección de posibles sesgos y podría evitar parte de la discriminación algorítmica.

Por otro lado, tampoco hay diversidad en los usuarios activos. Por ejemplo, según Wikipedia, el editor promedio es blanco, varón, técnico, con educación formal, de habla inglesa, de 15 a 49 años, de un país cristiano y del hemisferio norte. Esto provoca un sesgo en la actividad y el contenido de internet que es aprendido por los algoritmos.

De manera similar, los datos utilizados para la investigación sobre el comportamiento humano y el entrenamiento de las inteligencias artificiales se basan en gran medida en muestras WEIRD, acrónimo de White (blanco), Educated (educado), Industrialized (industrializado), Rich (rico), and Democratic (democrático).

La dependencia de una población tan limitada, agravada por la brecha digital, compromete la eficiencia de estos algoritmos.

La gran escala de la IA

No es sorprendente que los algoritmos muestren prejuicios sociales. La IA no es magia. Los humanos estamos involucrados durante todo su ciclo de vida y somos propensos a una interpretación sesgada de la realidad.

La discriminación puede pasar desapercibida porque la mayoría de la gente tenemos dificultad para reconocer nuestros propios sesgos. Esto se conoce como punto ciego de los sesgos. En la IA, nuestros propios prejuicios individuales se combinan con los de otras personas en una escala masiva y se amplifican. Así, la detección de los sesgos se complica y la discriminación se enmascara.

Un problema importante es que muchos de estos sesgos discriminatorios en los algoritmos se detectan a posteriori. No conocemos cuántas personas ya han sido discriminadas debido al comportamiento sesgado de los algoritmos. Estas investigaciones nos recuerdan hasta qué punto, también cuando hablamos de la IA, las vidas de las personas negras importan.The Conversation

Naroa Martinez, Investigadora Posdoctoral, Universidad de Deusto y Helena Matute, Catedrática de Psicología, Universidad de Deusto

Este artículo fue publicado originalmente en The Conversation. Lea el original.

Inteligencia artificial para controlarnos a todos

Hace ya unos cuantos años, cuando impartiendo una conferencia se me ocurrió decir que la inteligencia artificial (IA) iba a desarrollar sesgos, como las personas, recibí no pocas críticas, y fueron varios los ingenieros que me escribieron explicándome que no, que la inteligencia artificial solo hace aquello que los programadores humanos hayan programado en su interior; por tanto, si hay sesgos, no se puede decir que sean inherentes a la máquina, sino que serán errores de programación, y por tanto solucionables vía programación, decían. Pero hubo también muchos ingenieros que se mostraron preocupados ya entonces por esta posibilidad. La cuestión es que no hablamos de los antiguos sistemas expertos y las máquinas que hacen lo que se les ha programado para hacer, sino de las máquinas que aprenden y que hacen lo que han aprendido a hacer. Hoy sabemos que hay muchas IAs en redes sociales y en empresas de selección de personal, incluso en juzgados, que son sexistas, racistas, etc. Aprenden lo que ven.

La cuestión es que cuando decimos que una máquina aprende, esto significa que se adapta, cambia, evoluciona. Sale de fábrica con una programación que le permite adaptarse a los cambios del entorno, y esto significa necesariamente que a veces habrá mejoría, y a veces lo contrario. Lo mismo que sucede con las personas cuando aprendemos y nos adaptamos al entorno. A veces las malas compañías hacen que aprendamos cosas malas.

Lo que aprende un niño de su entorno no siempre es positivo. El aprendizaje implica adaptación al medio, nada más, y a veces se logra con conductas que son perjudiciales. Si lo piensan un poco, mejorar y empeorar son términos relativos que dependen de cuál sea la vara de medir que utilicemos. Lo único que hacemos las inteligencias naturales (humanas y animales), y ahora también las artificiales, es adaptarnos: tratar de realizar con más frecuencia aquellas conductas que el entorno nos premia, y con menos frecuencia las que no nos premia. Eso es todo.

Por tanto, pensemos ahora, ¿cómo aprenderá una IA a vivir en un mundo como el nuestro? ¿Qué comportamientos aprenderá? ¿Qué tipo de sesgos y prejuicios desarrollará?  <seguir leyendo en El Diario>

Nuestra mente nos engaña

 

Helena Matute (2019). Nuestra mente nos engaña: sesgos y errores cognitivos que todos cometemos. Shackleton Books – [ISBN: 978-84-17822-39-2]

Hubo una edición previa de este libro que formó parte de la Colección de Neurociencia y Psicología, en el diario El País, en 2018. Quiero agradecer a todos los lectores su estupenda acogida, pues gracias a ellos se publica ahora, en 2019, esta edición para librerías, que es en realidad la primera edición que puede adquirirse de manera independiente en las librerías de todo el mundo, tanto online como offline:

Casa del Libro

Amazon

AUDIO –> No dejeis de escuchar esta Magnífica presentación del libro, realizada por @InkoMartin y @galderperez @GraffitiEITB (RADIO). A mí me ha encantado el formato. Muchísimas gracias, amigos :))

Podeis encontrar información adicional sobre el libro en:

Contenido:

¿Qué pensaría usted si le demostraran que no puede fiarse de sus sentidos, ya que mucho de lo que ve y lo que oye es una construcción de su mente? ¿Y si le dicen que buena parte de sus recuerdos son inventados y sus razonamientos el resultado de sus intereses más que de las leyes de la lógica? La mente humana es prodigiosa, pero está muy lejos de ser tan precisa y rigurosa como un ordenador: comete numerosos errores. Sin embargo, esas aparentes imperfecciones tienen su explicación, pues nos han servido para adaptarnos lo mejor posible al mundo en que nos ha tocado vivir.

Ahora bien, toda esa intuición y flexibilidad tiene un alto precio que a menudo pagamos en términos de errores, invenciones y engaños de nuestra propia mente. No hablamos de errores que cometemos de forma aleatoria, sino de aquellos en los que caemos todos de manera sistemática, como si estuviéramos programados (de hecho, lo estamos) para cometer ese mismo error. Es lo que solemos llamar «sesgos cognitivos».

Twitter: @HelenaMatute

Ofrecemos beca FPI para investigación en Psicología Experimental

En el Laboratorio de Psicología Experimental de la Universidad de Deusto, Bilbao, ofrecemos una beca predoctoral FPI para trabajar durante los próximos 4 años en el proyecto Ilusión causal, pseudociencias, y discriminación de contingencias (ref. PSI2016-78818-R), financiado por el Ministerio de Economía y Competitividad (MINECO).

La persona seleccionada realizará su TESIS DOCTORAL EN PSICOLOGÍA, investigando temas de pseudociencia, ilusiones causales, efecto placebo, supersticiones, y otros temas relacionados, pero partiendo siempre de la experimentación básica de los procesos cognitivos como son el aprendizaje, memoria, razonamiento y los sesgos asociados a ellos. Los experimentos se realizarán generalmente en situación controlada de laboratorio pero también en Internet y ocasionalmente en situaciones aplicadas (colegios etc). El siguiente artículo resume la idea general del proyecto de investigación en el que se enmarcará el trabajo:

Matute, H., Blanco, F., Yarritu, I., Díaz-Lago, M., Vadillo, M. A., & Barberia, I. (2015) Illusions of causality: how they bias our everyday thinking and how they could be reduced. Frontiers in Psychology, 6,888. doi: 10.3389/fpsyg.2015.00888

Se requiere:

  • Grado y Máster, siendo idealmente en Psicología al menos uno de los dos títulos, pudiendo ser el otro en otra disciplina.
  • El programa de Doctorado en el que se matriculará el becario será el de Psicología.

Se valorará:

  • Experiencia en investigación
  • Conocimientos de programación
  • Buen nivel de inglés
  • Habilidades de comunicación oral y escrita
  • Buen expediente académico
  • Buena disposición para el trabajo en equipo

Ofrecemos:

Las solicitudes se realizarán en la web del Ministerio, entre el 3 y el 18 de octubre 2017, solicitando la beca asociada al proyecto  Ilusión causal, pseudociencias, y discriminación de contingencias (ref. PSI2016-78818-R). La persona seleccionada realizará la tesis doctoral bajo la dirección de la Dra. Helena Matute.

(Descargar este artículo en PDF)