La inteligencia artificial (IA) ha dejado de ser un concepto de ciencia ficción para estar presente en distintos ámbitos de nuestra vida diaria. Desde los algoritmos que nos recomiendan qué película ver hasta los sistemas que diagnostican enfermedades con una precisión asombrosa, la promesa de la IA es la de un mundo más eficiente, objetivo y optimizado.
Sin embargo, bajo esta brillante superficie se esconde un peligroso talón de Aquiles: la capacidad de la IA no solo para replicar, sino para amplificar y sistematizar prejuicios que acechan a la sociedad. Este fenómeno, conocido como discriminación algorítmica o sesgo de la IA, amenaza con socavar los cimientos de la equidad en áreas tan críticas como la contratación, la justicia y el acceso al crédito.
¿Qué es la discriminación algorítmica?
La discriminación algorítmica ocurre cuando un sistema automatizado produce resultados injustos según género, etnia, edad u otros atributos. No se trata de una “maldad” del software, sino de decisiones humanas traducidas a datos, objetivos y reglas que el modelo aprende y replica.
Los sistemas de IA, especialmente los basados en aprendizaje automático (machine learning), aprenden a tomar decisiones analizando enormes cantidades de datos históricos. Si estos datos reflejan prejuicios y desigualdades existentes en nuestra sociedad, el algoritmo aprenderá estos patrones como si fueran la norma a seguir.
Hay diversas fuentes que propician la aparición de este sesgo y, entre ellas, se encuentran dos principales:
- Sesgo en los datos: ocurre cuando los datos utilizados para entrenar a la IA no son representativos de la realidad o contienen prejuicios históricos. Por ejemplo, si un algoritmo de contratación se entrena con los perfiles de los empleados de una empresa tecnológica durante los últimos 20 años, es probable que aprenda que los candidatos ideales son mayoritariamente hombres blancos, ya que ese ha sido el perfil dominante históricamente en el sector. Como resultado, penalizará currículums de mujeres o minorías.
- Sesgo algorítmico: a veces, el propio diseño del algoritmo o las variables que se eligen pueden introducir discriminación, incluso con datos aparentemente neutros. Un sistema de concesión de préstamos podría no usar el origen étnico de una persona como variable, pero sí su código postal. Si en una sociedad existen barrios segregados por motivos de origen y económicos, el código postal se convierte en un poderoso sustituto (proxy) del origen de una persona y su clase social, llevando a denegar créditos de forma sistemática a ciertos grupos.
A simple vista, los grandes modelos del lenguaje parecen darnos respuestas objetivas y neutrales porque se basan en “datos puros”, pero, en la práctica, se puede notar la influencia de la inteligencia artificial en la discriminación.
Casos reales de discriminación algorítmica
Los casos de discriminación por parte de la IA no son teóricos y ya han tenido consecuencias en el mundo real.
El caso Amazon
En 2018, se reveló que Amazon había desarrollado una herramienta de IA para revisar currículums y seleccionar a los mejores candidatos. El sistema se entrenó con los datos de los currículums recibidos por la compañía durante una década.Como la mayoría de esos perfiles exitosos pertenecían a hombres, el algoritmo aprendió a penalizar los CV que incluían la palabra “mujer” o derivados, y a dar mayor puntuación a verbos más comunes en los currículums masculinos. Como consecuencia, Amazon tuvo que abandonar el proyecto al darse cuenta de que no podía hacerlo neutral.
Justicia penal: el algoritmo COMPAS
En Estados Unidos, un software llamado COMPAS es utilizado por los tribunales para predecir la probabilidad de que un acusado reincida. Una investigación de ProPublica en 2016 descubrió que el algoritmo era notablemente sesgado: tenía el doble de probabilidades de etiquetar incorrectamente a los acusados negros como de “alto riesgo” de reincidencia que a los acusados blancos.
Por el contrario, los acusados blancos eran etiquetados erróneamente como de “bajo riesgo” con mucha más frecuencia. El sistema, en lugar de impartir justicia ciega, estaba reforzando los estereotipos raciales sistémicos.
Sesgos en el reconocimiento facial
Un estudio del MIT realizado por la investigadora Joy Buolamwini demostró que los sistemas de reconocimiento facial de grandes empresas tenían tasas de error mucho más altas al identificar a mujeres de piel oscura en comparación con hombres de piel clara.
En el peor de los casos, la tasa de error para mujeres negras era casi del 35%, mientras que para hombres blancos era inferior al 1%. La causa era evidente: los conjuntos de datos de entrenamiento estaban compuestos mayoritariamente por rostros de hombres blancos.
La Apple Card y el sesgo de género
En 2019, la Apple Card fue objeto de una investigación después de que numerosos usuarios denunciaran que ofrecía límites de crédito significativamente más altos a los hombres que a sus esposas, incluso cuando compartían finanzas y ellas tenían historiales de crédito iguales o mejores. El algoritmo, oculto en su “caja negra”, estaba tomando decisiones que replicaban la histórica brecha de género en el acceso al crédito.
Hacia una IA más justa: ¿Qué podemos hacer para evitarlo?
Combatir la discriminación algorítmica es un desafío complejo que requiere un enfoque multifacético, combinando tecnología, ética y regulación. Estas son algunas áreas en las que se puede trabajar para prevenir los sesgos:
- Datos diversos y representativos: es fundamental auditar y curar los conjuntos de datos para asegurarse de que sean inclusivos y representativos de toda la población a la que afectará el sistema.
- Diversidad en los equipos de desarrollo: incluir a personas de diferentes géneros, etnias, orígenes socioeconómicos y disciplinas en los equipos de desarrollo de IA ayuda a identificar puntos ciegos y a plantear preguntas críticas desde el inicio del proceso.
- Transparencia y explicabilidad: muchos modelos de IA funcionan como “cajas negras”, lo que hace imposible entender por qué toman una decisión concreta. El campo de la IA Explicable (XAI, por sus siglas en inglés) busca desarrollar modelos que puedan justificar sus resultados. La transparencia es crucial para la rendición de cuentas.
- Auditorías y pruebas de sesgo continuas: las empresas y organizaciones deben implementar auditorías algorítmicas regulares, realizadas por terceros independientes. Estas auditorías deben evaluar activamente si un sistema produce resultados dispares para diferentes grupos demográficos antes de su implementación y durante todo su ciclo de vida.
- Regulación y marcos legales: los gobiernos tienen un papel fundamental. Se necesitan regulaciones claras que exijan transparencia, auditorías y rendición de cuentas para los sistemas de IA de alto riesgo (como los utilizados en justicia, empleo o sanidad). La Ley de Inteligencia Artificial de la Unión Europea es un paso pionero en esta dirección.
- Supervisión humana significativa: finalmente, la IA debe ser una herramienta para potenciar la toma de decisiones humanas, no para reemplazarla por completo en contextos críticos. Siempre debe existir un mecanismo para que un ser humano revise, cuestione y anule la decisión de un algoritmo.
La inteligencia artificial no es buena o mala, sino que es un espejo que refleja los datos con los que la alimentamos. Si le mostramos un mundo lleno de prejuicios, nos devolverá una versión distorsionada y amplificada de esa misma injusticia.
Nuestro desafío no es detener el avance de la IA, sino construirla con conciencia, responsabilidad y un compromiso inquebrantable con la equidad. Solo así podremos garantizar que esta poderosa tecnología sirva para crear un futuro más justo para todos, y no solo para unos pocos privilegiados.