2.3 Sesgos y límites

Qué aprenderás: de dónde salen los sesgos de una IA, cómo detectarlos con una prueba sencilla y qué límites tiene aunque no se equivoque.

Una IA aprende de datos creados por personas, y los datos reflejan al mundo con sus desigualdades. Un sesgo es una tendencia sistemática a tratar peor, o a representar peor, a ciertas personas o ideas.

De dónde salen:

Dos casos reales (apéndice D):

• Según informó Reuters en 2018, Amazon abandonó una herramienta experimental de selección de currículos porque había aprendido a penalizar los que mencionaban cosas asociadas a mujeres: copiaba el patrón de contrataciones pasadas.
• El estudio Gender Shades (2018) mostró que varios sistemas comerciales de reconocimiento facial fallaban más con mujeres de piel oscura que con hombres de piel clara.

Los límites van más allá del error:

• Opacidad. A veces ni quien la construyó sabe explicar por qué dio una respuesta concreta.
• Falta de juicio sobre tu situación. No conoce tu ciudad, tu centro ni tus circunstancias si no se las cuentas.
• Responsabilidad. Una IA no responde de nada. Responde quien la usa.
• Decisiones sobre personas. Evaluar, diagnosticar, seleccionar o sancionar a alguien con una IA es especialmente delicado.

Prueba del espejo (10 minutos). Escribe una petición para algo cotidiano (por ejemplo, un consejo de estudio o una descripción de un trabajo). Envíala dos veces en conversaciones distintas cambiando un único dato: el nombre, el género, el país o la edad de la persona. Compara tono, nivel de exigencia y sugerencias. No siempre verás diferencias, pero cuando las veas, ya has descubierto un sesgo. Anótalo.

Ideas clave:

• Los sesgos vienen de los datos, del diseño, del uso y de la tendencia a complacer.
• Aunque acierte, no conoce tu contexto ni responde por nada.
• Con decisiones sobre personas, supervisión humana siempre.

Error común: pedirle a la IA que valide tu idea («¿es buena?»). Tiende a decir que sí. Pídele que la ataque («dame las cinco razones por las que podría fracasar»).