El sesgo (bias) es el problema de IA responsable con más peso práctico en el examen: de dónde viene, cómo se detecta y qué herramienta de AWS lo mide.
Contenido
Un modelo de ML no "decide" ser injusto — aprende patrones estadísticos de los datos que le das. El sesgo casi siempre entra por una de estas tres puertas.
Datos históricos
Si los datos de entrenamiento reflejan una desigualdad real del pasado (ej: contrataciones, aprobación de créditos), el modelo aprende esa desigualdad como "patrón normal" y la reproduce en el futuro.
Sub-representación de grupos
Si un grupo demográfico aparece muy poco en los datos, el modelo tiene menos ejemplos para aprender a tratarlo bien y comete más errores con ese grupo — sin que nadie lo haya "programado" así.
Sesgo del anotador humano
Cuando humanos etiquetan datos (ej: "¿este comentario es tóxico?"), sus propios prejuicios se filtran en las etiquetas, y el modelo aprende exactamente ese prejuicio como si fuera la verdad objetiva.
Características deseables de un dataset para mitigar sesgo
Fuentes curadas
Datos revisados y seleccionados con criterio, en lugar de recolectados sin control de calidad
Datasets balanceados
Representación proporcional de los distintos grupos, sin que ninguno esté sub o sobre-representado
Inclusividad
El dataset incluye deliberadamente perspectivas y casos de los grupos que el modelo va a servir en producción
Diversidad de datos
Variedad de fuentes, contextos y perfiles demográficos, para que el modelo generalice bien más allá del grupo mayoritario
El examen no pide fórmulas — pide reconocer el tipo de sesgo descrito en un escenario.
Sampling bias (sesgo de muestreo)
Los datos recolectados no representan a la población real sobre la que el modelo va a operar.
Ejemplo: Un modelo de reconocimiento de voz entrenado solo con hablantes de una región específica funciona peor con acentos de otras regiones.
Measurement bias (sesgo de medición)
La forma en que se mide o recolecta un dato es sistemáticamente distinta entre grupos, distorsionando la comparación.
Ejemplo: Un sensor médico calibrado principalmente con un tipo de piel produce lecturas menos precisas en otros tonos de piel, y el modelo entrenado con esos datos hereda ese error.
Exclusion bias (sesgo de exclusión)
Se eliminan datos durante la limpieza asumiendo que son "ruido" o "irrelevantes", cuando en realidad representan a un grupo válido.
Ejemplo: Al limpiar datos de transacciones, se descartan registros con nombres poco comunes por parecer errores de captura, eliminando sistemáticamente a un grupo étnico específico.
Herramienta de SageMaker dedicada a detectar sesgo y explicar predicciones
Detección de bias — pre-entrenamiento
Analiza el dataset ANTES de entrenar: mide si un grupo protegido está sub-representado o si hay correlaciones sospechosas entre un atributo sensible y la variable que se quiere predecir.
Detección de bias — post-entrenamiento
Analiza las PREDICCIONES del modelo ya entrenado: ¿el modelo acierta o falla de forma distinta según el grupo? ¿Aprueba/rechaza en proporciones desiguales entre grupos comparables?
Detecta y mitiga sesgo en un dataset de solicitudes de crédito usando SageMaker Clarify.
+1 más...
Explicabilidad — feature importance
Clarify también explica predicciones individuales: para una decisión concreta, indica qué variables (features) influyeron más y en qué dirección — sin entrar en las matemáticas de detrás (basadas en conceptos de teoría de juegos, como SHAP), simplemente entrega un ranking de "qué pesó más en esta decisión y cuánto".
Ejemplo: para un rechazo de crédito, Clarify puede indicar que "el ratio deuda/ingreso" pesó un 40% en la decisión, "historial de pagos" un 30%, etc. — información que un humano puede comunicar al cliente.
Descompón una predicción individual de rechazo de crédito en las features que más la impulsaron, con un gráfico de cascada.
+1 más...
Inserta un paso de revisión humana antes de aceptar una predicción de ML
Amazon A2I permite construir flujos donde una predicción de ML se envía a un revisor humano antes de usarse, en lugar de aplicarla automáticamente. Es el mecanismo concreto de AWS para lograr "human in the loop" (controllability) en un pipeline de producción.
Revisa como humano una predicción de baja confianza enrutada por Amazon Augmented AI (A2I).
+1 más...
Una Model Card es un documento estandarizado que acompaña a un modelo para que cualquiera — otro equipo, un auditor, un regulador — entienda qué es el modelo, para qué sirve y dónde tiene límites, sin tener que leer el código.
Propósito
Para qué caso de uso fue diseñado el modelo y para cuáles NO debería usarse
Datos de entrenamiento
Qué datos (a alto nivel) se usaron y su procedencia
Limitaciones conocidas
Escenarios donde el modelo tiene bajo desempeño o riesgo de sesgo
Métricas por subgrupo
Desempeño desglosado por grupo demográfico, no solo un promedio general
Por qué el examen las menciona
Una métrica de precisión global (ej: "92% de exactitud") puede esconder que el modelo acierta 98% con un grupo y 70% con otro. Las Model Cards obligan a reportar métricas por subgrupo, exponiendo justamente ese tipo de sesgo escondido.
Documenta el uso previsto, las limitaciones y los datos de entrenamiento de un modelo con SageMaker Model Cards.
+1 más...
Escenario: screening automático de currículums
Una empresa entrena un modelo para pre-filtrar currículums usando 10 años de contrataciones históricas. En esos 10 años, el 85% de las contrataciones en puestos técnicos fueron hombres — no por una regla explícita, sino por sesgos en el proceso de contratación humano que existía antes del modelo.
El modelo aprende que ciertas palabras asociadas a currículums de mujeres (por ejemplo, mencionar "capitana del equipo femenino de ajedrez" o egresar de una universidad exclusivamente femenina) se correlacionan con "no contratado", y empieza a penalizar sistemáticamente esos currículums — sin que nadie le haya dicho "penaliza el género" explícitamente.
Consecuencia: candidatas cualificadas son descartadas automáticamente antes de que un reclutador humano las vea. El daño es doble: perpetúa la desigualdad histórica y expone a la empresa a riesgo legal y reputacional por discriminación algorítmica.
Un caso análogo y muy citado ocurre en modelos de aprobación de crédito, donde un código postal correlacionado con etnia o nivel socioeconómico actúa como proxy indirecto de un atributo protegido, aun si ese atributo nunca se incluyó directamente como variable de entrada.
| Concepto | Qué hace / qué es |
|---|---|
| SageMaker Clarify — pre-entrenamiento | Detecta desbalance y correlaciones sospechosas en el dataset antes de entrenar |
| SageMaker Clarify — post-entrenamiento | Mide diferencias de desempeño/decisión entre grupos en las predicciones del modelo |
| SageMaker Clarify — explicabilidad | Feature importance: qué variables pesaron más en una predicción individual |
| Model Cards | Documentación estándar: propósito, datos, limitaciones y métricas por subgrupo |
| Sampling bias | Los datos no representan bien a la población real |
| Measurement bias | La forma de medir el dato varía sistemáticamente entre grupos |
| Exclusion bias | Se eliminan datos válidos de un grupo durante la limpieza |
¿Entendiste este tema?
Pon a prueba lo que acabas de aprender
Un equipo de ciencia de datos quiere verificar, ANTES de entrenar un modelo de aprobación de préstamos, si el dataset tiene una representación desbalanceada entre grupos demográficos. ¿Qué herramienta de AWS deberían usar?
Inicia sesión para llevar tu progreso.