Gen AI Leader
Deep Dive
Ningún foundation model es perfecto ni "sabe todo". Google Cloud espera que un GenAI Leader sepa identificar de forma proactiva las limitaciones estructurales de estos modelos, conocer las prácticas recomendadas para mitigarlas, y entender cómo se monitorea un modelo en producción de forma continua.
Contenido
Un foundation model es tan bueno (y tan limitado) como los datos con los que fue entrenado y la forma en que se le usa. El examen espera que reconozcas seis limitaciones estructurales, con un ejemplo concreto de cada una.
1. Dependencia de datos (data dependency)
La calidad y el comportamiento del modelo dependen directamente de los datos usados para entrenarlo. Un modelo entrenado principalmente con texto en inglés y contenido occidental tendrá menor calidad al responder sobre contextos culturales, idiomas o dominios poco representados en su corpus de entrenamiento.
2. Knowledge cutoff
El modelo solo "conoce" información hasta la fecha de corte de su entrenamiento. Si le preguntas por un evento, producto o precio publicado después de esa fecha, el modelo no lo sabrá — y puede inventar una respuesta plausible en vez de admitir que no tiene esa información (ver alucinaciones, más abajo).
3. Sesgo (bias)
Si los datos de entrenamiento reflejan sesgos históricos o sociales presentes en internet, el modelo puede reproducirlos. Por ejemplo, un modelo puede asociar ciertas profesiones predominantemente con un género porque así aparecía con más frecuencia en los textos de entrenamiento, aunque esa asociación no sea correcta ni deseable.
4. Fairness (equidad)
Relacionado con el sesgo, pero enfocado en el impacto desigual del resultado: un modelo de evaluación de crédito o de selección de candidatos puede producir resultados sistemáticamente menos favorables para ciertos grupos demográficos, incluso sin que se le haya pedido explícitamente considerar esas variables.
5. Alucinaciones (hallucinations)
Una alucinación ocurre cuando el modelo genera información que suena convincente y coherente pero es objetivamente falsa o no está respaldada por ninguna fuente real — por ejemplo, citar un artículo académico o una ley que no existen, con apariencia de certeza total.
6. Casos límite (edge cases)
Entradas poco frecuentes, ambiguas o inusuales que el modelo no manejó bien durante el entrenamiento. Por ejemplo, un prompt con instrucciones contradictorias, un formato de entrada atípico, o una combinación inusual de idiomas dentro de la misma consulta puede producir resultados impredecibles.
Google Cloud recomienda cinco prácticas para abordar proactivamente estas limitaciones. No son mutuamente excluyentes — en la práctica se combinan — pero conviene entenderlas como un espectro de esfuerzo e inversión creciente.
| Práctica | Qué resuelve | Esfuerzo relativo |
|---|---|---|
| Grounding | Ancla las respuestas a fuentes de datos verificables, reduciendo alucinaciones y el impacto del knowledge cutoff | Bajo |
| RAG | Recupera información actualizada y específica del dominio en tiempo de consulta, sin reentrenar el modelo | Bajo-medio |
| Prompt engineering | Guía el comportamiento del modelo con instrucciones, ejemplos y restricciones más claras, sin cambiar el modelo | Bajo-medio |
| Fine-tuning | Ajusta los pesos del modelo con datos propios para especializarlo en un dominio, tono o tarea concreta | Alto |
| Human in the loop (HITL) | Añade revisión y aprobación humana antes de que un output de alto riesgo se use o publique | Alto (operativo, continuo) |
Ojo con esto en el examen
Ninguna de estas prácticas elimina las limitaciones por completo — las reduce. Grounding y RAG son las primeras palancas recomendadas porque no requieren reentrenar el modelo. Fine-tuning y HITL se reservan para casos donde el ajuste del prompt o la recuperación de contexto no son suficientes, o donde el riesgo de un error es alto.
Un modelo gen AI en producción no es "configúralo y olvídalo". Google Cloud recomienda una serie de prácticas de monitoreo continuo porque el comportamiento del modelo, los datos de entrada y el contexto de negocio cambian con el tiempo.
Actualizaciones automáticas de modelo
Los proveedores lanzan versiones mejoradas de los modelos con regularidad; una estrategia de actualización (automática o controlada) permite beneficiarse de mejoras de calidad y seguridad sin quedar atado indefinidamente a una versión antigua.
Indicadores clave de rendimiento (KPIs)
Métricas de negocio y de calidad (precisión, tasa de alucinación, satisfacción del usuario, latencia, costo por solicitud) que permiten medir objetivamente si el modelo sigue cumpliendo su propósito.
Parches y actualizaciones de seguridad
Igual que cualquier sistema en producción, los modelos y la infraestructura que los sirve requieren parches de seguridad periódicos para cerrar vulnerabilidades conocidas.
Versionado
Registrar y controlar qué versión exacta del modelo (y del prompt o del pipeline de RAG) se usó para generar cada respuesta, para poder reproducir resultados y hacer rollback si una nueva versión degrada la calidad.
Seguimiento de rendimiento (performance tracking)
Monitoreo continuo de latencia, tasa de error y calidad de las respuestas en producción, comparado contra una línea base establecida antes del despliegue.
Drift monitoring
Detecta cuándo los datos de entrada en producción (o el comportamiento esperado) se alejan gradualmente de los datos con los que se evaluó el modelo originalmente, lo que puede degradar la calidad de las respuestas con el tiempo sin que nadie lo note.
Agent Platform Feature Store
Agent PlatformUn repositorio centralizado para almacenar, servir y reutilizar "features" (variables/atributos) de forma consistente entre entrenamiento y producción, dentro del ecosistema de agentes de Google Cloud. Mantener las features centralizadas y versionadas ayuda a detectar más fácilmente drift y a garantizar que los agentes usen datos coherentes y actualizados en cada inferencia.
¿Entendiste este tema?
Pon a prueba lo que acabas de aprender
Una empresa despliega un asistente de gen AI para atención al cliente usando Agent Platform. Seis meses después, notan que la calidad de las respuestas ha bajado silenciosamente, aunque no se hizo ningún cambio en el modelo. ¿Qué práctica de monitoreo continuo es más adecuada para detectar la causa raíz?
Pon a prueba lo que aprendiste con preguntas originales del examen Gen AI Leader.
Iniciar simulacro Gen AI LeaderSin límite de simulacros con plan Pro
Inicia sesión para llevar tu progreso.