Tema 1 de 6
Ingesta y procesamiento de datos
Antes de analizar hay que traer los datos desde bases transaccionales, archivos y flujos en tiempo real hasta un almacén analítico. Este artículo explica las piezas de una solución de análisis a gran escala y las herramientas de Microsoft para mover y transformar datos. El examen pide distinguir ETL de ELT y elegir la herramienta adecuada.
Contenido
Análisis a gran escala
Las soluciones de análisis a gran escala combinan el data warehousing tradicional, usado para inteligencia empresarial (BI), con técnicas de big data.
Data warehousing tradicional
Copia datos de almacenes transaccionales a una base relacional con un esquema optimizado para consultas y modelos multidimensionales.
Big data
Grandes volúmenes en varios formatos, cargados por lotes o en flujos en tiempo real, guardados en un data lake y procesados con motores distribuidos como Apache Spark.
La combinación del almacenamiento flexible de un data lake con el análisis SQL de un warehouse dio lugar al diseño llamado lakehouse.
Elementos de la arquitectura
Ingesta y procesamiento: Datos de almacenes transaccionales, archivos, flujos en tiempo real u otros orígenes se cargan en un data lake o un data warehouse relacional, limpiándolos, filtrándolos y reestructurándolos. Suele hacerse con sistemas distribuidos que procesan en paralelo con clústeres de varios nodos, por lotes y en streaming.
Almacén de datos analíticos: Data warehouses relacionales, data lakes basados en archivos y arquitecturas híbridas (lakehouses).
Modelo de datos analítico: Hoy, un modelo semántico (el modelo tabular de Power BI y Fabric) con tablas, relaciones, jerarquías y medidas escritas en DAX. Antes se usaban cubos preagregados.
Visualización: Informes, paneles y exploración visual, también autoservicio para usuarios no técnicos.
Análisis asistido por IA: Copilot en Fabric y en Power BI, y Genie en Azure Databricks, permiten pedir en lenguaje natural consultas DAX o SQL, resúmenes y respuestas.
ETL frente a ELT
ETL · Extract, Transform, Load
Los datos se transforman antes de cargarlos en el almacén analítico.
ELT · Extract, Load, Transform
Los datos se copian al almacén y se transforman después. Es un patrón común en los lakehouses modernos.
En ambos casos el resultado es una estructura optimizada para consultas analíticas.
Fabric Data Factory
El punto de partida recomendado para la ingesta basada en pipelines en Microsoft Fabric. Incorpora la sencillez de Power Query y más de 200 conectores nativos a orígenes locales y en la nube. Ofrece dos herramientas complementarias:
Pipelines
Orquestan flujos de movimiento y transformación con varios pasos, encadenando actividades en secuencia o en paralelo. Usan conexiones para llegar a orígenes y destinos: cargar datos, ejecutar procedimientos almacenados, invocar notebooks.
Dataflows Gen2
Experiencia visual y de bajo código para crear lógica de transformación reutilizable con Power Query, sin escribir código.
El resultado puede guardarse en un Lakehouse o un Warehouse de Fabric, o en cualquier otro destino admitido. Es la siguiente generación de Azure Data Factory.
Accesos directos y creación de reflejos
Accesos directos (shortcuts) de OneLake
Una referencia en vivo a almacenamiento externo: ADLS Gen2, Amazon S3, Google Cloud Storage u otra ubicación de OneLake. Los datos externos aparecen como si ya estuvieran en el Lakehouse: sin pipelines, sin movimiento, sin duplicación. Útil cuando los datos deben quedarse donde están por cumplimiento o coste.
Creación de reflejos (mirroring)
Replica continuamente una base externa (Azure SQL Database, Snowflake, Azure Cosmos DB y otras) en OneLake casi en tiempo real. Se configura la conexión una vez y Fabric gestiona el seguimiento de cambios, sin escribir pipelines. Los datos se consultan con un punto de conexión de análisis SQL.
Eventstream y notebooks
Eventstream
Ingesta en streaming en tiempo real desde Azure Event Hubs, Apache Kafka, Azure IoT Hub y puntos de conexión propios. Enruta, filtra y transforma los eventos antes de dejarlos en un Lakehouse o un Eventhouse (bases KQL optimizadas para series temporales).
Notebooks de Fabric
Opción con código (Apache Spark) cuando no hay conector o hace falta lógica propia. Se escribe PySpark, Python, Scala, R o SQL para leer de API REST, bases o archivos y escribir en tablas Delta del Lakehouse o del Warehouse. Se ejecutan a mano o programados en un pipeline.
Azure Data Factory
El servicio independiente de Azure para crear pipelines de integración fuera de Fabric: por ejemplo, cuando el destino es Azure SQL Database o un servicio externo, o al conectar orígenes locales en un entorno híbrido.
Usa el mismo modelo de pipelines que Fabric Data Factory (con servicios vinculados en lugar de conexiones), así que los conocimientos sirven para los dos. Los ingenieros de datos lo usan para soluciones ETL que llevan datos de los sistemas transaccionales a los almacenes analíticos.
Ingesta en Azure Databricks
Lakeflow pipelines
Marco declarativo para pipelines fiables e incrementales sobre Delta Lake. Defines qué deben contener las tablas y Databricks gestiona el orden, las dependencias y el procesamiento incremental. Para producción, por lotes y streaming.
Notebooks de Databricks
PySpark, Python, Scala, SQL y R para ingesta exploratoria o puntual. Se pueden programar como trabajos o insertar en un pipeline de Lakeflow.
Auto Loader
Carga de forma incremental e idempotente datos desde almacenamiento de objetos y data lakes al lakehouse.
Qué herramienta para cada caso
| Herramienta | Enfoque | ¿Copia los datos? |
|---|---|---|
| Pipelines (Fabric o ADF) | Orquestación de actividades | Sí |
| Dataflows Gen2 | Transformación visual con Power Query | Sí |
| Acceso directo | Referencia en vivo | No |
| Creación de reflejos | Réplica continua de una base | Sí, automáticamente |
| Eventstream | Eventos en tiempo real | Sí, en streaming |
| Notebooks | Código con Spark | Según el código |
Escenarios de examen
| Situación | Respuesta | Por qué |
|---|---|---|
| Orquestar varios pasos: copiar datos, ejecutar un procedimiento y luego un notebook | Pipeline de Fabric Data Factory | Encadena actividades en secuencia o en paralelo. |
| Transformar datos sin escribir código, con Power Query | Dataflows Gen2 | Experiencia visual de bajo código. |
| Consultar desde Fabric datos de Amazon S3 sin copiarlos | Acceso directo de OneLake | Referencia en vivo, sin mover datos. |
| Replicar continuamente Azure SQL Database en OneLake sin crear pipelines | Creación de reflejos (mirroring) | Fabric gestiona el seguimiento de cambios. |
| Ingerir eventos de Event Hubs o Kafka en tiempo real | Eventstream | Enruta y transforma flujos de eventos. |
| Leer una API REST sin conector y aplicar lógica propia | Notebook de Fabric | Código con PySpark, Python, Scala, R o SQL. |
| Pipeline hacia Azure SQL Database con orígenes locales, fuera de Fabric | Azure Data Factory | Servicio independiente de integración. |
| Pipelines declarativos e incrementales sobre Delta Lake en Databricks | Lakeflow pipelines | Databricks gestiona orden, dependencias e incrementos. |
Trampas frecuentes del examen
❓ ¿En ETL los datos se cargan antes de transformarlos?
No. En ETL se transforman antes de cargar; en ELT se cargan primero y se transforman en el almacén.
❓ ¿Un acceso directo de OneLake copia los datos?
No. Es una referencia en vivo: los datos se quedan en su origen.
❓ ¿La creación de reflejos exige construir pipelines?
No. Se configura la conexión una vez y Fabric gestiona la replicación y el seguimiento de cambios.
❓ ¿Qué herramienta de Fabric permite transformar datos sin código?
Dataflows Gen2, con Power Query.
❓ ¿Azure Data Factory y Fabric Data Factory usan modelos distintos?
No. Ambos se basan en pipelines; ADF usa servicios vinculados en vez de conexiones.
❓ ¿Qué ofrece Lakeflow pipelines en Databricks?
Pipelines declarativos e incrementales sobre Delta Lake; Databricks gestiona orden y dependencias.
¿Entendiste este tema?
Pon a prueba lo que acabas de aprender
Por motivos de cumplimiento, unos archivos deben quedarse en un bucket de Amazon S3, pero el equipo quiere consultarlos desde un Lakehouse de Fabric. ¿Qué usa?
¿Listo para poner a prueba "Ingesta y procesamiento de datos"?
Preguntas originales, cada una con su explicación.
Empezar un simulacro