D2 · Almacenamiento de Datos

Integración y Analítica de Datos

El AZ-305 evalúa que sepas armar el pipeline correcto: ¿batch o streaming? ¿ETL visual o código Spark? ¿Data warehouse o data lake? No se piden detalles de implementación — se pide elegir el servicio adecuado para cada pieza.

Contenido

El mapa de servicios de datos
Batch: Data Factory, Synapse, Databricks
Streaming: Event Hubs y Stream Analytics
Almacenes analíticos y Fabric
Tabla de decisión

El mapa de servicios de datos

Rol en el pipeline	Servicio	Una frase
Ingesta / orquestación batch	Azure Data Factory	ETL/ELT visual sin código, 100+ conectores, triggers programados
Ingesta streaming	Event Hubs	Millones de eventos/segundo, compatible Kafka
Procesamiento streaming	Stream Analytics	Queries SQL sobre streams en tiempo real, ventanas temporales
Procesamiento big data (código)	Azure Databricks	Spark administrado: notebooks, ML, Delta Lake
Analítica unificada	Synapse Analytics	SQL pools (DW) + Spark + pipelines en un workspace
Analítica de telemetría/logs (interactiva)	Azure Data Explorer	KQL sobre billones de registros con latencia de segundos; integra streams de Event Hubs
Plataforma SaaS unificada	Microsoft Fabric	Lakehouse (OneLake) + Power BI + todo lo anterior como SaaS
Almacenamiento del lake	ADLS Gen2	El sustrato de todos los anteriores

Batch: Data Factory vs Synapse vs Databricks

Azure Data Factory

•Orquestación y movimiento de datos SIN código (mapping data flows para transformar)
•Self-hosted integration runtime para fuentes on-premises
•Señal: "copiar datos de 30 fuentes cada noche", "ETL visual"
•No es motor analítico — orquesta y mueve

Azure Databricks

•Spark first-class: transformaciones complejas EN CÓDIGO (Python/Scala/SQL)
•Machine learning, Delta Lake, streaming estructurado
•Señal: "los data engineers usan notebooks/Spark", "feature engineering ML"
•Más control y potencia, más expertise requerido

Synapse Analytics

•Workspace unificado: dedicated SQL pools (MPP warehouse), serverless SQL (query sobre el lake), Spark pools y pipelines (ADF embebido)
•Señal: "data warehouse a escala petabyte" → dedicated SQL pool
•"Consultar parquet del lake con T-SQL sin aprovisionar" → serverless SQL pool

Streaming: Event Hubs + Stream Analytics

Pipeline de streaming canónico (cae en el examen)

1Dispositivos/apps emiten eventos → Event Hubs (o IoT Hub si hay gestión de dispositivos, autenticación por certificado o comando bidireccional cloud-to-device)

2Stream Analytics consume el stream con queries SQL y ventanas (tumbling, hopping, sliding, session)

3Salidas: Power BI (dashboard en vivo), SQL/Cosmos (serving), ADLS (archivo), Functions (acciones)

Event Hubs — diseño

• Particiones fijadas al crear — dimensionar para el paralelismo de consumo
• Consumer groups: cada consumidor lee el stream independientemente
• Capture: volcado automático a Blob/ADLS sin código
• Tiers: Standard / Premium / Dedicated según throughput y aislamiento
• Endpoint Kafka: migrar productores/consumidores Kafka sin cambios

Alternativas de procesamiento

• Stream Analytics: SQL declarativo, sin clúster — la opción "simple y administrada"
• Databricks Structured Streaming: lógica compleja en código
• Azure Data Explorer: ingestión + query interactiva de telemetría/logs masivos (KQL)
• Functions: reaccionar evento a evento (no agregaciones con ventanas)

Almacenes analíticos y Fabric

Necesidad	Opción
Data warehouse relacional MPP a escala	Synapse dedicated SQL pool (o Fabric Warehouse)
Lakehouse: archivos Delta + SQL + BI integrado	Microsoft Fabric (OneLake) / Databricks + Delta Lake
Query ad-hoc sobre archivos del lake sin clúster	Synapse serverless SQL pool
Analítica de telemetría/logs con latencia interactiva	Azure Data Explorer (KQL)
HTAP: analítica sobre Cosmos sin tocar RUs	Synapse Link / mirroring en Fabric
BI y visualización	Power BI (DirectLake con Fabric)

Tabla de decisión

El escenario dice...	Diseña con...
Copiar datos nocturnos de 20 fuentes (incluye on-prem) al lake, sin código	Data Factory + self-hosted IR
Dashboard de Power BI actualizado en tiempo real desde sensores	Event Hubs → Stream Analytics → Power BI
Detectar anomalías en ventanas de 5 minutos sobre el stream	Stream Analytics (tumbling window)
Transformaciones Spark complejas y modelos ML	Azure Databricks
Data warehouse para reporting corporativo a petabytes	Synapse dedicated SQL pool / Fabric Warehouse
Analistas consultan parquet del lake con T-SQL, pago por query	Synapse serverless SQL pool
Archivar el stream crudo automáticamente en el lake	Event Hubs Capture → ADLS Gen2
Apps Kafka existentes sin reescribir	Event Hubs con endpoint Kafka
Exploración interactiva de billones de logs	Azure Data Explorer

¿Entendiste este tema?

Pon a prueba lo que acabas de aprender

Una fábrica emite 100,000 eventos de sensores por segundo. Necesitan: (1) calcular promedios por máquina en ventanas de 1 minuto y mostrarlos en un dashboard en vivo, (2) guardar todos los eventos crudos en el data lake para análisis histórico, (3) mínima administración de infraestructura. ¿Qué pipeline diseñas?

Inicia sesión para llevar tu progreso.

AnteriorDiseño de Storage AccountsAlmacenamiento de Datos SiguienteProteccion y Cifrado de DatosAlmacenamiento de Datos