D2 · Almacenamiento de Datos

Integración y Analítica de Datos

El AZ-305 evalúa que sepas armar el pipeline correcto: ¿batch o streaming? ¿ETL visual o código Spark? ¿Data warehouse o data lake? No se piden detalles de implementación — se pide elegir el servicio adecuado para cada pieza.

Contenido

El mapa de servicios de datos
Batch: Data Factory, Synapse, Databricks
Streaming: Event Hubs y Stream Analytics
Almacenes analíticos y Fabric
Tabla de decisión

El mapa de servicios de datos

Rol en el pipeline	Servicio	Una frase
Ingesta / orquestación batch	Azure Data Factory	ETL/ELT visual sin código, 100+ conectores, triggers programados
Ingesta streaming	Event Hubs	Millones de eventos/segundo, compatible Kafka
Procesamiento streaming	Stream Analytics	Queries SQL sobre streams en tiempo real, ventanas temporales
Procesamiento big data (código)	Azure Databricks	Spark administrado: notebooks, ML, Delta Lake
Analítica unificada	Synapse Analytics	SQL pools (DW) + Spark + pipelines en un workspace
Analítica de telemetría/logs (interactiva)	Azure Data Explorer	KQL sobre billones de registros con latencia de segundos; integra streams de Event Hubs
Plataforma SaaS unificada	Microsoft Fabric	Lakehouse (OneLake) + Power BI + todo lo anterior como SaaS
Almacenamiento del lake	ADLS Gen2	El sustrato de todos los anteriores

Batch: Data Factory vs Synapse vs Databricks

Azure Data Factory

•Orquestación y movimiento de datos SIN código (mapping data flows para transformar)
•Self-hosted integration runtime para fuentes on-premises
•Señal: "copiar datos de 30 fuentes cada noche", "ETL visual"
•No es motor analítico — orquesta y mueve

Azure Databricks

•Spark first-class: transformaciones complejas EN CÓDIGO (Python/Scala/SQL)
•Machine learning, Delta Lake, streaming estructurado
•Señal: "los data engineers usan notebooks/Spark", "feature engineering ML"
•Más control y potencia, más expertise requerido

Synapse Analytics

•Workspace unificado: dedicated SQL pools (MPP warehouse), serverless SQL (query sobre el lake), Spark pools y pipelines (ADF embebido)
•Señal: "data warehouse a escala petabyte" → dedicated SQL pool
•"Consultar parquet del lake con T-SQL sin aprovisionar" → serverless SQL pool

Streaming: Event Hubs + Stream Analytics

Pipeline de streaming canónico (cae en el examen)

1Dispositivos/apps emiten eventos → Event Hubs (o IoT Hub si hay gestión de dispositivos, autenticación por certificado o comando bidireccional cloud-to-device)

2Stream Analytics consume el stream con queries SQL y ventanas (tumbling, hopping, sliding, session)

3Salidas: Power BI (dashboard en vivo), SQL/Cosmos (serving), ADLS (archivo), Functions (acciones)

Event Hubs — diseño

• Particiones fijadas al crear — dimensionar para el paralelismo de consumo
• Consumer groups: cada consumidor lee el stream independientemente
• Capture: volcado automático a Blob/ADLS sin código
• Tiers: Standard / Premium / Dedicated según throughput y aislamiento
• Endpoint Kafka: migrar productores/consumidores Kafka sin cambios

Alternativas de procesamiento

• Stream Analytics: SQL declarativo, sin clúster — la opción "simple y administrada"
• Databricks Structured Streaming: lógica compleja en código
• Azure Data Explorer: ingestión + query interactiva de telemetría/logs masivos (KQL)
• Functions: reaccionar evento a evento (no agregaciones con ventanas)

Almacenes analíticos y Fabric

Necesidad	Opción
Data warehouse relacional MPP a escala	Synapse dedicated SQL pool (o Fabric Warehouse)
Lakehouse: archivos Delta + SQL + BI integrado	Microsoft Fabric (OneLake) / Databricks + Delta Lake
Query ad-hoc sobre archivos del lake sin clúster	Synapse serverless SQL pool
Analítica de telemetría/logs con latencia interactiva	Azure Data Explorer (KQL)
HTAP: analítica sobre Cosmos sin tocar RUs	Synapse Link / mirroring en Fabric
BI y visualización	Power BI (DirectLake con Fabric)

Tabla de decisión

El escenario dice...	Diseña con...
Copiar datos nocturnos de 20 fuentes (incluye on-prem) al lake, sin código	Data Factory + self-hosted IR
Dashboard de Power BI actualizado en tiempo real desde sensores	Event Hubs → Stream Analytics → Power BI
Detectar anomalías en ventanas de 5 minutos sobre el stream	Stream Analytics (tumbling window)
Transformaciones Spark complejas y modelos ML	Azure Databricks
Data warehouse para reporting corporativo a petabytes	Synapse dedicated SQL pool / Fabric Warehouse
Analistas consultan parquet del lake con T-SQL, pago por query	Synapse serverless SQL pool
Archivar el stream crudo automáticamente en el lake	Event Hubs Capture → ADLS Gen2
Apps Kafka existentes sin reescribir	Event Hubs con endpoint Kafka
Exploración interactiva de billones de logs	Azure Data Explorer

¿Entendiste este tema?

Pon a prueba lo que acabas de aprender

Una fábrica emite 100,000 eventos de sensores por segundo. Necesitan: (1) calcular promedios por máquina en ventanas de 1 minuto y mostrarlos en un dashboard en vivo, (2) guardar todos los eventos crudos en el data lake para análisis histórico, (3) mínima administración de infraestructura. ¿Qué pipeline diseñas?

¿Listo para poner a prueba "Integración y Analítica de Datos"?

Pon a prueba lo que aprendiste con preguntas originales del examen AZ-305.

Iniciar simulacro AZ-305

Sin límite de simulacros con plan Pro

Inicia sesión para llevar tu progreso.

AnteriorDiseño de Storage AccountsAlmacenamiento de Datos SiguienteProtección y Cifrado de DatosAlmacenamiento de Datos