DP-203 Data Engineering on Microsoft Azure (DP-203T00)

Ziele

In diesem Kurs lernen die Teilnehmer das Data Engineering in Bezug auf die Arbeit mit Batch- und Echtzeit-Analyselösungen unter Verwendung von Azure-Datenplattformtechnologien kennen. Die Teilnehmer lernen zunächst die wichtigsten Rechen- und Speichertechnologien kennen, die zum Aufbau einer analytischen Lösung verwendet werden. Die Teilnehmer lernen, wie sie in Dateien gespeicherte Daten in einem Data Lake interaktiv untersuchen können. Sie lernen die verschiedenen Ingestion-Techniken kennen, die zum Laden von Daten mit der Apache Spark-Funktion in Azure Synapse Analytics oder Azure Databricks verwendet werden können, oder wie man mit Azure Data Factory oder Azure Synapse Pipelines Ingests durchführt. Die Teilnehmer lernen auch die verschiedenen Möglichkeiten kennen, wie sie die Daten mit denselben Technologien umwandeln können, die für den Dateningest verwendet werden. Sie werden verstehen, wie wichtig es ist, Sicherheit zu implementieren, um sicherzustellen, dass die Daten im Ruhezustand oder bei der Übertragung geschützt sind. Der Teilnehmer wird dann zeigen, wie ein Echtzeit-Analysesystem erstellt wird, um Echtzeit-Analyselösungen zu entwickeln.

Zielgruppe

• Business-Intelligence-Experten
• Datenanalysten
• Datenarchitekten
• Datenexperten

Voraussetzungen

• AZ-900 - Azure Fundamentals
• DP-900 - Microsoft Azure Data Fundamentals

Agenda

Rechen- und Speicheroptionen für Data-Engineering-Workloads

• Einführung in Azure Synapse Analytics
• Erläuterung von Azure Databricks
• Erläuterung in Azure Data Lake-Speicher
• Beschreiben der Delta Lake-Architektur
• Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics

Interaktive Abfragen mit Azure Synapse Analytics serverlosen SQL-Pools ausführen

• Möglichkeiten von Azure Synapse Serverless SQL Pools
• Abfragen von Daten im Lake mit Azure Synapse Serverless SQL Pools
• Erstellen von Metadatenobjekten in Azure Synapse Serverless SQL Pools
• Sichern von Daten und Verwalten von Benutzern in Azure Synapse Serverless SQL Pools

Datenexploration und -umwandlung in Azure Databricks

• Azure Databricks
• Lesen und Schreiben von Daten in Azure Databricks
• Arbeiten mit DataFrames in Azure Databricks
• Arbeiten mit fortgeschrittenen DataFrames-Methoden in Azure Databricks

Analysieren, Transformieren und Laden von Daten in das Data Warehouse mit Apache Spark

• Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
• Einlesen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
• Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
• Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics

Daten in das Data Warehouse aufnehmen und laden

• Vewenden von Best Practices zum Laden von Daten in Azure Synapse Analytics
• Ingestion im Petabyte-Bereich mit Azure Data Factory

Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines

• Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
• Codefreie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines

Orchestrierung der Datenbewegung und -transformation in Azure Synapse Pipelines

• Orchestrierung der Datenbewegung und -transformation in Azure Data Factory

End-to-End-Sicherheit mit Azure Synapse Analytics

• Data Warehouse in Azure Synapse Analytics sichern
• Konfigurieren und Verwalten von Secrets in Azure Key Vault
• Implementierung von Compliance-Kontrollen für sensible Daten

Hybride transaktionale analytische Verarbeitung (HTAP) mit Azure Synapse Link unterstützen

• Entwerfen Sie hybride transaktionale und analytische Verarbeitung mit Azure Synapse Analytics
• Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
• Abfrage von Azure Cosmos DB mit Apache Spark-Pools
• Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools

Stream-Verarbeitung in Echtzeit mit Stream Analytics

• Zuverlässiges Messaging für Big Data-Anwendungen mit Azure Event Hubs ermöglichen
• Arbeiten mit Daten-Streams mithilfe von Azure Stream Analytics
• Einlesen von Daten-Streams mit Azure Stream Analytics

Erstellen einer Stream Processing-Lösung mit Event Hubs und Azure Databricks

• Verarbeiten von Streaming-Daten mit Azure Databricks Structured Streaming