DP-203 Data Engineering on Microsoft Azure (DP-203T00)

Ziele

In diesem Kurs lernen die Teilnehmer die Data-Engineering-Muster und -Praktiken kennen, die sich auf die Arbeit mit Batch- und Echtzeit-Analyselösungen unter Verwendung von Azure-Datenplattformtechnologien beziehen. Die Teilnehmer beginnen mit dem Verständnis der zentralen Rechen- und Speichertechnologien, die zum Aufbau einer analytischen Lösung verwendet werden. Sie werden dann untersuchen, wie man eine analytische Serving-Schicht entwirft und sich auf Data-Engineering-Überlegungen für die Arbeit mit Quelldateien konzentrieren. Die Teilnehmer lernen, wie man interaktiv in Dateien gespeicherte Daten in einem Data Lake untersucht. Sie lernen die verschiedenen Ingestion-Techniken kennen, die zum Laden von Daten mit der Apache Spark-Funktion in Azure Synapse Analytics oder Azure Databricks verwendet werden können, oder wie man mit Azure Data Factory oder Azure Synapse-Pipelines ingestiert. Die Teilnehmer lernen auch die verschiedenen Möglichkeiten kennen, wie sie die Daten mit denselben Technologien transformieren können, die für das Ingest der Daten verwendet werden. Die Kursteilnehmer lernen, wie sie die Leistung von Analysesystemen überwachen und analysieren können, um die Leistung von Datenlasten oder Abfragen, die gegen die Systeme ausgegeben werden, zu optimieren. Sie werden verstehen, wie wichtig die Implementierung von Sicherheit ist, um sicherzustellen, dass die Daten im Ruhezustand oder bei der Übertragung geschützt sind. Der Kursteilnehmer wird dann zeigen, wie die Daten in einem analytischen System verwendet werden können, um Dashboards zu erstellen oder Vorhersagemodelle in Azure Synapse Analytics zu erstellen.

Zielgruppe

• Business-Intelligence-Experten
• Datenanalysten
• Datenarchitekten
• Datenexperten

Voraussetzungen

• AZ-900 - Azure Fundamentals
• DP-900 - Microsoft Azure Data Fundamentals

Agenda

Modul 1: Rechen- und Speicheroptionen für Data-Engineering-Workloads

• Einführung in Azure Synapse Analytics
• Erläuterung von Azure Databricks
• Erläuterung in Azure Data Lake-Speicher
• Beschreiben der Delta Lake-Architektur
• Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics

Modul 2: Design und Implementierung der Serving Layer

• Entwerfen eines multidimensionalen Schemas zur Optimierung analytischer Arbeitslasten
• Codefreie Transformation im Maßstab mit Azure Data Factory
• Befüllen von sich langsam ändernden Dimensionen in Azure Synapse Analytics-Pipelines

Modul 3: Data-Engineering-Überlegungen für Quelldateien

• Entwerfen eines modernen Data Warehouse mit Azure Synapse Analytics
• Sichern eines Data Warehouse in Azure Synapse Analytics

Modul 4: Interaktive Abfragen mit Azure Synapse Analytics serverlosen SQL-Pools ausführen

• Möglichkeiten von Azure Synapse Serverless SQL Pools
• Abfragen von Daten im Lake mit Azure Synapse Serverless SQL Pools
• Erstellen von Metadatenobjekten in Azure Synapse Serverless SQL Pools
• Sichern von Daten und Verwalten von Benutzern in Azure Synapse Serverless SQL Pools

Modul 5: Analysieren, Transformieren und Laden von Daten in das Data Warehouse mit Apache Spark

• Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
• Einlesen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
• Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
• Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics

Modul 6: Datenexploration und -transformation in Azure Databricks

• Beschreibung von Azure Databricks
• Lesen und Schreiben von Daten in Azure Databricks
• Arbeiten mit DataFrames in Azure Databricks
• Arbeiten mit DataFrames fortgeschrittene Methoden in Azure Databricks

Modul 7: Daten in das Data Warehouse aufnehmen und laden

• Vewenden von Best Practices zum Laden von Daten in Azure Synapse Analytics
• Ingestion im Petabyte-Bereich mit Azure Data Factory

Modul 8: Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines

• Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
• Codefreie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines

Modul 9: Orchestrierung der Datenbewegung und -transformation in Azure Synapse Pipelines

• Orchestrierung der Datenbewegung und -transformation in Azure Data Factory

Modul 10: Optimieren der Abfrageleistung mit dedizierten SQL-Pools in Azure Synapse

• Optimieren der Data-Warehouse-Abfrageleistung in Azure Synapse Analytics
• Verstehen der Data-Warehouse-Entwicklerfunktionen von Azure Synapse Analytics

Modul 11: Analysieren und Optimieren von Data Warehouse-Speicher

• Analysieren und Optimieren von Data Warehouse-Speicher in Azure Synapse Analytics

Modul 12: Hybride transaktionale analytische Verarbeitung (HTAP) mit Azure Synapse Link unterstützen

• Entwerfen Sie hybride transaktionale und analytische Verarbeitung mit Azure Synapse Analytics
• Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
• Abfrage von Azure Cosmos DB mit Apache Spark-Pools
• Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools

Modul 13: End-to-End-Sicherheit mit Azure Synapse Analytics

• Sichern eines Data Warehouse in Azure Synapse Analytics
• Konfigurieren und Verwalten von Secrets in Azure Key Vault
• Implementieren von Compliance-Kontrollen für sensible Daten

Modul 14: Stream-Verarbeitung in Echtzeit mit Stream Analytics

• Ermöglichen Sie zuverlässiges Messaging für Big-Data-Anwendungen mit Azure Event Hubs
• Arbeiten mit Datenströmen mithilfe von Azure Stream Analytics
• Ingest von Datenströmen mit Azure Stream Analytics

Modul 15: Erstellen einer Stream-Verarbeitungslösung mit Event Hubs und Azure Databricks

• Verarbeiten von Streaming-Daten mit Azure Databricks strukturiertem Streaming

Modul 16: Erstellen von Berichten mithilfe der Power BI-Integration mit Azure Synpase Analytics

• Erstellen von Berichten mit Power BI unter Verwendung der Integration mit Azure Synapse Analytics

Modul 17: Integrierte Machine-Learning-Prozesse in Azure Synapse Analytics durchführen

• Verwenden des integrierten maschinellen Lernprozesses in Azure Synapse Analytics