DP-203 Data Engineering on Microsoft Azure (DP-203T00)
Classroom Schulung | Deutsch | Anspruch
Schulungsdauer: 4 Tage Durchführung gesichert
Ziele
In diesem Kurs lernen die Teilnehmer die Data-Engineering-Muster und -Praktiken kennen, die sich auf die Arbeit mit Batch- und Echtzeit-Analyselösungen unter Verwendung von Azure-Datenplattformtechnologien beziehen. Die Teilnehmer beginnen mit dem Verständnis der zentralen Rechen- und Speichertechnologien, die zum Aufbau einer analytischen Lösung verwendet werden. Sie werden dann untersuchen, wie man eine analytische Serving-Schicht entwirft und sich auf Data-Engineering-Überlegungen für die Arbeit mit Quelldateien konzentrieren. Die Teilnehmer lernen, wie man interaktiv in Dateien gespeicherte Daten in einem Data Lake untersucht. Sie lernen die verschiedenen Ingestion-Techniken kennen, die zum Laden von Daten mit der Apache Spark-Funktion in Azure Synapse Analytics oder Azure Databricks verwendet werden können, oder wie man mit Azure Data Factory oder Azure Synapse-Pipelines ingestiert. Die Teilnehmer lernen auch die verschiedenen Möglichkeiten kennen, wie sie die Daten mit denselben Technologien transformieren können, die für das Ingest der Daten verwendet werden. Die Kursteilnehmer lernen, wie sie die Leistung von Analysesystemen überwachen und analysieren können, um die Leistung von Datenlasten oder Abfragen, die gegen die Systeme ausgegeben werden, zu optimieren. Sie werden verstehen, wie wichtig die Implementierung von Sicherheit ist, um sicherzustellen, dass die Daten im Ruhezustand oder bei der Übertragung geschützt sind. Der Kursteilnehmer wird dann zeigen, wie die Daten in einem analytischen System verwendet werden können, um Dashboards zu erstellen oder Vorhersagemodelle in Azure Synapse Analytics zu erstellen.
Zielgruppe
- Business-Intelligence-Experten
- Datenanalysten
- Datenarchitekten
- Datenexperten
Voraussetzungen
- AZ-900 - Azure Fundamentals
- DP-900 - Microsoft Azure Data Fundamentals
Agenda
Modul 1: Rechen- und Speicheroptionen für Data-Engineering-Workloads
- Einführung in Azure Synapse Analytics
- Erläuterung von Azure Databricks
- Erläuterung in Azure Data Lake-Speicher
- Beschreiben der Delta Lake-Architektur
- Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics
Modul 2: Design und Implementierung der Serving Layer
- Entwerfen eines multidimensionalen Schemas zur Optimierung analytischer Arbeitslasten
- Codefreie Transformation im Maßstab mit Azure Data Factory
- Befüllen von sich langsam ändernden Dimensionen in Azure Synapse Analytics-Pipelines
Modul 3: Data-Engineering-Überlegungen für Quelldateien
- Entwerfen eines modernen Data Warehouse mit Azure Synapse Analytics
- Sichern eines Data Warehouse in Azure Synapse Analytics
Modul 4: Interaktive Abfragen mit Azure Synapse Analytics serverlosen SQL-Pools ausführen
- Möglichkeiten von Azure Synapse Serverless SQL Pools
- Abfragen von Daten im Lake mit Azure Synapse Serverless SQL Pools
- Erstellen von Metadatenobjekten in Azure Synapse Serverless SQL Pools
- Sichern von Daten und Verwalten von Benutzern in Azure Synapse Serverless SQL Pools
Modul 5: Analysieren, Transformieren und Laden von Daten in das Data Warehouse mit Apache Spark
- Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
- Einlesen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
- Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
- Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics
Modul 6: Datenexploration und -transformation in Azure Databricks
- Beschreibung von Azure Databricks
- Lesen und Schreiben von Daten in Azure Databricks
- Arbeiten mit DataFrames in Azure Databricks
- Arbeiten mit DataFrames fortgeschrittene Methoden in Azure Databricks
Modul 7: Daten in das Data Warehouse aufnehmen und laden
- Vewenden von Best Practices zum Laden von Daten in Azure Synapse Analytics
- Ingestion im Petabyte-Bereich mit Azure Data Factory
Modul 8: Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines
- Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
- Codefreie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines
Modul 9: Orchestrierung der Datenbewegung und -transformation in Azure Synapse Pipelines
- Orchestrierung der Datenbewegung und -transformation in Azure Data Factory
Modul 10: Optimieren der Abfrageleistung mit dedizierten SQL-Pools in Azure Synapse
- Optimieren der Data-Warehouse-Abfrageleistung in Azure Synapse Analytics
- Verstehen der Data-Warehouse-Entwicklerfunktionen von Azure Synapse Analytics
Modul 11: Analysieren und Optimieren von Data Warehouse-Speicher
- Analysieren und Optimieren von Data Warehouse-Speicher in Azure Synapse Analytics
Modul 12: Hybride transaktionale analytische Verarbeitung (HTAP) mit Azure Synapse Link unterstützen
- Entwerfen Sie hybride transaktionale und analytische Verarbeitung mit Azure Synapse Analytics
- Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
- Abfrage von Azure Cosmos DB mit Apache Spark-Pools
- Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools
Modul 13: End-to-End-Sicherheit mit Azure Synapse Analytics
- Sichern eines Data Warehouse in Azure Synapse Analytics
- Konfigurieren und Verwalten von Secrets in Azure Key Vault
- Implementieren von Compliance-Kontrollen für sensible Daten
Modul 14: Stream-Verarbeitung in Echtzeit mit Stream Analytics
- Ermöglichen Sie zuverlässiges Messaging für Big-Data-Anwendungen mit Azure Event Hubs
- Arbeiten mit Datenströmen mithilfe von Azure Stream Analytics
- Ingest von Datenströmen mit Azure Stream Analytics
Modul 15: Erstellen einer Stream-Verarbeitungslösung mit Event Hubs und Azure Databricks
- Verarbeiten von Streaming-Daten mit Azure Databricks strukturiertem Streaming
Modul 16: Erstellen von Berichten mithilfe der Power BI-Integration mit Azure Synpase Analytics
- Erstellen von Berichten mit Power BI unter Verwendung der Integration mit Azure Synapse Analytics
Modul 17: Integrierte Machine-Learning-Prozesse in Azure Synapse Analytics durchführen
- Verwenden des integrierten maschinellen Lernprozesses in Azure Synapse Analytics
Ziele
In diesem Kurs lernen die Teilnehmer die Data-Engineering-Muster und -Praktiken kennen, die sich auf die Arbeit mit Batch- und Echtzeit-Analyselösungen unter Verwendung von Azure-Datenplattformtechnologien beziehen. Die Teilnehmer beginnen mit dem Verständnis der zentralen Rechen- und Speichertechnologien, die zum Aufbau einer analytischen Lösung verwendet werden. Sie werden dann untersuchen, wie man eine analytische Serving-Schicht entwirft und sich auf Data-Engineering-Überlegungen für die Arbeit mit Quelldateien konzentrieren. Die Teilnehmer lernen, wie man interaktiv in Dateien gespeicherte Daten in einem Data Lake untersucht. Sie lernen die verschiedenen Ingestion-Techniken kennen, die zum Laden von Daten mit der Apache Spark-Funktion in Azure Synapse Analytics oder Azure Databricks verwendet werden können, oder wie man mit Azure Data Factory oder Azure Synapse-Pipelines ingestiert. Die Teilnehmer lernen auch die verschiedenen Möglichkeiten kennen, wie sie die Daten mit denselben Technologien transformieren können, die für das Ingest der Daten verwendet werden. Die Kursteilnehmer lernen, wie sie die Leistung von Analysesystemen überwachen und analysieren können, um die Leistung von Datenlasten oder Abfragen, die gegen die Systeme ausgegeben werden, zu optimieren. Sie werden verstehen, wie wichtig die Implementierung von Sicherheit ist, um sicherzustellen, dass die Daten im Ruhezustand oder bei der Übertragung geschützt sind. Der Kursteilnehmer wird dann zeigen, wie die Daten in einem analytischen System verwendet werden können, um Dashboards zu erstellen oder Vorhersagemodelle in Azure Synapse Analytics zu erstellen.
Zielgruppe
- Business-Intelligence-Experten
- Datenanalysten
- Datenarchitekten
- Datenexperten
Voraussetzungen
- AZ-900 - Azure Fundamentals
- DP-900 - Microsoft Azure Data Fundamentals
Agenda
Modul 1: Rechen- und Speicheroptionen für Data-Engineering-Workloads
- Einführung in Azure Synapse Analytics
- Erläuterung von Azure Databricks
- Erläuterung in Azure Data Lake-Speicher
- Beschreiben der Delta Lake-Architektur
- Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics
Modul 2: Design und Implementierung der Serving Layer
- Entwerfen eines multidimensionalen Schemas zur Optimierung analytischer Arbeitslasten
- Codefreie Transformation im Maßstab mit Azure Data Factory
- Befüllen von sich langsam ändernden Dimensionen in Azure Synapse Analytics-Pipelines
Modul 3: Data-Engineering-Überlegungen für Quelldateien
- Entwerfen eines modernen Data Warehouse mit Azure Synapse Analytics
- Sichern eines Data Warehouse in Azure Synapse Analytics
Modul 4: Interaktive Abfragen mit Azure Synapse Analytics serverlosen SQL-Pools ausführen
- Möglichkeiten von Azure Synapse Serverless SQL Pools
- Abfragen von Daten im Lake mit Azure Synapse Serverless SQL Pools
- Erstellen von Metadatenobjekten in Azure Synapse Serverless SQL Pools
- Sichern von Daten und Verwalten von Benutzern in Azure Synapse Serverless SQL Pools
Modul 5: Analysieren, Transformieren und Laden von Daten in das Data Warehouse mit Apache Spark
- Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
- Einlesen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
- Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
- Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics
Modul 6: Datenexploration und -transformation in Azure Databricks
- Beschreibung von Azure Databricks
- Lesen und Schreiben von Daten in Azure Databricks
- Arbeiten mit DataFrames in Azure Databricks
- Arbeiten mit DataFrames fortgeschrittene Methoden in Azure Databricks
Modul 7: Daten in das Data Warehouse aufnehmen und laden
- Vewenden von Best Practices zum Laden von Daten in Azure Synapse Analytics
- Ingestion im Petabyte-Bereich mit Azure Data Factory
Modul 8: Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines
- Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
- Codefreie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines
Modul 9: Orchestrierung der Datenbewegung und -transformation in Azure Synapse Pipelines
- Orchestrierung der Datenbewegung und -transformation in Azure Data Factory
Modul 10: Optimieren der Abfrageleistung mit dedizierten SQL-Pools in Azure Synapse
- Optimieren der Data-Warehouse-Abfrageleistung in Azure Synapse Analytics
- Verstehen der Data-Warehouse-Entwicklerfunktionen von Azure Synapse Analytics
Modul 11: Analysieren und Optimieren von Data Warehouse-Speicher
- Analysieren und Optimieren von Data Warehouse-Speicher in Azure Synapse Analytics
Modul 12: Hybride transaktionale analytische Verarbeitung (HTAP) mit Azure Synapse Link unterstützen
- Entwerfen Sie hybride transaktionale und analytische Verarbeitung mit Azure Synapse Analytics
- Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
- Abfrage von Azure Cosmos DB mit Apache Spark-Pools
- Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools
Modul 13: End-to-End-Sicherheit mit Azure Synapse Analytics
- Sichern eines Data Warehouse in Azure Synapse Analytics
- Konfigurieren und Verwalten von Secrets in Azure Key Vault
- Implementieren von Compliance-Kontrollen für sensible Daten
Modul 14: Stream-Verarbeitung in Echtzeit mit Stream Analytics
- Ermöglichen Sie zuverlässiges Messaging für Big-Data-Anwendungen mit Azure Event Hubs
- Arbeiten mit Datenströmen mithilfe von Azure Stream Analytics
- Ingest von Datenströmen mit Azure Stream Analytics
Modul 15: Erstellen einer Stream-Verarbeitungslösung mit Event Hubs und Azure Databricks
- Verarbeiten von Streaming-Daten mit Azure Databricks strukturiertem Streaming
Modul 16: Erstellen von Berichten mithilfe der Power BI-Integration mit Azure Synpase Analytics
- Erstellen von Berichten mit Power BI unter Verwendung der Integration mit Azure Synapse Analytics
Modul 17: Integrierte Machine-Learning-Prozesse in Azure Synapse Analytics durchführen
- Verwenden des integrierten maschinellen Lernprozesses in Azure Synapse Analytics