Big Data - Hands On für DWH Integration
Classroom training | German | Claim
Duration of training: 3 days
Objectives
In diesem Kurs erhalten Sie einen Einblick in Lösungsfindung und Umsetzung. Anhand praktischer Aufgabenstellungen diskutieren Sie Möglichkeiten ihrer Bearbeitung und können Erfahrung in der Umsetzung sammeln.
Target audience
- (IT-)Architekten
- (IT-)Entwickler
Requirements
- Praktische Erfahrung in der IT-Informationsverarbeitung
- Grundkenntnisse zu Hadoop
- Anwendung von Programmiersprachen
Agenda
Hadoop-Sandbox
In dem ersten Modul wird die Hadoop-Sandbox vorgestellt und gemeinsam evaluiert.
Überblick Hadoop Distributed File System (HDFS)
Das Kernstück von Hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem. In diesem Abschnitt werden die wichtigsten Elemente für den Datenaustausch mit HDFS evaluiert.
Überblick Sqoop
Sqoop ist ein Werkzeug, um Daten für Hadoop aus einer relationalen Quelle zu entladen oder aus Hadoop in ein RDBMS zu laden.
Import in und Export aus HDFS von Daten unter Verwendung von Sqoop
In diesem Abschnitt evaluieren Sie Im- und Export von Daten aus der Shell sowie den Einsatz von Sqoop für den Datenaustausch mit einer relationalen Datenbank.
Überblick MapReduce
Die Java-basierte Klassenbibliothek für MapReduce ist der Maschinenraum von Hadoop. In diesem Abschnitt erhalten Sie einen Überblick über das von Google eingeführte Programmiermodell für nebenläufige Berechnungen.
Überblick Hive
Mit Hive steht eine Schnittstelle zur Verfügung, die den Zugang zu strukturierten Daten in Hadoop mit einer SQL-ähnlichen Syntax erlaubt.
Anwendung von Hive und anderen Tools für verschiedene Fragestellungen
In diesem Abschnitt evaluieren Sie verschiedene praktische Fragestellungen wie beispielsweise die Verknüpfung mit externen Tabellen oder das Zusammensetzen von Strings.
Überblick Verknüpfung von Daten in Hadoop
Häufig besteht die Anforderung, eine Analyse über unterschiedliche Datenquellen durchzuführen. In diesem Abschnitt lernen Sie verschiedene Möglichkeiten kennen, wie man das in Hadoop realisieren kann.
Anwendung von MapReduce und Hive zur Verknüpfung von Daten
Basierend auf den Ausführungen des vorhergehenden Abschnittes evaluieren Sie verschiedene Datensets in Hadoop miteinander zu verknüpfen.
Anwendung von Sqoop, MapReduce und Hive zur Archivierung von Inhalten nach Hadoop
In diesem Abschnitt wenden Sie Hadoop-Werkzeuge an, um Daten aus einem relationalen System zu archivieren.
Anwendung von Sqoop, MapReduce und Hive zur Auslagerung von ETL-Aktivitäten nach Hadoop
In diesem Abschnitt wird evaluiert, wie ressourcenintensive Abschnitte eines DWH-Bewirtschaftungsprozesses nach Hadoop ausgelagert werden können.
Überblick Test und Optimierung der Lösung in Hadoop
Es wird ein Überblick zum Testen und Optimieren in Hadoop gegeben und welche Werkzeuge dafür zur Verfügung stehen.
Testen und Optimieren der Lösung in Hadoop
In diesem Abschnitt sammeln Sie erste Erfahrungen im Testen und Optimieren der erstellten Lösungen.
Zusammenfassung und Verallgemeinerung
Zum Abschluss werden die Ergebnisse zusammengefasst und die durchgeführten Übungen auf ihre Praxistauglichkeit untersucht sowie ein Vorgehensmodell für die DWH-Integration von Hadoop abgeleitet.
Objectives
In diesem Kurs erhalten Sie einen Einblick in Lösungsfindung und Umsetzung. Anhand praktischer Aufgabenstellungen diskutieren Sie Möglichkeiten ihrer Bearbeitung und können Erfahrung in der Umsetzung sammeln.
Target audience
- (IT-)Architekten
- (IT-)Entwickler
Requirements
- Praktische Erfahrung in der IT-Informationsverarbeitung
- Grundkenntnisse zu Hadoop
- Anwendung von Programmiersprachen
Agenda
Hadoop-Sandbox
In dem ersten Modul wird die Hadoop-Sandbox vorgestellt und gemeinsam evaluiert.
Überblick Hadoop Distributed File System (HDFS)
Das Kernstück von Hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem. In diesem Abschnitt werden die wichtigsten Elemente für den Datenaustausch mit HDFS evaluiert.
Überblick Sqoop
Sqoop ist ein Werkzeug, um Daten für Hadoop aus einer relationalen Quelle zu entladen oder aus Hadoop in ein RDBMS zu laden.
Import in und Export aus HDFS von Daten unter Verwendung von Sqoop
In diesem Abschnitt evaluieren Sie Im- und Export von Daten aus der Shell sowie den Einsatz von Sqoop für den Datenaustausch mit einer relationalen Datenbank.
Überblick MapReduce
Die Java-basierte Klassenbibliothek für MapReduce ist der Maschinenraum von Hadoop. In diesem Abschnitt erhalten Sie einen Überblick über das von Google eingeführte Programmiermodell für nebenläufige Berechnungen.
Überblick Hive
Mit Hive steht eine Schnittstelle zur Verfügung, die den Zugang zu strukturierten Daten in Hadoop mit einer SQL-ähnlichen Syntax erlaubt.
Anwendung von Hive und anderen Tools für verschiedene Fragestellungen
In diesem Abschnitt evaluieren Sie verschiedene praktische Fragestellungen wie beispielsweise die Verknüpfung mit externen Tabellen oder das Zusammensetzen von Strings.
Überblick Verknüpfung von Daten in Hadoop
Häufig besteht die Anforderung, eine Analyse über unterschiedliche Datenquellen durchzuführen. In diesem Abschnitt lernen Sie verschiedene Möglichkeiten kennen, wie man das in Hadoop realisieren kann.
Anwendung von MapReduce und Hive zur Verknüpfung von Daten
Basierend auf den Ausführungen des vorhergehenden Abschnittes evaluieren Sie verschiedene Datensets in Hadoop miteinander zu verknüpfen.
Anwendung von Sqoop, MapReduce und Hive zur Archivierung von Inhalten nach Hadoop
In diesem Abschnitt wenden Sie Hadoop-Werkzeuge an, um Daten aus einem relationalen System zu archivieren.
Anwendung von Sqoop, MapReduce und Hive zur Auslagerung von ETL-Aktivitäten nach Hadoop
In diesem Abschnitt wird evaluiert, wie ressourcenintensive Abschnitte eines DWH-Bewirtschaftungsprozesses nach Hadoop ausgelagert werden können.
Überblick Test und Optimierung der Lösung in Hadoop
Es wird ein Überblick zum Testen und Optimieren in Hadoop gegeben und welche Werkzeuge dafür zur Verfügung stehen.
Testen und Optimieren der Lösung in Hadoop
In diesem Abschnitt sammeln Sie erste Erfahrungen im Testen und Optimieren der erstellten Lösungen.
Zusammenfassung und Verallgemeinerung
Zum Abschluss werden die Ergebnisse zusammengefasst und die durchgeführten Übungen auf ihre Praxistauglichkeit untersucht sowie ein Vorgehensmodell für die DWH-Integration von Hadoop abgeleitet.
