MapReduce - Vertiefung

Objectives

In diesem Vertiefungs-Workshop lernt der Teilnehmer den grundsätzlichen Umgang mit MapReduce anhand praktischer, aufeinander aufsetzenden Übungen.

Target audience

(IT-)Architekt, (IT-)Entwickler

Requirements

Praktische Erfahrung in der IT-Informationsverarbeitung erforderlich. Linux-Grundkenntnisse sowie Grundkenntnisse über „Big Data“ und Hadoop. Idealerweise ist das Seminar Hadoop Überblick absolviert worden.

Agenda

Einführung (ca. 60 Minuten)
In diesem Abschnitt wird der zur Verfügung stehende Hadoop-Cluster auf Basis HortonWorks HDP mit vier Knoten vorgestellt.

MapReduce im Detail (ca. 60 Minuten)
In diesem Abschnitt wird MapReduce im Detail vorgestellt.

HandsOn: Aufgabenstellung und Datenbereitstellung (ca. 60 Minuten)
In diesem Abschnitt wird die Problemstellung für die folgenden Übungen erläutert sowie die zugrundeliegenden Daten evaluiert.

HandsOn: Mapper-Programm für Aufgabenstellung (ca. 60 Minuten)
Die Teilnehmer erstellen ein Mapper-Programm für die Aufgabenstellung.

HandsOn: Reducer-Programm für Aufgabenstellung (ca. 60 Minuten)
Die Teilnehmer erstellen ein Reducer-Programm für die Aufgabenstellung

HandsOn: MapReduce-Job für Aufgabenstellung (ca. 60 Minuten)
Die Teilnehmer erstellen eine Job zur Ausführung des Mapper- und Reducer-Programms.

HandsOn: Testen der Lösung (ca. 60 Minuten)
In diesem Abschnitt wird gezeigt, wie man die erstellte Lösung testen kann.

HandsOn: Optimierungsmöglichkeiten für Aufgabenstellung (ca. 60 Minuten)
Die Teilnehmer lernen Ansätze zur möglichen Optimierung der Lösung kennen.

HandsOn: Konfigurationsmöglichkeiten (ca. 60 Minuten)
In diesem Abschnitt lernen die Teilnehmer die wichtigsten Konfigurationsmöglichkeiten für die Ausführung von MapReduce-Programmen in hadoop kennen und setzen diese in einem Beispiel um.

HandsOn: Protokollierungsmöglichkeiten (ca. 60 Minuten)
In diesem Abschnitt lernen die Teilnehmer die wichtigsten Protokollierungsmöglichkeiten für die Ausführung von MapReduce-Programmen in hadoop kennen und nutzen diese in einem Beispiel.

HandsOn: Streaming (ca. 60 Minuten)
Hadoop stellt ein Interface zur Verfügung, mit dem Map- und Reduce-Funktionen in anderen Programmiersprachen erstellt werden können. Diese Übung demonstriert die Nutzung dieses APIs.

HandsOn: Komplexe Aufgabenstellung (ca. 180 Minuten)
Die Teilnehmer bearbeiten eigenständig eine vollständige Aufgabenstellung.

Zusammenfassung (ca. 60 Minuten)
Zum Abschluss werden die Ergebnisse zusammengefasst und die durchgeführten Übungen auf ihre Praxistauglichkeit bewertet.