Entwicklung mit Hadoop

Objectives

In dieser Schulung erhalten Sie eine allgemeine Einführung in die Verwendung der wichtigsten Bestandteile von Hadoop. Hierbei werden zunächst die für das Gesamtverständnis relevanten Grundlagen wie der Aufbau des Hadoop-Clusters und dessen Einsatzbereiche theoretisch erläutert. Anschließend lernen die TeilnehmerInnen die wichtigsten Hadoop-Komponenten wie Pig und Hive kennen und erfahren, wie mit Oozie auf mehreren Komponenten basierende logische Datenverarbeitungsabläufe erstellt werden können. Danach lösen sie eigenständig praktische Aufgaben mit der jeweiligen Komponente. Zum Abschluss der Schulung werden die gelernten Inhalte zusammengefasst und die TeilnehmerInnen haben die Möglichkeit, spezifische Fragestellungen anzusprechen.

Insgesamt werden die TeilnehmerInnen soweit vorbereitet, dass sie mit den Kenntnissen dieser Schulung den Aufbau des Hadoop-Frameworks verstehen und grundlegende Datenverarbeitungsaufgaben mit dem Framework umsetzen können. Um Kenntnisse in bestimmten Unterbereichen des Hadoop-Frameworks zu vertiefen können nach diesem Seminar unsere weiterführenden Hadoop-Schulungen zu unterschiedlichen Themen für Entwickler besucht werden. Hierzu zählen z.B. die Vertiefungsschulungen für die Arbeit mit Pig und Hive.

Target audience

• Softwareentwickler
• Datenbankentwickler

Requirements

• IT-Grundkenntnisse
• Grundkenntnisse in mindestens einer Programmiersprache (idealerweise Java)
• SQL-Kenntnisse

Agenda

Theoretischer Teil

• Sinn und Zweck von Hadoop
• Einordnung von Hadoop in der NoSQL-Landschaft
• Sinnvolle Einsatzszenarien
• Geschichte und Vorstellung von Hadoop-Distributoren
• Grundlagen zum Aufbau eines Hadoop-Clusters
• Grundlagen des HDFS-Dateisystems

Praktischer Teil

• Aufsetzen der Hortonworks-Sandbox
• Starten von MapReduce-Jobs
• Programmieren mit Pig
• Programmieren mit Hive
• Verwendung von Sqoop
• Verwendung von Oozie

Abschluss

• Zusammenfassung
• Ausblick
• Fragen und Antworten