Hortonworks - Anwendungsentwicklung mit Java

Ziele

In diesem Kurs lernen Sie den Entwurf und die Entwicklung effizienter und effektiver MapReduce-Anwendungen für Hadoop auf Basis von Hortonworks.

Zielgruppe

Java Entwickler, die MapReduce-Anwendungen für Hadoop entwickeln möchten

Voraussetzungen

• Erfahrung in der Entwicklung von Anwendungen mit einer Java IDE, z. b. Gradle
• Hadoop Kenntnisse sind vorteilhaft

Agenda

• Konfiguration einer Hadoop Entwicklungsumgebung
• Laden von Daten in das HDFS mittels Java
• Entwicklung einer distributed grep MapReduce Anwendung und einer invertierten Index MapReduce-Anwendung
• Konfiguration eines Combiners
• Benutzerdefinierte Combine
• Sortierte Ausgabe mit dem TotalOrderPartitioner
• Erstellung eines MapReduce Jobs zur Datensortierung nach einem zusammengesetzten Schlüssel
• Benutzerdefinierte Eingabeformat-Klassen und Ausgabeformat-Klassen
• Datenkompression
• RawComparator
• Map-side join
• Bloom Filter
• Unit Testing
• Import von Daten in HBase
• Entwicklung eines HBase MapReduce Jobs
• Benutzerdefinierte Funktionen
  • Pig-Funktionen
  • Hive-Funktionen
• Oozie Workflow