Hortonworks - Anwendungsentwicklung mit Java

Classroom Schulung | deutsch | Anspruch

Schulungsdauer: 3 Tage

Ziele

In diesem Kurs lernen Sie den Entwurf und die Entwicklung effizienter und effektiver MapReduce-Anwendungen für Hadoop auf Basis von Hortonworks.

Zielgruppe

Java Entwickler, die MapReduce-Anwendungen für Hadoop entwickeln möchten

Voraussetzungen

  • Erfahrung in der Entwicklung von Anwendungen mit einer Java IDE, z. b. Gradle
  • Hadoop Kenntnisse sind vorteilhaft

Agenda

  • Konfiguration einer Hadoop Entwicklungsumgebung
  • Laden von Daten in das HDFS mittels Java
  • Entwicklung einer distributed grep MapReduce Anwendung und einer invertierten Index MapReduce-Anwendung
  • Konfiguration eines Combiners
  • Benutzerdefinierte Combine
  • Sortierte Ausgabe mit dem TotalOrderPartitioner
  • Erstellung eines MapReduce Jobs zur Datensortierung nach einem zusammengesetzten Schlüssel
  • Benutzerdefinierte Eingabeformat-Klassen und Ausgabeformat-Klassen
  • Datenkompression
  • RawComparator
  • Map-side join
  • Bloom Filter
  • Unit Testing
  • Import von Daten in HBase
  • Entwicklung eines HBase MapReduce Jobs
  • Benutzerdefinierte Funktionen
    • Pig-Funktionen
    • Hive-Funktionen
  • Oozie Workflow

Ziele

In diesem Kurs lernen Sie den Entwurf und die Entwicklung effizienter und effektiver MapReduce-Anwendungen für Hadoop auf Basis von Hortonworks.

Zielgruppe

Java Entwickler, die MapReduce-Anwendungen für Hadoop entwickeln möchten

Voraussetzungen

  • Erfahrung in der Entwicklung von Anwendungen mit einer Java IDE, z. b. Gradle
  • Hadoop Kenntnisse sind vorteilhaft

Agenda

  • Konfiguration einer Hadoop Entwicklungsumgebung
  • Laden von Daten in das HDFS mittels Java
  • Entwicklung einer distributed grep MapReduce Anwendung und einer invertierten Index MapReduce-Anwendung
  • Konfiguration eines Combiners
  • Benutzerdefinierte Combine
  • Sortierte Ausgabe mit dem TotalOrderPartitioner
  • Erstellung eines MapReduce Jobs zur Datensortierung nach einem zusammengesetzten Schlüssel
  • Benutzerdefinierte Eingabeformat-Klassen und Ausgabeformat-Klassen
  • Datenkompression
  • RawComparator
  • Map-side join
  • Bloom Filter
  • Unit Testing
  • Import von Daten in HBase
  • Entwicklung eines HBase MapReduce Jobs
  • Benutzerdefinierte Funktionen
    • Pig-Funktionen
    • Hive-Funktionen
  • Oozie Workflow

Tags

Diese Seite weiterempfehlen