Hadoop Installation

Objectives

In diesem Kurs wird die Installation eines Hadoop-Clusters des Distributors HortonWorks durchgeführt. Der Fokus liegt auf dem Installations- sowie Verwaltungswerkzeug „Ambari“. Auf Anfrage können alternative Installationen (Cloudera CDH, HortonWorks HDP on Windows) konfiguriert werden.

Target audience

• Administratoren
• Betreiber

Requirements

• Grundkenntnisse zu Linux-Grundkenntnisse
• Grundkenntnisse über "Big Data" und Hadoop
• Hadoop Überblick ist vorteilhaft

Agenda

Einführung

Sie lernen die Installation eines Hadoop-Clusters kennen.

Architektur eines Hadoop-Clusters

Es wird die Architektur eines Hadoop-Clusters erläutert sowie sowie einige Empfehlungen für die Aufteilung der einzelnen Dienste.

Sizing eines Hadoop-Clusters

Die Anzahl der Systeme für einen Hadoop-Cluster und die einzelnen Dimensionierungen der Systeme muss anhand der von der Menge der zu verarbeitenden Daten sowie der Art der Verarbeitung geplant werden. Es werden Eckpunkte benannt und beispielhafte Abschätzungen durchgeführt.

Bereitstellung von Software-Komponenten

Der Hadoop-Cluster wird auf Basis CentOS 7.x installiert, welches bereitgestellt wird. Zu den Vorbereitungen gehört eine Reihe von Anpassungen im Linux-Betriebssystem, die hier absolviert werden.

Ambari-Servers installieren und einrichten

Für die Installation des Clusters wird eine zentrale Server-Komponente benötigt, die die erforderlichen Installationsschritte absolviert. Der Server wird installiert, eingerichtet und die erforderlichen Repositories werden angelegt.

Basisinstallation des Hadoop-Clusters

Die Basisinstallation umfasst das verteilte Dateisystem, den Ressourcen-Manager YARN mit MapReduce sowie die Prozess-Steuerung ZooKeeper. Damit steht ein funktionsfähiger Hadoop-Cluster zur Verfügung.

Installation des Hadoop-Clusters testen

Obwohl Smoke-Tests Bestandteil des Installationsablaufes mit Ambari sind, können weitere Tests helfen, die Leistungsfähigkeit des Clusters zu bewerten. In diesem Abschnitt lernen die Teilnehmer verschiedene Test-Szenarien kennen.

Installation von weiteren Komponenten

In diesem Abschnitt werden ausgewählte Erweiterungen für die Verarbeitung strukturierter Daten behandelt.