Hadoop in der Cloud

Objectives

In diesem Kurs erhalten Sie einen Einblick in die Nutzung von Hadoop in der Cloud und in unterschiedliche Möglichkeiten, die von verschiedenen Cloudbetreibern angeboten werden.

Weiterer Kursinfos:

• Schwierigkeitsgrad: 200
• Darreichung: PowerPoint-Präsentation, Live-Demo.
• Materialien: Präsentation in elektronischer Form (Format .PDF)
• Credits: Nein (Credits für die Zertifizierung)

Target audience

• Entscheider
• (IT-)Architekt
• Projektmanager
• Administratoren

Requirements

Praktische Erfahrung in der IT-Informationsverarbeitung sowie Grundkenntnisse über Big Data und Hadoop erforderlich.

Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:

1) Einstiegs-Seminare (Schwierigkeitsgrad 100)

a. Big Data Einstieg
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg

Folgende Kurse können darüber hinaus dieses Angebot ergänzen:

2) Überblicks-Seminare (Schwierigkeitsgrad 200)

a. Hadoop Datentechnologien Überblick
b. Big Data Architekturen Überblick

Agenda

Überblick Hadoop-Distributionen von Cloudera und Hortonworks

Das Seminar startet mit einem kurzen Überblick zu den einzelnen Komponenten des Hadoop-Frameworks, ihrem aktuellen Entwicklungsstand und Ihrem Status in den beiden wichtigsten Hadoop-Distributionen von Cloudera und Hortonworks. In einer Übersicht werden die beiden Hadoop-Distributionen gegenübergestellt und herausgearbeitet, worin die Vor- und Nachteile der einzelnen Angebote bestehen.

Cloud ungleich Cloud

Die großen Cloudanbieter wie Amazon und Microsoft bieten verschiedene Service-Modelle an. Hier sind insbesondere "IaaS (Infrastructure as a Service)" und "PaaS (Plattform as a Service)" zu nennen. In diesem Abschnitt werden die unterschiedlichen Modelle erläutert und gezeigt, wie sich diese für einen Hadoop-Cluster darstellen lassen.

Sizing eines Hadoop-Clusters

Falls der Cluster in der Cloud eigenständig aufgesetzt werden soll, ist ein Sizing erforderlich. Das Sizing eines Hadoop-Clusters wird im Wesentlichen von der Menge der zu speichernden Daten und des für die einzelnen Komponenten benötigten Hauptspeichers bestimmt. Daraus lässt sich die Zahl der benötigten Data Nodes und die Größe ihres nichtflüchtigen Speichers ableiten. Die Verteilung weiterer Komponenten des Frameworks auf diese und/oder zusätzliche Nodes gestattet eine Abschätzung des benötigten Hauptspeichers. Das Sizing wird beispielhaft anhand eines Template demonstriert.

Hadoop in der Amazon-Cloud (AWS)

In diesem Abschnitt wird das Angebot von Amazon näher betrachtet und welche Möglichkeiten für die Nutzung der Distributionen von Cloudera und Hortonworks in der Amazon-Cloud bestehen (IaaS und PaaS). Die Einrichtung und Nutzung eines Hadoop-Clusters in der Amazon-Cloud wird demonstriert. Dabei wird auch gezeigt, wie die Sizing-Informationen in entsprechende Maschinenklassen umgesetzt werden können.

Hadoop in der Microsoft-Cloud (Microsoft Azure)

In diesem Abschnitt wird das Angebot von Microsoft näher betrachtet und welche Möglichkeiten für die Nutzung der Distributionen von Cloudera und Hortonworks in der Microsoft-Cloud bestehen (IaaS und PaaS). Die Einrichtung und Nutzung eines Hadoop-Clusters in der Microsoft-Cloud wird demonstriert. Dabei werden auch gezeigt, wie die Sizing-Informationen in entsprechende Maschinenklassen umgesetzt werden können.

Pros und Cons für die Cloud Nutzung

Hadoop ist originär mit dem Fokus auf den Betrieb im Rechenzentrum entwickelt worden. Zwar kann ein Hadoop-Cluster mittlerweile mit passabler Performance in einer virtualisierten Umgebung betrieben werden, aber die Nutzung in der Cloud hat neben unbestreitbaren Vorteilen durchaus auch einige Schwachpunkte. Es werden die Vor- und Nachteile der Nutzung in der Cloud im Vergleich zum Betrieb im Rechenzentrum gegenübergestellt.