Hadoop Überblick

nicht mehr verfügbar

Classroom Schulung | Deutsch | Anspruch

Schulungsdauer: 2 Tage

Ziele

In diesem Kurs erhalten Sie einen Einblick in Hadoop. Dabei werden Ihnen einzelne Komponenten und ihr Zusammenwirken vorgestellt. Zusätzätzlich werden mögliche Einsatzszenarien skizziert.

Zielgruppe

  • IT-Entscheider
  • (Fach-)Anwender
  • Projektmanager

Voraussetzungen

IT-Grundkenntnisse

Agenda

Einführung

Zu Beginn wird auf die riesigen Datenmengen eingegangen, die durch die Welt bewegt werden und darüber, dass nicht die Speicherung, sondern das Suchen nach die Analyse von Informationen die Herausforderung darstellen und wie die Lösung aussieht.

Hadoop Distributed File System (HDFS)

Das Kernstück von hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem. In diesem Abschnitt werden die wichtigsten Funktierungen von HDFS besprochen. Dazu wird auch die Kommunikation von und mit HDFS demonstriert.

YARN

Die massive Parallelisierung in hadoop erfordert eine leistungsfähige Steuerung. Diese war in der ersten Version limitiert und primär auf MapReduce fokussiert. Die aktuelle Version weist deutliche Verbesserungen auf, die in diesem Abschnitt vorgestellt werden.

MapReduce

Die Java-basierte Klassenbibliothek für MapReduce ist der Maschinenraum von hadoop. In diesem Abschnitt wird das von Google eingeführte Programmiermodell für nebenläufige Berechnungen vorgestellt und eine Anwendung von MapReduce demonstriert.

Hive

Hive ist das Bindeglied zwischen hadoop und einer SQL-ähnlichen Syntax für strukturierte Daten. Es werden die Möglichkeiten und Grenzen von Hive gezeigt und eine Anwendung von Hive demonstriert.

Die Hardware für hadoop

Hadoop stellt keine "besonderen" Hardware-Anforderungen. Das stimmt nur teilweise. In diesem Abschnitt wird der scheinbare Widerspruch aufgeklärt.

Pig

Pig ist ein Mechanismus, um stapelorientierte Datenfluss-Operationen in hadoop auszuführen und wird oft in Verbindung mit Hive eingesetzt. In diesem Abschnitt lernen Sie die Möglichkeiten von Pig kennen. Es wird die Anwendung von Pig demonstriert.

HCatalog

HCatalog ist eine Metadatenverwaltung für strukturierte Daten in hadoop, die von Hive und Pig genutzt wird. Sie lernen, wie man HCatalog erfolgreich einsetzen kann. Dabei wird die Anwendung von HCatalog demonstriert.

HBase

HBase ist eine Datenbank für hadoop, allerdings keine im klassisch relationalen Sinne. In diesem Abschnitt erfahren Sie Wissenswertes über HBase und die möglichen Stolperfallen, die dem in der relationalen Welt erfahrenen Anwender begegnen können. Es wird die Anwendung von HBase demonstriert.

Weitere Komponenten

hadoop ist ein Framework und unter dem Schirm der Apache Foundation existieren eine Vielzahl von Projekten mit zum Teil konkurrierenden Lösungen. In diesem Abschnitt erhalten Sie einen Überblick über weitere interessante Komponenten aus hadoop. Es wird die Anwendung weiterer Komponenten demonstriert.

Anwendungsbeispiele für hadoop

Und wozu der ganze Aufwand? In diesem abschließenden Abschnitt lernen die Teilnehmer mögliche Anwendungsfälle für "Big Data" kennen.

Ziele

In diesem Kurs erhalten Sie einen Einblick in Hadoop. Dabei werden Ihnen einzelne Komponenten und ihr Zusammenwirken vorgestellt. Zusätzätzlich werden mögliche Einsatzszenarien skizziert.

Zielgruppe

  • IT-Entscheider
  • (Fach-)Anwender
  • Projektmanager

Voraussetzungen

IT-Grundkenntnisse

Agenda

Einführung

Zu Beginn wird auf die riesigen Datenmengen eingegangen, die durch die Welt bewegt werden und darüber, dass nicht die Speicherung, sondern das Suchen nach die Analyse von Informationen die Herausforderung darstellen und wie die Lösung aussieht.

Hadoop Distributed File System (HDFS)

Das Kernstück von hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem. In diesem Abschnitt werden die wichtigsten Funktierungen von HDFS besprochen. Dazu wird auch die Kommunikation von und mit HDFS demonstriert.

YARN

Die massive Parallelisierung in hadoop erfordert eine leistungsfähige Steuerung. Diese war in der ersten Version limitiert und primär auf MapReduce fokussiert. Die aktuelle Version weist deutliche Verbesserungen auf, die in diesem Abschnitt vorgestellt werden.

MapReduce

Die Java-basierte Klassenbibliothek für MapReduce ist der Maschinenraum von hadoop. In diesem Abschnitt wird das von Google eingeführte Programmiermodell für nebenläufige Berechnungen vorgestellt und eine Anwendung von MapReduce demonstriert.

Hive

Hive ist das Bindeglied zwischen hadoop und einer SQL-ähnlichen Syntax für strukturierte Daten. Es werden die Möglichkeiten und Grenzen von Hive gezeigt und eine Anwendung von Hive demonstriert.

Die Hardware für hadoop

Hadoop stellt keine "besonderen" Hardware-Anforderungen. Das stimmt nur teilweise. In diesem Abschnitt wird der scheinbare Widerspruch aufgeklärt.

Pig

Pig ist ein Mechanismus, um stapelorientierte Datenfluss-Operationen in hadoop auszuführen und wird oft in Verbindung mit Hive eingesetzt. In diesem Abschnitt lernen Sie die Möglichkeiten von Pig kennen. Es wird die Anwendung von Pig demonstriert.

HCatalog

HCatalog ist eine Metadatenverwaltung für strukturierte Daten in hadoop, die von Hive und Pig genutzt wird. Sie lernen, wie man HCatalog erfolgreich einsetzen kann. Dabei wird die Anwendung von HCatalog demonstriert.

HBase

HBase ist eine Datenbank für hadoop, allerdings keine im klassisch relationalen Sinne. In diesem Abschnitt erfahren Sie Wissenswertes über HBase und die möglichen Stolperfallen, die dem in der relationalen Welt erfahrenen Anwender begegnen können. Es wird die Anwendung von HBase demonstriert.

Weitere Komponenten

hadoop ist ein Framework und unter dem Schirm der Apache Foundation existieren eine Vielzahl von Projekten mit zum Teil konkurrierenden Lösungen. In diesem Abschnitt erhalten Sie einen Überblick über weitere interessante Komponenten aus hadoop. Es wird die Anwendung weiterer Komponenten demonstriert.

Anwendungsbeispiele für hadoop

Und wozu der ganze Aufwand? In diesem abschließenden Abschnitt lernen die Teilnehmer mögliche Anwendungsfälle für "Big Data" kennen.

Tags