Hadoop & Hive – Vertiefung

Ziele

Sie lernen den Umgang mit Hive anhand praktischer, aufeinander aufsetzenden Übungen.

Zielgruppe

• IT-Architekten
• IT-Entwickler

Voraussetzungen

Praktische Erfahrung in der IT-Informationsverarbeitung erforderlich. Linux-Grundkenntnisse sowie Grundkenntnisse über „Big Data“ und Hadoop. Idealerweise ist das Seminar Hadoop Überblick absolviert worden.

Agenda

Einführung (ca. 60 Minuten)
In diesem Abschnitt wird der zur Verfügung stehende Hadoop-Cluster auf Basis HortonWorks HDP mit vier Knoten vorgestellt.

Hive im Detail (ca. 60 Minuten)
In diesem Abschnitt wird Hive im Detail vorgestellt.

HandsOn: Das Kommandozeilen-Interface (CLI) für Hive (ca. 60 Minuten)
Die Teilnehmer evaluieren in diesem Abschnitt die Möglichkeiten der Kommandozeilen-Eingabe für Hive.

HandsOn: Strukturen und Datentypen in Hive (ca. 60 Minuten)
Datenstrukturen und Datentypen bilden eine wichtige Grundlage für Hive. Die Teilnehmer evaluieren die wichtigsten Bestandteile.

HandsOn: Datendefinitionen in HiveQL (ca. 60 Minuten)
In diesem Abschnitt lernen die Teilnehmer die Möglichkeiten der Datendefinitionen in Hive kennen. Die Teilnehmer definieren Strukturen mittels HiveQL.

HandsOn: Datenmanipulation in HiveQL (ca. 60 Minuten)
Dieser Abschnitt fokussiert auf die Manipulation von Daten mittels HiveQL. Die Teilnehmer laden Daten in Hive-Tabellen und exportieren Dateninhalte.

HandsOn: Abfragen in HiveQL (ca. 60 Minuten)
In diesem Abschnitt evaluieren die Teilnehmer die Möglichkeiten zur Datenabfrage in HiveQL.

HandsOn: Performanceaspekte in HiveQL (ca. 60 Minuten)
In diesem Abschnitt werden verschiedene Aspekte diskutiert, die Einfluss auf die Performance haben. Die Teilnehmer lernen Ansätze zur Optimierung von Strukturen, Unterschiede in der Ausführung von Abfragen sowie die Möglichkeiten der Indizierung kennen.

HandsOn: Hive-Funktionen (ca. 60 Minuten)
HiveQL verfügt über ein reichhaltiges Set von Funktionen. Die Teilnehmer erkunden die Möglichkeiten und lernen, wie eigene Funktionen erstellt werden können.

HandsOn: Security in Hive (ca. 60 Minuten)
Dieser Abschnitt erläutert das Security-Konzept in der aktuellen Hive-Version. Die Teilnehmer lernen die Möglichkeiten der Authentifizierung und Autorisierung kennen und evaluieren die Zuweisung oder Ablehnung von Rechten.

HandsOn: Komplexe Aufgabenstellung (ca. 180 Minuten)
Die Teilnehmer bearbeiten eigenständig eine vollständige Aufgabenstellung.

Zusammenfassung (ca. 60 Minuten)
Zum Abschluss werden die Ergebnisse zusammengefasst und die durchgeführten Übungen auf ihre Praxistauglichkeit bewertet.