Big Data - Hands On für Data Analytics

Classroom Schulung | Deutsch | Anspruch

Schulungsdauer: 3 Tage

Ziele

In diesem Hands On Workshop steht die Lösungsfindung und ihre Umsetzung im Vordergrund. Anhand praktischer Aufgabenstellungen diskutieren Sie Möglichkeiten ihrer Bearbeitung und sammeln Erfahrungen in der Umsetzung. Die erzielten Ergebnisse und gewonnenen Erfahrungen werden verallgemeinert.

Zielgruppe

  • (IT-)Architekten
  • (IT-)Entwickler

Voraussetzungen

  • Praktische Erfahrung in der IT-Informationsverarbeitung
  • Grundkenntnisse zu Hadoop
  • Anwendung von Programmiersprachen

Agenda

Hadoop-Sandbox

In dem ersten Modul wird die Hadoop-Sandbox vorgestellt und gemeinsam evaluiert.

Überblick Hadoop Distributed File System (HDFS)

Das Kernstück von Hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem. In diesem Abschnitt werden die wichtigsten Elemente für den Datenaustausch mit HDFS evaluiert.

Überblick Sqoop

Sqoop ist ein Werkzeug, um Daten für Hadoop aus einer relationalen Quelle zu entladen oder aus hadoop in ein RDBMS zu laden. In diesem Abschnitt erhalten Sie einen Überblick zu sqoop.

Import in und Export aus HDFS von Daten unter Verwendung von Sqoop

In diesem Abschnitt evaluieren Sie Im- und Export von Daten aus der Shell sowie den Einsatz von Sqoop für den Datenaustausch mit einer relationalen Datenbank.

Überblick MapReduce

Die Java-basierte Klassenbibliothek für MapReduce ist der Maschinenraum von Hadoop. In diesem Abschnitt erhalten Sie einen Überblick über das von Google eingeführte Programmier-modell für nebenläufige Berechnungen.

Transformation von Logdateien unter Anwendung von MapReduce

In diesem Abschnitt evaluieren Sie die Anwendung von MapReduce, um Logdateien aufzubereiten.

Überblick Pig

Pig ist ein Mechanismus, um stapelorientierte Datenfluss-Operationen in Hadoop auszuführen.

Filtern und Sortieren von Logdaten unter Anwendung von Pig

In diesem Abschnitt evaluieren Sie die Anwendung von Pig, um beispielsweise den bot-Traffic aus den Logdateien zu entfernen und die Daten chronologisch zu sortieren.

Überblick Hive

Mit Hive steht eine Schnittstelle zur Verfügung, die den Zugang zu strukturierten Daten in Hadoop mit einer SQL-ähnlichen Syntax erlaubt.

Anwendung von Hive und anderen Tools für verschiedene Fragestellungen

In diesem Abschnitt evaluieren Sie verschiedene praktische Fragestellungen wie beispielsweise die Verknüpfung mit externen Tabellen oder das Zusammensetzen von Strings.

Überblick Verknüpfung von Daten in Hadoop

Häufig besteht die Anforderung, eine Analyse über unterschiedliche Datenquellen durchzuführen. Hier lernen Sie verschiedene Möglichkeiten kennen, wie man das in Hadoop realisieren kann.

Anwendung von MapReduce, Pig und Hive zur Verknüpfung von Daten

Basierend auf den Ausführungen des vorhergehenden Abschnittes evaluieren Sie, wie man verschiedene Datensets in Hadoop miteinander verknüpft.

Anwendung von MapReduce, Pig und Hive zur Analyse von Daten

In diesem Abschnitt setzen Sie die Werkzeuge von Hadoop ein, um verschiedene praktische Fragestellungen zu beantworten.

Überblick Test und Optimierung der Lösung in Hadoop

Es wird ein Überblick über Testen und Optimieren in Hadoop gegeben und welche Werkzeuge dafür zur Verfügung stehen.

Testen und Optimieren der Lösung in Hadoop

In diesem Abschnitt sammeln Sie erste Erfahrungen im Testen und Optimieren der erstellten Lösungen.

Zusammenfassung und Verallgemeinerung

Zum Abschluss werden die Ergebnisse zusammengefasst und die durchgeführten Übungen auf ihre Praxistauglichkeit untersucht sowie ein Vorgehensmodell für die Datenanalyse mit Hadoop abgeleitet.

Ziele

In diesem Hands On Workshop steht die Lösungsfindung und ihre Umsetzung im Vordergrund. Anhand praktischer Aufgabenstellungen diskutieren Sie Möglichkeiten ihrer Bearbeitung und sammeln Erfahrungen in der Umsetzung. Die erzielten Ergebnisse und gewonnenen Erfahrungen werden verallgemeinert.

Zielgruppe

  • (IT-)Architekten
  • (IT-)Entwickler

Voraussetzungen

  • Praktische Erfahrung in der IT-Informationsverarbeitung
  • Grundkenntnisse zu Hadoop
  • Anwendung von Programmiersprachen

Agenda

Hadoop-Sandbox

In dem ersten Modul wird die Hadoop-Sandbox vorgestellt und gemeinsam evaluiert.

Überblick Hadoop Distributed File System (HDFS)

Das Kernstück von Hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem. In diesem Abschnitt werden die wichtigsten Elemente für den Datenaustausch mit HDFS evaluiert.

Überblick Sqoop

Sqoop ist ein Werkzeug, um Daten für Hadoop aus einer relationalen Quelle zu entladen oder aus hadoop in ein RDBMS zu laden. In diesem Abschnitt erhalten Sie einen Überblick zu sqoop.

Import in und Export aus HDFS von Daten unter Verwendung von Sqoop

In diesem Abschnitt evaluieren Sie Im- und Export von Daten aus der Shell sowie den Einsatz von Sqoop für den Datenaustausch mit einer relationalen Datenbank.

Überblick MapReduce

Die Java-basierte Klassenbibliothek für MapReduce ist der Maschinenraum von Hadoop. In diesem Abschnitt erhalten Sie einen Überblick über das von Google eingeführte Programmier-modell für nebenläufige Berechnungen.

Transformation von Logdateien unter Anwendung von MapReduce

In diesem Abschnitt evaluieren Sie die Anwendung von MapReduce, um Logdateien aufzubereiten.

Überblick Pig

Pig ist ein Mechanismus, um stapelorientierte Datenfluss-Operationen in Hadoop auszuführen.

Filtern und Sortieren von Logdaten unter Anwendung von Pig

In diesem Abschnitt evaluieren Sie die Anwendung von Pig, um beispielsweise den bot-Traffic aus den Logdateien zu entfernen und die Daten chronologisch zu sortieren.

Überblick Hive

Mit Hive steht eine Schnittstelle zur Verfügung, die den Zugang zu strukturierten Daten in Hadoop mit einer SQL-ähnlichen Syntax erlaubt.

Anwendung von Hive und anderen Tools für verschiedene Fragestellungen

In diesem Abschnitt evaluieren Sie verschiedene praktische Fragestellungen wie beispielsweise die Verknüpfung mit externen Tabellen oder das Zusammensetzen von Strings.

Überblick Verknüpfung von Daten in Hadoop

Häufig besteht die Anforderung, eine Analyse über unterschiedliche Datenquellen durchzuführen. Hier lernen Sie verschiedene Möglichkeiten kennen, wie man das in Hadoop realisieren kann.

Anwendung von MapReduce, Pig und Hive zur Verknüpfung von Daten

Basierend auf den Ausführungen des vorhergehenden Abschnittes evaluieren Sie, wie man verschiedene Datensets in Hadoop miteinander verknüpft.

Anwendung von MapReduce, Pig und Hive zur Analyse von Daten

In diesem Abschnitt setzen Sie die Werkzeuge von Hadoop ein, um verschiedene praktische Fragestellungen zu beantworten.

Überblick Test und Optimierung der Lösung in Hadoop

Es wird ein Überblick über Testen und Optimieren in Hadoop gegeben und welche Werkzeuge dafür zur Verfügung stehen.

Testen und Optimieren der Lösung in Hadoop

In diesem Abschnitt sammeln Sie erste Erfahrungen im Testen und Optimieren der erstellten Lösungen.

Zusammenfassung und Verallgemeinerung

Zum Abschluss werden die Ergebnisse zusammengefasst und die durchgeführten Übungen auf ihre Praxistauglichkeit untersucht sowie ein Vorgehensmodell für die Datenanalyse mit Hadoop abgeleitet.

Tags

Diese Seite weiterempfehlen