Big Data Architekturen - Überblick

Classroom Schulung | deutsch | Anspruch

Schulungsdauer: 2 Tage

Ziele

In diesem Kurs erlernen Sie auf Hadoop basierende Architekturen kennen, die entweder für die Stapelverarbeitung oder die Verarbeitung nahe Echtzeit eingesetzt werden können sowie eine Kombination aus beiden Anforderungen.

Zielgruppe

  • Entscheider
  • (IT-)Architekt
  • Projektmanager

Voraussetzungen

Praktische Erfahrung in der IT-Informationsverarbeitung sowie Grundkenntnisse über Big Data und Hadoop erforderlich.

Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:

1) Einstiegs-Seminare (Schwierigkeitsgrad 100)

a. Big Data Einstieg
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg

Folgende Kurse können darüber hinaus dieses Angebot ergänzen:

2) Überblicks-Seminare (Schwierigkeitsgrad 200)

a. Hadoop Datentechnologien Überblick

Agenda

Überblick Hadoop Framework

Das Seminar startet mit einem kurzen Überblick zu den einzelnen Komponenten des Hadoop-Frameworks, ihrem aktuellen Entwicklungsstand und Ihrem Status in den beiden wichtigsten Hadoop-Distributionen von Cloudera und Hortonworks.

Kriterien für die Wahl der Architektur

Die wohl wichtigsten Stellschrauben für die auszuwählende Architektur sind Reaktionszeit, Datenmenge und Strukturtiefe. Während die Datenmenge primär Einfluss auf das Sizing des Hadoop-Clusters hat, bestimmen Strukturtiefe und Reaktionszeit, welche Komponenten des Frameworks bevorzugt zum Einsatz kommen und wie der Datenfluss zu organisieren ist.

Speicherung schwach strukturierter Daten

Für die Speicherung von schwach strukturierten Daten steht die Datenablage im verteilten Dateisystem HDFS zur Verfügung, welches in diesem Modul näher vorgestellt und demonstriert wird.

Speicherung strukturierter Daten

Strukturierte Daten können in Hadoop entweder im verteilten Dateisystem HDFS mit zugehöriger Metadaten-Beschreibung oder in einer verteilten Datenbank, beispielsweise HBase, abgespeichert werden. In diesem Modul werden die einzelnen Möglichkeiten näher beschrieben und demonstriert.

Architektur für die Stapelverarbeitung

Die traditionelle Verarbeitungsform ist die Stapelverarbeitung. Dies ist auch im Hadoop-Framework nicht anders und so stehen beispielsweise mit sqoop und MapReduce seit den ersten Versionen zwei Komponenten für die Datenbewirtschaftung und ihre Verarbeitung zur Verfügung. In diesem Modul werden verschiedene Szenarien der Stapelverarbeitung für unterschiedliche Anwendungsfälle vorgestellt und demonstriert.

Architektur für die unmittelbare Verarbeitung

Für die unmittelbare Verarbeitung von Daten existieren unterschiedliche Ansätze. Zum einen können sehr kleine Stapel sehr schnell nacheinander verarbeitet werden und zum anderen können Daten in einen Puffer eingestellt werden, aus dem sie permanent entnommen und verarbeitet werden. Beide Ansätze können mit Komponenten des Hadoop-Frameworks umgesetzt werden. In diesem Modul werden Lösungsansätze skizziert und demonstriert.

Gemischte Architekturen

Die Kombination aus Stapelverarbeitung und unmittelbarer Verarbeitung ist immer dann erforderlich, wenn einerseits aktuelle Auswertungen zeitnah benötigt und andererseits Auswertungen aus riesigen Datenbeständen benötigt werden. Dieser als Lambda-Architektur bezeichnete Ansatz lässt sich mit Komponenten des Hadoop Frameworks umsetzen, benötigt aber besondere Sorgfalt in der Implementierung, wie in diesem Modul gezeigt wird.

Rückgekoppelte Architekturen

Rückgekoppelte Architekturen sind ein Spezialfall, in dem die Ergebnisse von Auswertungen wieder als Eingangsgrößen für spätere Analysen verwendet werden. Derartige Szenarien gewinnen insbesondere im Umfeld des Maschinellen Lernens und der Künstlichen Intelligenz zunehmend an Bedeutung. In diesem Modul werden die grundsätzlichen Anforderungen skizziert und gezeigt, wie diese mit den im Hadoop-Framework verfügbaren Komponenten umgesetzt werden können.

Ziele

In diesem Kurs erlernen Sie auf Hadoop basierende Architekturen kennen, die entweder für die Stapelverarbeitung oder die Verarbeitung nahe Echtzeit eingesetzt werden können sowie eine Kombination aus beiden Anforderungen.

Zielgruppe

  • Entscheider
  • (IT-)Architekt
  • Projektmanager

Voraussetzungen

Praktische Erfahrung in der IT-Informationsverarbeitung sowie Grundkenntnisse über Big Data und Hadoop erforderlich.

Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:

1) Einstiegs-Seminare (Schwierigkeitsgrad 100)

a. Big Data Einstieg
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg

Folgende Kurse können darüber hinaus dieses Angebot ergänzen:

2) Überblicks-Seminare (Schwierigkeitsgrad 200)

a. Hadoop Datentechnologien Überblick

Agenda

Überblick Hadoop Framework

Das Seminar startet mit einem kurzen Überblick zu den einzelnen Komponenten des Hadoop-Frameworks, ihrem aktuellen Entwicklungsstand und Ihrem Status in den beiden wichtigsten Hadoop-Distributionen von Cloudera und Hortonworks.

Kriterien für die Wahl der Architektur

Die wohl wichtigsten Stellschrauben für die auszuwählende Architektur sind Reaktionszeit, Datenmenge und Strukturtiefe. Während die Datenmenge primär Einfluss auf das Sizing des Hadoop-Clusters hat, bestimmen Strukturtiefe und Reaktionszeit, welche Komponenten des Frameworks bevorzugt zum Einsatz kommen und wie der Datenfluss zu organisieren ist.

Speicherung schwach strukturierter Daten

Für die Speicherung von schwach strukturierten Daten steht die Datenablage im verteilten Dateisystem HDFS zur Verfügung, welches in diesem Modul näher vorgestellt und demonstriert wird.

Speicherung strukturierter Daten

Strukturierte Daten können in Hadoop entweder im verteilten Dateisystem HDFS mit zugehöriger Metadaten-Beschreibung oder in einer verteilten Datenbank, beispielsweise HBase, abgespeichert werden. In diesem Modul werden die einzelnen Möglichkeiten näher beschrieben und demonstriert.

Architektur für die Stapelverarbeitung

Die traditionelle Verarbeitungsform ist die Stapelverarbeitung. Dies ist auch im Hadoop-Framework nicht anders und so stehen beispielsweise mit sqoop und MapReduce seit den ersten Versionen zwei Komponenten für die Datenbewirtschaftung und ihre Verarbeitung zur Verfügung. In diesem Modul werden verschiedene Szenarien der Stapelverarbeitung für unterschiedliche Anwendungsfälle vorgestellt und demonstriert.

Architektur für die unmittelbare Verarbeitung

Für die unmittelbare Verarbeitung von Daten existieren unterschiedliche Ansätze. Zum einen können sehr kleine Stapel sehr schnell nacheinander verarbeitet werden und zum anderen können Daten in einen Puffer eingestellt werden, aus dem sie permanent entnommen und verarbeitet werden. Beide Ansätze können mit Komponenten des Hadoop-Frameworks umgesetzt werden. In diesem Modul werden Lösungsansätze skizziert und demonstriert.

Gemischte Architekturen

Die Kombination aus Stapelverarbeitung und unmittelbarer Verarbeitung ist immer dann erforderlich, wenn einerseits aktuelle Auswertungen zeitnah benötigt und andererseits Auswertungen aus riesigen Datenbeständen benötigt werden. Dieser als Lambda-Architektur bezeichnete Ansatz lässt sich mit Komponenten des Hadoop Frameworks umsetzen, benötigt aber besondere Sorgfalt in der Implementierung, wie in diesem Modul gezeigt wird.

Rückgekoppelte Architekturen

Rückgekoppelte Architekturen sind ein Spezialfall, in dem die Ergebnisse von Auswertungen wieder als Eingangsgrößen für spätere Analysen verwendet werden. Derartige Szenarien gewinnen insbesondere im Umfeld des Maschinellen Lernens und der Künstlichen Intelligenz zunehmend an Bedeutung. In diesem Modul werden die grundsätzlichen Anforderungen skizziert und gezeigt, wie diese mit den im Hadoop-Framework verfügbaren Komponenten umgesetzt werden können.

Diese Seite weiterempfehlen