Apache Storm

Classroom Schulung | deutsch | Anspruch

Schulungsdauer: 2 Tage

Ziele

In diesem Kurs erhalten Sie einen Einblick in das Zusammenwirken von Apache Storm mit verschiedenen Komponenten des Hadoop-Ökosystems.

Zielgruppe

  • (IT-)Architekt
  • (IT-)Entwickler

Voraussetzungen

Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:

1) Einstiegs-Seminare (Schwierigkeitsgrad 100)

a. Big Data Einstieg
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg

2) Überblicks-Seminare (Schwierigkeitsgrad 200)

a. Big Data Architekturen Überblick
b. Hadoop Datentechnologien Überblick

Folgende Kurse können darüber hinaus dieses Angebot ergänzen:

3) Vertiefungs-Kurse (Schwierigkeitsgrad 300)

a. Apache Spark Grundlagen Vertiefung
b. Apache Spark Steaming Vertiefung
c. Apache Hadoop und Java – Vertiefung
d. Hadoop und Kafka Vertiefung

Agenda

Strukturen – Die logische Sicht auf Storm

Storm ist in der Lage, einen Datenstrom (Stream) in einer Bolt zu manipulieren, die mit Adaptern (Spouts) von den Daten-Emittenten abgegriffen werden. Dieses Grundprinzip kann beliebig variiert werden. Sie machen sich mit dem Grundprinzip vertraut und lernen erste Konzepte für die Lösung von Standard-Aufgaben kennen.

Parallelität und Prozesse – Die physische Sicht auf Storm

Storm arbeitet wie alle skalierbaren Systeme nach dem Master-Worker-Prinzip. Weitere Komponenten sind erforderlich, um die Transaktionssicherheit zu gewährleisten. Prozesse in Storm kapseln parallele Ausführungsschritte. In diesem Abschnitt lernen Sie Einzelheiten einer physischen Implementierung für Storm kennen und nutzen die Kommandozeile, um erste praktische Erfahrungen mit Storm zu sammeln.

Praxis 1 – Die Programmierung von Spouts

Üblicherweise werden Spouts entweder durch Erweiterung generischer Klassen um spezifische Merkmale oder auf der Basis spezifischer Interfaces implementiert. Sie machen sich mit der Technik der Programmierung von Spouts vertraut und entwickeln eigene Lösungen.

Praxis 2 – Die Programmierung von Bolts

Üblicherweise werden Bolts entweder durch Erweiterung generischer Klassen um spezifische Merkmale oder auf der Basis spezifischer Interfaces implementiert. Sie machen sich mit der Technik der Programmierung von Bolts vertraut und entwickeln eigene Lösungen.

Praxis 3 – Das Design einer Implementierung für Storm

Eine Topologie in Storm ist die Beschreibung des Ablaufs der Verarbeitung, die wiederum geeignet auf die zur Verfügung stehenden Ressourcen abzubilden ist. In diesem Abschnitt modellieren Sie anhand von Beispielen die erforderlichen Topologien und legen den Grad der Parallelisierung fest.

Praxis 4 – Betrieb von Storm im Hadoop Cluster

In diesem Abschnitt werden verschiedene Themen der Nutzung von Storm im Hadoop-Cluster ausführlich behandelt. Sie machen sich mit praktischen Aspekten wie beispielsweise Verfügbarkeit und Ausfallszenarien von Storm oder dem Logging und Monitoring vertraut. Darüber hinaus wird das Sizing von Storm und ZooKeeper besprochen. Einen weiteren Schwerpunkt bildet die Abgrenzung zu Kafka, Spark Streaming und Flume.

Praxis 5 – Erweiterungen von Storm

Für Storm existieren Erweiterungen, von denen hier stellvertretend Trident sowie das Blobstore-API aufgezählt werden sollen. Sie lernen die wichtigsten Erweiterungen für Storm kennen und sammeln praktische Erfahrungen mit Trident.

Ziele

In diesem Kurs erhalten Sie einen Einblick in das Zusammenwirken von Apache Storm mit verschiedenen Komponenten des Hadoop-Ökosystems.

Zielgruppe

  • (IT-)Architekt
  • (IT-)Entwickler

Voraussetzungen

Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:

1) Einstiegs-Seminare (Schwierigkeitsgrad 100)

a. Big Data Einstieg
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg

2) Überblicks-Seminare (Schwierigkeitsgrad 200)

a. Big Data Architekturen Überblick
b. Hadoop Datentechnologien Überblick

Folgende Kurse können darüber hinaus dieses Angebot ergänzen:

3) Vertiefungs-Kurse (Schwierigkeitsgrad 300)

a. Apache Spark Grundlagen Vertiefung
b. Apache Spark Steaming Vertiefung
c. Apache Hadoop und Java – Vertiefung
d. Hadoop und Kafka Vertiefung

Agenda

Strukturen – Die logische Sicht auf Storm

Storm ist in der Lage, einen Datenstrom (Stream) in einer Bolt zu manipulieren, die mit Adaptern (Spouts) von den Daten-Emittenten abgegriffen werden. Dieses Grundprinzip kann beliebig variiert werden. Sie machen sich mit dem Grundprinzip vertraut und lernen erste Konzepte für die Lösung von Standard-Aufgaben kennen.

Parallelität und Prozesse – Die physische Sicht auf Storm

Storm arbeitet wie alle skalierbaren Systeme nach dem Master-Worker-Prinzip. Weitere Komponenten sind erforderlich, um die Transaktionssicherheit zu gewährleisten. Prozesse in Storm kapseln parallele Ausführungsschritte. In diesem Abschnitt lernen Sie Einzelheiten einer physischen Implementierung für Storm kennen und nutzen die Kommandozeile, um erste praktische Erfahrungen mit Storm zu sammeln.

Praxis 1 – Die Programmierung von Spouts

Üblicherweise werden Spouts entweder durch Erweiterung generischer Klassen um spezifische Merkmale oder auf der Basis spezifischer Interfaces implementiert. Sie machen sich mit der Technik der Programmierung von Spouts vertraut und entwickeln eigene Lösungen.

Praxis 2 – Die Programmierung von Bolts

Üblicherweise werden Bolts entweder durch Erweiterung generischer Klassen um spezifische Merkmale oder auf der Basis spezifischer Interfaces implementiert. Sie machen sich mit der Technik der Programmierung von Bolts vertraut und entwickeln eigene Lösungen.

Praxis 3 – Das Design einer Implementierung für Storm

Eine Topologie in Storm ist die Beschreibung des Ablaufs der Verarbeitung, die wiederum geeignet auf die zur Verfügung stehenden Ressourcen abzubilden ist. In diesem Abschnitt modellieren Sie anhand von Beispielen die erforderlichen Topologien und legen den Grad der Parallelisierung fest.

Praxis 4 – Betrieb von Storm im Hadoop Cluster

In diesem Abschnitt werden verschiedene Themen der Nutzung von Storm im Hadoop-Cluster ausführlich behandelt. Sie machen sich mit praktischen Aspekten wie beispielsweise Verfügbarkeit und Ausfallszenarien von Storm oder dem Logging und Monitoring vertraut. Darüber hinaus wird das Sizing von Storm und ZooKeeper besprochen. Einen weiteren Schwerpunkt bildet die Abgrenzung zu Kafka, Spark Streaming und Flume.

Praxis 5 – Erweiterungen von Storm

Für Storm existieren Erweiterungen, von denen hier stellvertretend Trident sowie das Blobstore-API aufgezählt werden sollen. Sie lernen die wichtigsten Erweiterungen für Storm kennen und sammeln praktische Erfahrungen mit Trident.

Diese Seite weiterempfehlen