Apache Storm
Classroom Schulung | Deutsch | Anspruch
Schulungsdauer: 2 Tage
Ziele
In diesem Kurs erhalten Sie einen Einblick in das Zusammenwirken von Apache Storm mit verschiedenen Komponenten des Hadoop-Ökosystems.
Zielgruppe
- (IT-)Architekt
- (IT-)Entwickler
Voraussetzungen
Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:
1) Einstiegs-Seminare (Schwierigkeitsgrad 100)
a. Big Data Einstieg
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg
2) Überblicks-Seminare (Schwierigkeitsgrad 200)
a. Big Data Architekturen Überblick
b. Hadoop Datentechnologien Überblick
Folgende Kurse können darüber hinaus dieses Angebot ergänzen:
3) Vertiefungs-Kurse (Schwierigkeitsgrad 300)
a. Apache Spark Grundlagen Vertiefung
b. Apache Spark Steaming Vertiefung
c. Apache Hadoop und Java – Vertiefung
d. Hadoop und Kafka Vertiefung
Agenda
Strukturen – Die logische Sicht auf Storm
Storm ist in der Lage, einen Datenstrom (Stream) in einer Bolt zu manipulieren, die mit Adaptern (Spouts) von den Daten-Emittenten abgegriffen werden. Dieses Grundprinzip kann beliebig variiert werden. Sie machen sich mit dem Grundprinzip vertraut und lernen erste Konzepte für die Lösung von Standard-Aufgaben kennen.
Parallelität und Prozesse – Die physische Sicht auf Storm
Storm arbeitet wie alle skalierbaren Systeme nach dem Master-Worker-Prinzip. Weitere Komponenten sind erforderlich, um die Transaktionssicherheit zu gewährleisten. Prozesse in Storm kapseln parallele Ausführungsschritte. In diesem Abschnitt lernen Sie Einzelheiten einer physischen Implementierung für Storm kennen und nutzen die Kommandozeile, um erste praktische Erfahrungen mit Storm zu sammeln.
Praxis 1 – Die Programmierung von Spouts
Üblicherweise werden Spouts entweder durch Erweiterung generischer Klassen um spezifische Merkmale oder auf der Basis spezifischer Interfaces implementiert. Sie machen sich mit der Technik der Programmierung von Spouts vertraut und entwickeln eigene Lösungen.
Praxis 2 – Die Programmierung von Bolts
Üblicherweise werden Bolts entweder durch Erweiterung generischer Klassen um spezifische Merkmale oder auf der Basis spezifischer Interfaces implementiert. Sie machen sich mit der Technik der Programmierung von Bolts vertraut und entwickeln eigene Lösungen.
Praxis 3 – Das Design einer Implementierung für Storm
Eine Topologie in Storm ist die Beschreibung des Ablaufs der Verarbeitung, die wiederum geeignet auf die zur Verfügung stehenden Ressourcen abzubilden ist. In diesem Abschnitt modellieren Sie anhand von Beispielen die erforderlichen Topologien und legen den Grad der Parallelisierung fest.
Praxis 4 – Betrieb von Storm im Hadoop Cluster
In diesem Abschnitt werden verschiedene Themen der Nutzung von Storm im Hadoop-Cluster ausführlich behandelt. Sie machen sich mit praktischen Aspekten wie beispielsweise Verfügbarkeit und Ausfallszenarien von Storm oder dem Logging und Monitoring vertraut. Darüber hinaus wird das Sizing von Storm und ZooKeeper besprochen. Einen weiteren Schwerpunkt bildet die Abgrenzung zu Kafka, Spark Streaming und Flume.
Praxis 5 – Erweiterungen von Storm
Für Storm existieren Erweiterungen, von denen hier stellvertretend Trident sowie das Blobstore-API aufgezählt werden sollen. Sie lernen die wichtigsten Erweiterungen für Storm kennen und sammeln praktische Erfahrungen mit Trident.
Ziele
In diesem Kurs erhalten Sie einen Einblick in das Zusammenwirken von Apache Storm mit verschiedenen Komponenten des Hadoop-Ökosystems.
Zielgruppe
- (IT-)Architekt
- (IT-)Entwickler
Voraussetzungen
Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:
1) Einstiegs-Seminare (Schwierigkeitsgrad 100)
a. Big Data Einstieg
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg
2) Überblicks-Seminare (Schwierigkeitsgrad 200)
a. Big Data Architekturen Überblick
b. Hadoop Datentechnologien Überblick
Folgende Kurse können darüber hinaus dieses Angebot ergänzen:
3) Vertiefungs-Kurse (Schwierigkeitsgrad 300)
a. Apache Spark Grundlagen Vertiefung
b. Apache Spark Steaming Vertiefung
c. Apache Hadoop und Java – Vertiefung
d. Hadoop und Kafka Vertiefung
Agenda
Strukturen – Die logische Sicht auf Storm
Storm ist in der Lage, einen Datenstrom (Stream) in einer Bolt zu manipulieren, die mit Adaptern (Spouts) von den Daten-Emittenten abgegriffen werden. Dieses Grundprinzip kann beliebig variiert werden. Sie machen sich mit dem Grundprinzip vertraut und lernen erste Konzepte für die Lösung von Standard-Aufgaben kennen.
Parallelität und Prozesse – Die physische Sicht auf Storm
Storm arbeitet wie alle skalierbaren Systeme nach dem Master-Worker-Prinzip. Weitere Komponenten sind erforderlich, um die Transaktionssicherheit zu gewährleisten. Prozesse in Storm kapseln parallele Ausführungsschritte. In diesem Abschnitt lernen Sie Einzelheiten einer physischen Implementierung für Storm kennen und nutzen die Kommandozeile, um erste praktische Erfahrungen mit Storm zu sammeln.
Praxis 1 – Die Programmierung von Spouts
Üblicherweise werden Spouts entweder durch Erweiterung generischer Klassen um spezifische Merkmale oder auf der Basis spezifischer Interfaces implementiert. Sie machen sich mit der Technik der Programmierung von Spouts vertraut und entwickeln eigene Lösungen.
Praxis 2 – Die Programmierung von Bolts
Üblicherweise werden Bolts entweder durch Erweiterung generischer Klassen um spezifische Merkmale oder auf der Basis spezifischer Interfaces implementiert. Sie machen sich mit der Technik der Programmierung von Bolts vertraut und entwickeln eigene Lösungen.
Praxis 3 – Das Design einer Implementierung für Storm
Eine Topologie in Storm ist die Beschreibung des Ablaufs der Verarbeitung, die wiederum geeignet auf die zur Verfügung stehenden Ressourcen abzubilden ist. In diesem Abschnitt modellieren Sie anhand von Beispielen die erforderlichen Topologien und legen den Grad der Parallelisierung fest.
Praxis 4 – Betrieb von Storm im Hadoop Cluster
In diesem Abschnitt werden verschiedene Themen der Nutzung von Storm im Hadoop-Cluster ausführlich behandelt. Sie machen sich mit praktischen Aspekten wie beispielsweise Verfügbarkeit und Ausfallszenarien von Storm oder dem Logging und Monitoring vertraut. Darüber hinaus wird das Sizing von Storm und ZooKeeper besprochen. Einen weiteren Schwerpunkt bildet die Abgrenzung zu Kafka, Spark Streaming und Flume.
Praxis 5 – Erweiterungen von Storm
Für Storm existieren Erweiterungen, von denen hier stellvertretend Trident sowie das Blobstore-API aufgezählt werden sollen. Sie lernen die wichtigsten Erweiterungen für Storm kennen und sammeln praktische Erfahrungen mit Trident.