Apache Spark Streaming (Modul 8)
Classroom Schulung | Deutsch | Anspruch
Schulungsdauer: 2 Tage
Ziele
In diesem Kurs erhalten Sie einen Einblick in die Grundlagen von Spark Streaming, mit dem Daten zeitnah in sogenannten Micro Batches verarbeitet werden können.
Zielgruppe
- (IT-)Architekt
- (IT-)Entwickler
Voraussetzungen
Praktische Erfahrung in der IT-Informationsverarbeitung erforderlich. Kenntnisse in einer Programmiersprache, vorzugsweise Java, Scala oder Python werden vorausgesetzt. Kenntnisse über Hadoop werden vorausgesetzt.
Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:
1) Einstiegs-Seminare (Schwierigkeitsgrad 100)
a. Big Data Einstieg
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg
2) Überblicks-Seminare (Schwierigkeitsgrad 200)
a. Big Data Architekturen Überblick
b. Hadoop Datentechnologien Überblick
Folgende Kurse können darüber hinaus dieses Angebot ergänzen:
3) Vertiefungs-Kurse (Schwierigkeitsgrad 300)
a. Apache Kafka Vertiefung
4) Spezialisierungskurse (Schwierigkeitsgrad 400)
a. Data Scientist Tools Spezialisierung
b. Data Engineer Tools Spezialisierung
Agenda
Spark Einführung
In dieser kurzen Wiederholung werden die für die weiteren Ausführungen wichtigen Begriffe und Zusammenhänge aufgefrischt.
Modul 8: Spark Streaming
Spark Streaming ist eine Lösung, um in sogenannten Micro Batches Daten zeitnah verarbeiten zu können. Das ist zwar kein Ansatz, um im Hochgeschwindigkeitshandel bestehen zu können, aber allemal geeignet, um Daten im Sekundenbereich verarbeiten zu können. Das Konzept von Spark Streaming besteht darin, den permanenten Datenstrom in sogenannten DStreams zu portionieren und jedes dieser Pakete als Kleinststapel in der Spark Engine zu verarbeiten.
Sie machen sich mit dem Konzept von Spark Streaming vertraut und üben, wie Daten beispielsweise aus Kafka mit Hilfe von Java verarbeitet werden können. Darüber hinaus wird auf die recht anspruchsvolle Thematik der Optimierung derartiger Anwendungen eingegangen.
Ziele
In diesem Kurs erhalten Sie einen Einblick in die Grundlagen von Spark Streaming, mit dem Daten zeitnah in sogenannten Micro Batches verarbeitet werden können.
Zielgruppe
- (IT-)Architekt
- (IT-)Entwickler
Voraussetzungen
Praktische Erfahrung in der IT-Informationsverarbeitung erforderlich. Kenntnisse in einer Programmiersprache, vorzugsweise Java, Scala oder Python werden vorausgesetzt. Kenntnisse über Hadoop werden vorausgesetzt.
Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:
1) Einstiegs-Seminare (Schwierigkeitsgrad 100)
a. Big Data Einstieg
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg
2) Überblicks-Seminare (Schwierigkeitsgrad 200)
a. Big Data Architekturen Überblick
b. Hadoop Datentechnologien Überblick
Folgende Kurse können darüber hinaus dieses Angebot ergänzen:
3) Vertiefungs-Kurse (Schwierigkeitsgrad 300)
a. Apache Kafka Vertiefung
4) Spezialisierungskurse (Schwierigkeitsgrad 400)
a. Data Scientist Tools Spezialisierung
b. Data Engineer Tools Spezialisierung
Agenda
Spark Einführung
In dieser kurzen Wiederholung werden die für die weiteren Ausführungen wichtigen Begriffe und Zusammenhänge aufgefrischt.
Modul 8: Spark Streaming
Spark Streaming ist eine Lösung, um in sogenannten Micro Batches Daten zeitnah verarbeiten zu können. Das ist zwar kein Ansatz, um im Hochgeschwindigkeitshandel bestehen zu können, aber allemal geeignet, um Daten im Sekundenbereich verarbeiten zu können. Das Konzept von Spark Streaming besteht darin, den permanenten Datenstrom in sogenannten DStreams zu portionieren und jedes dieser Pakete als Kleinststapel in der Spark Engine zu verarbeiten.
Sie machen sich mit dem Konzept von Spark Streaming vertraut und üben, wie Daten beispielsweise aus Kafka mit Hilfe von Java verarbeitet werden können. Darüber hinaus wird auf die recht anspruchsvolle Thematik der Optimierung derartiger Anwendungen eingegangen.