Talend Open Studio - Big Data, Cloud und Datenbank-Integration

Objectives

In der 3-tägigen Schulung "Talend Open Studio - Big Data, Cloud und Datenbank-Integration" erwerben Sie umfassende Fähigkeiten für das effektive Arbeiten mit Talend Open Studio im Bereich Big Data. Die Schulung beginnt mit einem allgemeinen Überblick zur Anwendung des Tools und fokussiert sich anschließend auf fortgeschrittene Themen in den Bereichen Datenintegration, Big Data und Cloud. Sie werden befähigt, professionelle ETL- und ELT-Prozesse zu entwickeln, Bulk-Loads in Datenbanken zu initiieren, Slowly Changing Dimensions (SCD) zu erstellen und Stored Procedures (SP) aufzurufen.

Während des Kurses setzen Sie sich intensiv mit der Anbindung verschiedener Big Data- und Cloud-Systeme auseinander, darunter Google BigQuery, Amazon S3, MongoDB und Snowflake. Zudem vertiefen Sie Ihre Kenntnisse im Bereich Custom Code, lernen den Einsatz externer Bibliotheken und die Entwicklung eigener Routinen. Abschließend werden Performance-Tuning und praktische Use-Cases behandelt, um das erworbene Wissen praxisnah abzurunden.

Target audience

• Entwickler
• Anwender
• Administratoren

Requirements

• Besuch des Kurses Talend Open Studio (Data Integration) oder vergleichbare Kenntnisse
• Grundkenntnisse von Java, SQL und Kommandozeile empfohlen

Agenda

Einführung zu Talend, Cloud und Big Data

• Wann und warum braucht man Data Integration, ESB und Big Data?
• Talend Open Studio: Data Integration vs. ESB vs. Big Data
• Wo steht Talend Open Studio for Big Data in Produktpalette von Talend?

Einrichtung der Schulungsumgebung

• Talend Open Studio für Big Data installieren
• Sprache von Talend Open Studio
• Importieren und Erforschen des Kursprojekts
• Download der Beispieldateien

Fortgeschrittene Datenbanktechniken

• Datenbankverbindung
• Schema-Behandlung
• Datentyp-Zuordnungen
• Bulk Load
• ELT vs. ETL
• Gespeicherte Prozeduren (SP)
• Langsam wechselnde Dimensionen (SCD)
• Transaktionen
• Ablehnende Ausgaben
• Ausgabeverweigerungen für andere Datenbanken als MySQL

Big Data und Cloud-Systeme anbinden

• Apache Kafka
• Apache Cassandra
• MongoDB
• Google BigQuery
• Snowflake
• Amazon S3

Weitere Integrationen

• FTP
• Email

Konvertierung von Daten-Typen

• Allgemeine Konvertierungen
• Konvertierung von Zeichenketten
• NullPointerExceptions vermeiden

Talend-Routinen und benutzerdefinierte Routinen

• Zeichen- und String-Routinen
• Datum- und Zeitroutinen
• Arithmetische Operationsroutinen
• Behandlung von Währungen
• Eigene Routinen entwickeln und verwenden

Eigener Java-Code

• tJava-Komponente
• tJavaRow-Komponente
• tJavaFlex-Komponente
• Java-Eigenschaften
• Externe Bibliotheken verwenden
• Externe Komponenten verwenden

Performance-Tuning

• Ansatz für Performance-Tuning
• Leistungstechniken
• Häufige Fallstricke
• Puffer-Komponenten
• Hash-Komponenten
• JVM-Parameter
• Parallele Ausführung

Anwendungsbeispiele

• Verschachtelte Bedingungen mit ternärem Operator und If-Anweisungen
• Große XML-Dateien schnell lesen
• Über Datum und Zeit iterieren
• Währungsumrechnung mit REST Service
• Zugriff auf die vorherige Zeile in einem Datenfluss
• Jobs abbrechen mit tJavaRow
• Dateikopf und Fußzeile hinzufügen
• Daten-Tests