Deep Learning mit Pytorch: GAN, RNN und Transformer
Classroom training | German | Claim
Duration of training: 5 days
Objectives
Der Kurs "Deep Learning mit Pytorch: GAN, RNN und Transformer" bietet einen Überblick über mehrere fortgeschrittene Themenbereiche innerhalb Deep Learning, die alle in den letzten Jahren Schlagzeilen machten und inzwischen viele neue Anwendungen ermöglichen.
Für jeden Haupttyp (GAN, RNN, Transformer) werden Beispiele detailliert ausgeführt, teilweise als Jupyter-Notebooks sowie in mehreren Dateien in der IDE. Darüber hinaus werden mehrere Beispiele mit vorgegebenen Code ausgeführt und untersucht sowie moderne Netzwerke in ihrer Grundidee wie BERT, GPT-Varianten und VisionTransformer vorgestellt.
Der Kurs gibt darüber hinaus mathematische Hintergrundinformationen sowie Tipps für die praktische Realisierung als Softwareprojekt.
Target audience
Pythonentwickler, die moderne Verfahren in Deep Learning mit Pytorch kennenlernen wollen
Requirements
- Python: Routinierte Erfahrungen mit IDE und Jupyter Notebooks
- Deep Learning: Multi Layer Perceptrons und Convolutional Neural Networks mit Pytorch
Agenda
Generative adversarial networks
- Einsatzgebiete
- Spezielle Loss-Funktionen
- Einfacher Fall: MLPs ausreichend
- Komplexer mit Deep Convolutional GANS: Face generation
- Moderne Varianten (Wasserstein GAN, CycleGAN)
- Überblick generative Modelle
Recurrent neural networks
- Sequentielle Daten als Input und/oder Output
- Char level oder word level
- Embeddings
- Backpropagation through time
- Problem vanishing / exploding gradient
- LSTM Intuition
- Variante GRU
- Seq2seq Modelle: Encoder/Decoder
- Attentionmechanimus in RNNs
- Einsatz für Chatbots, Übersetzungen u.a.
Transformer
- Attention ohne RNN, Intuition
- Self Attention, Multi head attention
- Queries, Keys, Values
- Originale Transformer Architektur
- Nur Encoding: BERT
- Nur Decoding: GPT
- Large Language Models
- Finetuning (ähnlich Transfer Learning bei CNN)
- Einsatzmöglichkeiten: Sentimentanalyse, Übersetzung u.a.
- Qualitätsmaß BLEU score
Ausblicke
- Transformer für Bilder
- Weiterentwicklung bei CNNs
- Umfeld: Unternehmen und Dienste (Kaggle, HuggingFace, ...)
- Vereinfachung/Wrapper für Pytorch: Lighting
- Ausführung in der Cloud, Services bei AWS u.a.
- Grundidee Diffusion Modelle zur Generierung von Audio und Bildern
- Kurzvorstellung Reinforcement Learning
Objectives
Der Kurs "Deep Learning mit Pytorch: GAN, RNN und Transformer" bietet einen Überblick über mehrere fortgeschrittene Themenbereiche innerhalb Deep Learning, die alle in den letzten Jahren Schlagzeilen machten und inzwischen viele neue Anwendungen ermöglichen.
Für jeden Haupttyp (GAN, RNN, Transformer) werden Beispiele detailliert ausgeführt, teilweise als Jupyter-Notebooks sowie in mehreren Dateien in der IDE. Darüber hinaus werden mehrere Beispiele mit vorgegebenen Code ausgeführt und untersucht sowie moderne Netzwerke in ihrer Grundidee wie BERT, GPT-Varianten und VisionTransformer vorgestellt.
Der Kurs gibt darüber hinaus mathematische Hintergrundinformationen sowie Tipps für die praktische Realisierung als Softwareprojekt.
Target audience
Pythonentwickler, die moderne Verfahren in Deep Learning mit Pytorch kennenlernen wollen
Requirements
- Python: Routinierte Erfahrungen mit IDE und Jupyter Notebooks
- Deep Learning: Multi Layer Perceptrons und Convolutional Neural Networks mit Pytorch
Agenda
Generative adversarial networks
- Einsatzgebiete
- Spezielle Loss-Funktionen
- Einfacher Fall: MLPs ausreichend
- Komplexer mit Deep Convolutional GANS: Face generation
- Moderne Varianten (Wasserstein GAN, CycleGAN)
- Überblick generative Modelle
Recurrent neural networks
- Sequentielle Daten als Input und/oder Output
- Char level oder word level
- Embeddings
- Backpropagation through time
- Problem vanishing / exploding gradient
- LSTM Intuition
- Variante GRU
- Seq2seq Modelle: Encoder/Decoder
- Attentionmechanimus in RNNs
- Einsatz für Chatbots, Übersetzungen u.a.
Transformer
- Attention ohne RNN, Intuition
- Self Attention, Multi head attention
- Queries, Keys, Values
- Originale Transformer Architektur
- Nur Encoding: BERT
- Nur Decoding: GPT
- Large Language Models
- Finetuning (ähnlich Transfer Learning bei CNN)
- Einsatzmöglichkeiten: Sentimentanalyse, Übersetzung u.a.
- Qualitätsmaß BLEU score
Ausblicke
- Transformer für Bilder
- Weiterentwicklung bei CNNs
- Umfeld: Unternehmen und Dienste (Kaggle, HuggingFace, ...)
- Vereinfachung/Wrapper für Pytorch: Lighting
- Ausführung in der Cloud, Services bei AWS u.a.
- Grundidee Diffusion Modelle zur Generierung von Audio und Bildern
- Kurzvorstellung Reinforcement Learning
