Einführung in Deep Learning mit Pytorch: MLP und CNN

Objectives

Im Kurs "Einführung in Deep Learning mit PyTorch: MLP und CNN" erwerben Teilnehmer grundlegende Kenntnisse über das PyTorch-Framework sowie die beiden Schlüsselnetzwerktypen im Bereich Deep Learning: Multilayer Perceptrons und Convolutional Neural Networks, die insbesondere bei der Verarbeitung von Bilddaten Anwendung finden. Der Kurs beinhaltet praxisnahe Übungen, darunter vollständige Beispiele mit Trainingsschleifen, Testläufen, Ausgaben der Loss-Werte und Visualisierungen, um ein umfassendes Verständnis zu vermitteln.

Target audience

Python-Entwickler

Requirements

• Routinierte Kenntnisse in Python und Numpy
• Teilnehmer sollten schon an komplexen Softwareprojekten gearbeitet haben
• Erfahrung mit Jupyter Notebooks
• Erfahrung mit Machine Learning wird hier NICHT vorausgesetzt.

Agenda

Lineare Regression

• Problemstellung
• Implementierung mit Python und Numpy
• Backpropagation
• Gradient Descent
• Visuelle Aufbereitung mit Matplotlib
• Variante Logistic Regression zur Klassifizierung

Mathematische Grundlagen

• Vektoren und Linearkombinationen
• Matrizen, lineare Transformationen
• Analysis in höheren Dimensionen
• Partielle Ableitungen
• Kettenregel und andere Regeln
• Geometrische Intuition
• Oft gebrauchte Funktionen

Neural Networks

• Historische Entwicklung von Pytorch
• Tensor als Basistyp mit Operationen
• Automatische Gradientenberechnung
• Ausführilche Behandlung von Dimensionierung
• DataSet, DataLoader, ImageFolder
• Standarddatensätze wie MNIST
• nn.Module als Basisbaustein
• Multilayer Perceptron als grundlegender Netzwerktyp
• Nichtlineare Aktivierungsfunktionen: Sigmoid, Softmax, ReLU u.a.
• Lossfunktionen
• Optimizer: SGD, Adam und weitere
• Trainingsschleife, Validation Set
• Underfitting, Overfitting
• Visualisierung mit TensorBoard

Convolutional Neural Networks

• Basistyp zur Bildklassifizierung
• Abgrenzung zu RNN und Transformer
• Vorbereitung der Bilddaten (Transforms)
• Convolution Layer in Pytorch im Detail
• Training mit GPUs z.B. Google Colab
• ImageNet: Wettbewerb und Bilddatenbank
• Wichtige Architekturen: AlexNet, VGG, ResNet, ResNeXt
• Varianten von Transfer Learning
• Autoencoders