LFD473 PyTorch in Practice: An Applications-First Approach

Objectives

In der 4-tägigen Schulung "LFD473 PyTorch in Practice: An Applications-First Approach" liegt der Schwerpunkt auf der praxisorientierten Vermittlung von Kenntnissen zu PyTorch. Die Agenda erstreckt sich über verschiedene Anwendungsbereiche und beginnt mit einer umfassenden Einführung in PyTorch sowie dem PyTorch-Ökosystem. Der Schulungsinhalt umfasst die Erstellung von Datensätzen, das Training von Modellen, die Bereitstellung mit TorchServe und die Anwendung von Transfer Learning.

Die Schulung behandelt praxisnahe Anwendungsfälle, darunter Computer Vision, Natural Language Processing, Objekterkennung, Bildsegmentierung, Textklassifikation und mehr. Mithilfe von Hands-On-Übungen erwerben Sie die Fähigkeiten, Modelle zu erstellen und zu bewerten. Zudem werden fortgeschrittene Themen wie Large Language Models (LLMs) und deren Anwendungsbereiche eingehend behandelt.

Target audience

• Entwickler
• KI-Entwickler
• Dat Scientist

Requirements

• Grundkenntnisse im Machine Learning
• Programmierkenntnisse, insbesondere in Python, von Vorteil
• Grundlegende Kenntnisse in Computer Vision und Natural Language Processing sind hilfreich

Agenda

PyTorch, Datensätze und Models

• Was ist PyTorch?
• Das PyTorch-Ökosystem
• Überwachtes vs. Unüberwachtes Lernen
• Softwareentwicklung vs. Machine und Deep Learning
• "Hello Model"
• Naming Is Hard
• Setup und Environment

Datensatz erstellen

• Tensoren, Geräte und CUDA
• Datasets
• Dataloader
• Datapipes

Training des Models

• Recap
• Models
• Loss Functions
• Gradients und Autograd
• Optimizers
• Raw Training Loop
• Evaluation
• Models speichern und laden
• NonLinearities

Erstellung einer Datapipe

• Ein neuer Datensatz
• Rundgang durch High-Level-Bibliotheken

Transfer Learning und Pretrained Models

• Was ist Transferlernen?
• Torch Hub
• Computer Vision
• Auslassen
• ImageFolder-Datensatz

Vortrainierte Modelle für Computer Vision

• PyTorch Image Models
• HuggingFace

Natural Language Processing

• Natural Language Processing
• Ein Logit oder zwei Logits?
• Cross-Entropy-Loss
• TensorBoard
• Hugging Face Pipelines
• Generative Models

Bildklassifikation mit Torchvision

• Torchvision
• Pretained Models als Feature Extractors

Pretained Models für Computer Vision

• Feinanpassung vortrainierter Modelle
• Zero-Shot-Image Klassifikation

Modelle mit TorchServe bereitstellen

• Archivierung und Bereitstellung von Models
• TorchServe

Datensätze und Transformationen für Objekterkennung und Bildsegmentierung

• Objekterkennung, Bildsegmentierung und Keypoint-Erkennung
• Bounding Boxes
• Torchvision-Operatoren
• Transforms (V2)
• Benutzerdefinierter Datensatz für Objekterkennung

Models für Objekterkennung und Bildsegmentierung

• Models

Models zur Bewertung der Objekterkennung

• Rückblick
• Vorhersagen treffen
• Bewertung
• YOLO
• HuggingFace Pipelines für Objekterkennung
• Zero-Shot-Objekterkennung

Word Embeddings und Text Classification

• Torchtext
• AG News-Datensatz
• Tokenisierung
• Embeddings
• Vektor Datenbanken
• Zero-Shot Text Classification
• Chunking-Strategien

Kontextuelle Word Embeddings mit Transformers

• Attention is All You Need
• Transformer
• Encoder-Based Model für die Klassifikation
• Kontextuelle Embeddings

Huggingface Pipelines für NLP-Aufgaben

• HuggingFace Pipelines

Zusammenfassung und LLMs

• EDGAR-Datensatz
• Halluzinationen
• Asymmetric Semantic Search
• ROUGE-Score
• Decoder-Based Models
• Large Language Models (LLMs)