PyTorch
Devenez opérationnel en Deep Learning avec PyTorch, du tensor au modèle déployable !
Vue d'ensemble
Maîtrise opérationnelle de Python, notions en machine learning supervisé, connaissances de base en algèbre linéaire et en calcul différentiel, familiarité avec l'écosystème PyData et l'usage de notebooks Jupyter.
Objectifs pédagogiques
Programme détaillé
Prise en main de PyTorch et de l’environnement de développement
Installation de Python, PyTorch et bibliothèques associées (torchvision, torchaudio, numpy, pandas)
Organisation d’un projet : environnement virtuel, structure de répertoires, gestion des dépendances
Notions fondamentales : tenseurs, types, device (cpu/cuda), opérations de base et broadcasting
Présentation de l’auto-grad, du graphe de calcul et de la gestion des gradients
Création de Dataset personnalisés et usage des DataLoader (batchs, shuffle, num_workers)
Présentation des supports pédagogiques : notebooks Jupyter, Colab et dépôt de code fourni
TP : installation guidée et test de l’environnement (import torch, détection du GPU, premier tensor)
Exercice : manipulation de tenseurs (création, reshape, opérations mathématiques, passage CPU/GPU)
Exercice : création d’un Dataset + DataLoader sur un jeu de données tabulaire open source et sur MNIST
Réseaux de neurones fully connected et entraînement de modèles
Rappels sur les réseaux de neurones feed-forward : couches linéaires, fonctions d’activation, fonctions de coût
Architecture d’un MLP dans PyTorch : nn.Linear, nn.ReLU, nn.Sequential vs classe personnalisée
Boucle d’entraînement standard : forward pass, calcul de la loss, backward, step de l’optimiseur
Séparation train/validation/test, gestion des epochs et suivi des métriques
Utilisation de torch.save et torch.load pour sauvegarder et recharger poids et modèles
Structuration d’un notebook d’expérimentation (config, données, modèle, entraînement, résultats)
TP guidé : implémentation d’un MLP pour prédire une classe sur un dataset tabulaire (ex : churn / crédit)
Exercice : ajout de métriques personnalisées, traçage des courbes de perte et d’accuracy
Mini-projet : sauvegarde du meilleur modèle, rechargement et évaluation sur un jeu de test séparé
Convolutional Neural Networks, vision par ordinateur et optimisation des modèles
Rappels sur les convolutions, le pooling et la hiérarchie de caractéristiques en vision par ordinateur
Construction d’un CNN avec nn.Conv2d, nn.MaxPool2d, nn.Flatten, etc. et utilisation de torchvision.datasets
Optimisation : choix de la fonction de coût, des optimiseurs (SGD, Adam), learning rate et batch size
Régularisation : dropout, data augmentation, weight decay, early stopping, schedulers de taux d’apprentissage
Suivi et comparaison des expériences (logs, tableaux de résultats, éventuelle intégration avec TensorBoard)
Évaluation avancée : matrice de confusion, erreurs typiques, interprétation qualitative des prédictions
TP : entraînement d’un CNN de base sur MNIST ou Fashion-MNIST avec un jeu de paramètres par défaut
Atelier : application progressive de dropout, data augmentation et scheduler, comparaison des métriques
Exercice : rédaction d’un court rapport d’expérimentation (config, résultats, choix retenus) dans le notebook
Données séquentielles, NLP et introduction aux Transformers
Pipeline NLP : collecte, nettoyage, tokenisation, encodage (index, embeddings) et gestion des longueurs de séquence
Utilisation de torch.nn.Embedding et des modules RNN, LSTM ou GRU pour modéliser des séquences
Gestion des DataLoader pour des séquences (padding, masks éventuels)
Présentation des mécanismes d’attention et de la structure générale d’un Transformer (sans entrer dans tous les détails mathématiques)
Introduction à Hugging Face Transformers ou équivalent pour l’inférence avec un modèle pré-entraîné (ex : DistilBERT)
Comparaison de performances et de coûts (temps d’entraînement, ressources) entre modèle LSTM maison et modèle pré-entraîné
TP : construction d’un pipeline NLP complet pour de la classification de sentiment (tweets ou reviews) avec un LSTM PyTorch
Exercice : mise en place d’un script d’inférence utilisant un modèle Transformer pré-entraîné pour la même tâche
Comparaison des métriques et discussion des choix d’architecture en groupe (tableau de synthèse dans le notebook)
Transfert d’apprentissage et pipeline d’inférence réutilisable
Principe du transfert d’apprentissage : freeze/unfreeze de couches, réutilisation de features pré-apprises
Utilisation de modèles pré-entraînés de torchvision (ex : ResNet) ou d’un modèle NLP pré-entraîné en fine-tuning léger
Construction d’un pipeline d’inférence : chargement du modèle, prétraitement des données, prédictions et post-traitement
Sauvegarde des artefacts : poids du modèle, configuration, encoders, normalisation
Introduction aux bonnes pratiques de versionning (Git, branches simples), tracking des expériences et gestion de requirements.txt/conda.yaml
Bonnes pratiques de structuration d’un projet ML en vue d’une future mise en production (séparation entraînement / inférence, scripts CLI ou squelette d’API)
Mini-projet : fine-tuning d’un modèle pré-entraîné (vision ou NLP) sur un petit dataset métier, comparaison avec un modèle from scratch
TP : création d’un notebook ou script d’inférence autonome prenant en entrée un fichier (image ou texte) et renvoyant une prédiction
Exercice de clôture : création d’un dépôt Git local du projet de formation (code, modèles sauvegardés, README de reprise en main)
Prochaines sessions
Avis des participants
Financement
Cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
En savoir plus sur le financement