Fine-tuning des LLM : techniques, outils et bonnes pratiques
De la donnée au modèle réellement adapté à votre cas d’usage !
Vue d'ensemble
Bases solides en apprentissage automatique.
Pratique de Python.
Familiarité avec les Large Language Models et leurs usages.
Objectifs pédagogiques
Programme détaillé
Module 1 — Panorama du fine-tuning et du transfert d’apprentissage
Définition et bénéfices du fine-tuning
Modèles pré-entraînés et transfert d’apprentissage
Cas d’usage typiques et critères de choix
Module 2 — Données : collecte, nettoyage, EDA et préparation
Constitution et nettoyage des datasets
Exigences de données selon la tâche
Analyse exploratoire (EDA) et prétraitements
Module 3 — Techniques de fine-tuning
Transfert d’apprentissage vs extraction de caractéristiques
Stratégies pour tâches supervisées et non supervisées
Fine-tuning de Transformers avec l’écosystème Hugging Face
Module 4 — Adapter les LLM aux tâches NLP
Préparer des jeux de données spécifiques (classification, synthèse, etc.)
Entraîner/affiner des LLM sur des données personnalisées
Contrôler le comportement via le prompt engineering
Module 5 — Optimisation et évaluation
Réglage des hyperparamètres
Métriques et protocoles d’évaluation
Diagnostiquer et traiter sur-apprentissage/sous-apprentissage
Module 6 — Passage à l’échelle
Entraînement sur systèmes distribués
Exploiter le cloud pour la scalabilité
Études de cas de projets de fine-tuning à grande échelle
Module 7 — Bonnes pratiques, dépannage et éthique
Bonnes pratiques pour réussir un fine-tuning
Problèmes fréquents et pistes de résolution
Enjeux éthiques de l’adaptation des modèles
Module 8 — Sujets avancés (optionnel)
Fine-tuning de modèles multimodaux
Zero-shot et few-shot learning
LoRA (Low-Rank Adaptation) : principes et usages
Module 9 — Synthèse et prochaines étapes
Récapitulatif des acquis
Ressources et orientations pour aller plus loin
Prochaines sessions
Avis des participants
Financement
Cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
En savoir plus sur le financement