Data Streaming : traitement des données en temps réel
4 jours de formation pour apprendre à traiter des flux continus de données !
Vue d'ensemble
Bonnes connaissances en python 3 (ou sur un autre langage de programmation orienté Back-end), un niveau intermédiaire en SQL.
Objectifs pédagogiques
Programme détaillé
Introduction : principes fondamentaux du data streaming
Les avantages d’une architecture distribuée résiliente pour les systèmes de data streaming
Tolérance aux pannes, callbacks et scalabilité
Acheminement des messages entre les micro-services d’un système
Suivre l’activité, les logs et collecter des mesures
Gérer des flux de données avec Kafka Streams API ou Spark Streaming
Comment les géants de la Tech utilisent le streaming dans leurs activités quotidiennes (Netflix, LinkedIn, Uber…) ?
Architecture
Gérer les sources de données (évènements, messages, logs…)
La problématique de load balacing dynamique
Spark pour les pannes et la récupération
L’unification des analyses par lots (batchs), en streaming et interactives
Analytics avancée avec le Machine Learning et requêtes interactives en SQL
Intégration de données en temps réel avec Databricks, Spark, Kafka ou Snowflake.
Gestion des pipelines de données Cloud avec Kafka, Airflow et Spark
Producers, consumers et concepts de réplication
Brokers, clusters, topics et partition
Le streaming de données comme moyen pour partager les données
Gestion d’un data workflow avec les DAGs (Directed Acyclic Graphs) d’Airflow, gestion des brokers kafka avec Zookeeper.
Mise en œuvre d'un pipeline de données temps réel
Data streaming pour une architecture orientée évènements
Data streaming pour échantillons classiques de données
Data streaming pour les industries et l’Internet des Objets (IoT)
Projet final : construction d’un pipeline de données temps réel « from scratch » avec Kafka, Airflow, Spark, Snowflake ou Databricks (au choix des stagiaires, avec les données de leur organisation, si possible et planifié à l’avance).
Prochaines sessions
21 sept. 2026
Distance - Français
21 sept. 2026
Lille - Français
21 sept. 2026
Nantes - Français
21 sept. 2026
Paris - Français
27 oct. 2026
Lyon - Français
27 oct. 2026
Distance - Français
27 oct. 2026
Grenoble - Français
27 oct. 2026
Toulouse - Français
27 oct. 2026
Aix-en-Provence - Français
24 nov. 2026
Paris - Français
24 nov. 2026
Nantes - Français
24 nov. 2026
Lille - Français
24 nov. 2026
Distance - Français
7 déc. 2026
Lyon - Français
7 déc. 2026
Distance - Français
7 déc. 2026
Grenoble - Français
7 déc. 2026
Toulouse - Français
7 déc. 2026
Aix-en-Provence - Français
Avis des participants
Financement
Cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
En savoir plus sur le financement