Mettre en œuvre une solution d’analyse de données avec Azure Databricks (DP-3011)
Exploitez les performances d’Apache Spark sur Azure Databricks pour exécuter des charges de travail analytiques à grande échelle dans le cloud !
Vue d'ensemble
Maîtriser les bases de Python et de SQL (écriture de scripts simples, requêtes avec filtres, jointures et agrégations).
Être à l’aise avec le portail Azure et des services comme Azure Storage.
Avoir une compréhension générale des concepts liés aux données : traitement par lots vs temps réel, données structurées vs non structurées.
Objectifs pédagogiques
Programme détaillé
1. Découverte d’Azure Databricks
Présentation de la plateforme
Démarrage avec Azure Databricks
Identification des types de charges de travail pris en charge
Concepts fondamentaux d’Azure Databricks
Gouvernance des données avec Unity Catalog et Microsoft Purview
Prise en main d’Azure Databricks
2. Analyser des données avec Azure Databricks
Ingestion de données
Outils d’exploration disponibles dans la plateforme
Analyse via les API DataFrame
Exploration de données
3. Utiliser Apache Spark sur Azure Databricks
Introduction à Apache Spark
Création et configuration d’un cluster Spark
Utilisation de notebooks pour les traitements Spark
Lecture et traitement de fichiers avec Spark
Visualisation des données
Traitements Spark dans Azure Databricks
4. Gérer les données avec Delta Lake
Introduction à Delta Lake
Création et gestion de tables Delta
Application des schémas
Contrôle de version et historique des données
Assurer l’intégrité des données
Manipuler les données avec Delta Lake
5. Créer des pipelines avec Delta Live Tables
Présentation des pipelines Lakeflow
Ingestion et intégration des données
Traitements en temps réel avec Lakeflow
Mise en œuvre d’un pipeline déclaratif
6. Déployer des charges de travail avec Azure Databricks Workflows
Présentation des travaux Lakeflow
Composants essentiels des workflows
Bénéfices de l’automatisation des traitements
Déploiement de workloads avec les travaux Lakeflow
Création d’un workflow automatisé
Prochaines sessions
Avis des participants
Financement
Cette formation est éligible aux financements OPCO et FNE-Formation. Nos équipes vous accompagnent dans le montage de votre dossier.
En savoir plus sur le financement