Aller au contenuSkip to content
  1. AccueilHome
  2. FormationsTraining
  3. Plateformes de donnéesData platforms
  4. Databricks : concevoir un lakehouseDatabricks: Designing a Lakehouse
Plateformes de donnéesData platformsIntermédiaireIntermediate

Databricks : concevoir un lakehouseDatabricks: Designing a Lakehouse

Du lac de données désordonné au lakehouse gouverné, fiable et prêt pour l’analyse.

Turn a messy data lake into a governed, reliable lakehouse ready for analysis.

Construisez un lakehouse sur Databricks avec Delta Lake, Spark et Unity Catalog, de l’ingestion jusqu’aux tables prêtes pour l’analyse.

Build a lakehouse on Databricks with Delta Lake, Spark and Unity Catalog, from ingestion to analysis-ready tables.

  • DuréeDurationTrois joursThree days
  • NiveauLevelIntermédiaireIntermediate
  • FormatsFormatsInter-entreprisesPublic sessions, Intra-entrepriseIn-house, IndividuelOne-on-one
  • ModalitésDeliveryPrésentielIn person, À distanceOnline
DatabricksPythonSQL
Vous saurezYou will masterTransformations PySparkPySpark transformationsRequêtes Spark SQLSpark SQL queriesChargements MERGE incrémentauxIncremental MERGE loadsOptimisation des tables DeltaDelta table optimizationOrchestration de workflowsWorkflow orchestration
AperçuOverview

Pourquoi suivreWhy take cette formation ?this course?

Construisez un lakehouse sur Databricks avec Delta Lake, Spark et Unity Catalog, de l’ingestion jusqu’aux tables prêtes pour l’analyse.

Build a lakehouse on Databricks with Delta Lake, Spark and Unity Catalog, from ingestion to analysis-ready tables.

01

Fini le marécage de fichiersNo more file swamp

Delta Lake apporte transactions et historique à vos fichiers. Vos tables cessent de se corrompre au moindre chargement interrompu.

Delta Lake brings transactions and history to your files. Tables stop getting corrupted every time a load is interrupted.

02

Gouvernance centraliséeCentralized governance

Unity Catalog réunit droits, lignage et classification des données sensibles, un atout concret face aux exigences de la Loi 25.

Unity Catalog brings grants, lineage and sensitive data classification together, a real asset for meeting Quebec’s Law 25.

03

Clusters maîtrisésClusters under control

Choisir le bon type de calcul et organiser ses fichiers change tout aux performances comme à la facture infonuagique.

Choosing the right compute and organizing your files makes a major difference to both performance and your cloud bill.

ObjectifsObjectives

À la fin,By the end, vous saurez…you will be able to…

  1. Comprendre le modèle lakehouse et le rôle de Delta LakeUnderstand the lakehouse model and the role of Delta Lake
  2. Manipuler des données à grande échelle avec PySpark et Spark SQLWork with large data sets using PySpark and Spark SQL
  3. Orchestrer des traitements avec les workflows DatabricksOrchestrate processing with Databricks workflows
  4. Gouverner les données avec Unity CatalogGovern data with Unity Catalog
  5. Optimiser les performances et les coûts des clustersTune cluster performance and cost
En atelierHands-on

Un lakehouse complet, de l’ingestion aux tables d’analyseA complete lakehouse, from ingestion to analysis tables

Au fil d’un projet intégrateur, vous structurez des couches bronze, argent et or, les orchestrez dans un workflow et les gouvernez avec Unity Catalog.

Through a capstone project, you structure bronze, silver and gold layers, orchestrate them in a workflow and govern them with Unity Catalog.

  • Notebooks PySpark d’ingestionPySpark ingestion notebooks
  • Tables Delta avec MERGE incrémentalDelta tables with incremental MERGE
  • Workflow orchestré avec reprisesOrchestrated workflow with retries
  • Catalogue avec droits et lignageCatalog with grants and lineage
En sortant de la formationWhen you leave

Le participant met en place un lakehouse Databricks gouverné, avec des pipelines fiables et performants.

Participants set up a governed Databricks lakehouse with reliable, efficient pipelines.

ProgrammeProgram

Le programme,The program, module par module.module by module.

  1. 01
    Module 1Module 1

    Fondements du lakehouseLakehouse foundations

    • Du lac de données au lakehouseFrom data lake to lakehouse
    • Espace de travail DatabricksThe Databricks workspace
    • Clusters et entrepôts SQLClusters and SQL warehouses
  2. 02
    Module 2Module 2

    Spark en pratiqueSpark in practice

    • DataFrames et Spark SQLDataFrames and Spark SQL
    • Lecture de formats variésReading a variety of formats
    • Transformations et jointuresTransformations and joins
  3. 03
    Module 3Module 3

    Delta LakeDelta Lake

    • Transactions ACID et historiqueACID transactions and history
    • MERGE et chargements incrémentauxMERGE and incremental loads
    • OPTIMIZE et organisation des fichiersOPTIMIZE and file layout
  4. 04
    Module 4Module 4

    Pipelines et orchestrationPipelines and orchestration

    • Workflows et tâchesWorkflows and jobs
    • Pipelines déclaratifsDeclarative pipelines
    • Gestion des erreurs et reprisesError handling and retries
  5. 05
    Module 5Module 5

    GouvernanceGovernance

    • Unity Catalog : catalogues, schémas et droitsUnity Catalog: catalogs, schemas and grants
    • LignageLineage
    • Classification des données sensiblesClassifying sensitive data
Infos pratiquesPractical info

ModalitésHow it et organisation.works.

DuréeDuration

Trois joursThree days · ajustable en intra · adjustable in-house

FormatsFormats

Inter-entreprisesPublic sessions
Intra-entrepriseIn-house
IndividuelOne-on-one

ModalitésDelivery

Présentiel : dans nos locaux ou dans les vôtresIn person: at our offices or yours
À distance : en classe virtuelle, en directOnline: live virtual classroom

Public viséAudience

  • Ingénieurs de donnéesData engineers
  • Scientifiques de données qui industrialisent leurs traitementsData scientists moving work into production
  • Architectes de plateformesPlatform architects

PrérequisPrerequisites

  • Bonne maîtrise de SQLStrong SQL skills
  • Notions de PythonSome Python

PédagogieTeaching approach

  • Notebooks de laboratoire à réutiliserReusable lab notebooks
  • Projet intégrateur sur un jeu de données réalisteCapstone project on a realistic data set
  • Échanges sur les choix d’architecture vécus en missionDiscussion of architecture choices made on real engagements

ÉvaluationAssessment

Évaluation des acquis par des exercices pratiques et attestation de participation remise en fin de formation.Skills are assessed through hands-on exercises, and a certificate of attendance is issued at the end.

AccessibilitéAccessibility

Besoin d’une adaptation ? Dites-le-nous : nous ajustons le rythme, les supports ou la salle.Need an accommodation? Let us know: we adapt the pace, materials or room.
KBVotre formateur ou formatriceYour trainer

Karim Benali

Architecte de plateformes de données

Data platform architect

Il accompagne la mise en place d’entrepôts et de lakehouses, de la modélisation jusqu’à l’exploitation.

He helps teams set up warehouses and lakehouses, from modelling to day-to-day operations.

  • Microsoft FabricMicrosoft Fabric
  • SnowflakeSnowflake
  • dbtdbt
  • ModélisationModelling
Le projet intégrateur ressemblait vraiment à nos chantiers. On est repartis avec une architecture en couches qu’on a adoptée telle quelle.The capstone project felt just like our real work. We left with a layered architecture that we adopted as is.
Architecte de données, organisme publicData architect, public agency
FAQ

Vos questions,Your questions, nos réponses.our answers.

Une autre question ? Écrivez-nous dans le formulaire de demande, nous répondons rapidement.

Another question? Write to us in the request form, we reply quickly.

Quel niveau de Python faut-il?How much Python do I need?

Savoir lire et modifier un script simple suffit. Les notebooks fournis guident pas à pas, et chaque exercice peut aussi se faire en Spark SQL.

Being able to read and tweak a simple script is enough. The provided notebooks guide you step by step, and every exercise can also be done in Spark SQL.

Sur quel nuage se déroulent les laboratoires?Which cloud are the labs on?

Les laboratoires utilisent un espace de travail Databricks hébergé sur Azure. Les concepts s’appliquent aussi aux déploiements sur AWS ou Google Cloud.

Labs run in a Databricks workspace hosted on Azure. The concepts carry over to deployments on AWS or Google Cloud.

Quelle suite après cette formation?What comes next?

Selon vos besoins, la formation sur les flux en temps réel ou celle sur la qualité et l’observabilité des flux prolongent naturellement ce parcours.

Depending on your needs, the real-time streaming course or the pipeline quality and observability course are natural next steps.

Peut-on adapter cette formation à notre équipe ?Can this course be adapted to our team?

Oui. En intra, nous ajustons les exemples, la durée et les exercices à vos outils et, si vous le souhaitez, à vos propres données anonymisées.

Yes. In-house, we adjust examples, length and exercises to your tools and, if you wish, to your own anonymized data.

Reçoit-on une attestation ?Do participants receive a certificate?

Une attestation de participation est remise à chaque participant à la fin de la formation.

Each participant receives a certificate of attendance at the end of the course.

DemandeRequest

Organisons cette formationLet’s organize this course pour votre équipe.for your team.

Indiquez-nous votre contexte : nous revenons vers vous avec une proposition de dates, de format et, si besoin, un programme ajusté.

Tell us about your context: we will come back to you with suggested dates, format and, if needed, an adjusted program.

Plateformes de donnéesData platformsDatabricks : concevoir un lakehouseDatabricks: Designing a LakehouseTrois joursThree days · IntermédiaireIntermediate
  • Réponse rapide d’une personne de l’équipe formationA quick reply from someone on our training team
  • Programme ajusté à vos outils et à vos donnéesProgram adjusted to your tools and data
  • Dans vos locaux, dans les nôtres ou à distanceAt your offices, ours or online
* Champs obligatoires* Required fields
À découvrir aussiYou may also like

D’autres formationsMore courses pour votre équipe.for your team.

  • En interPublic session
  • En intraIn-house

Snowflake : bâtir et exploiter son entrepôt infonuagiqueSnowflake: Building and Running Your Cloud Data Warehouse

Prenez en main Snowflake de façon responsable : chargement, transformation, partage et maîtrise des coûts de calcul.

Get hands-on with Snowflake the responsible way: loading, transforming, sharing and keeping compute costs in check.

Deux joursTwo daysIntermédiaireIntermediate
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house

Modélisation dimensionnelle avec dbtDimensional Modelling with dbt

Modélisez des schémas en étoile solides et outillez vos transformations SQL avec dbt : tests, documentation et déploiement en continu.

Design solid star schemas and bring engineering discipline to your SQL transformations with dbt: tests, documentation and continuous deployment.

Quatre demi-journéesFour half daysIntermédiaireIntermediate
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house

Power BI : les fondamentauxPower BI Fundamentals

Passez de vos fichiers Excel à des rapports Power BI fiables et partagés. Une base solide pour connecter, modéliser et publier vos premiers tableaux de bord.

Move from Excel files to reliable, shared Power BI reports. A solid foundation to connect, model and publish your first dashboards.

Deux joursTwo daysDécouverteFoundation
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house
  • En individuelOne-on-one

Azure Data Factory : concevoir des pipelines fiablesAzure Data Factory: Building Reliable Pipelines

Orchestrez vos flux de données dans Azure Data Factory avec des pipelines paramétrés, surveillés et déployés de façon automatisée.

Orchestrate your data flows in Azure Data Factory with parameterized, monitored pipelines and automated deployment.

Deux joursTwo daysIntermédiaireIntermediate
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house
  • En individuelOne-on-one

Renseignements personnels : appliquer la Loi 25 au quotidienPersonal information: applying Law 25 day to day

Traduire les exigences de la Loi 25 sur la protection des renseignements personnels en gestes concrets pour vos équipes données, TI et métier.

Turn the requirements of Quebec’s Law 25 on personal information into practical habits for your data, IT and business teams.

Une journéeOne dayDécouverteFoundation
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house

IA générative, parcours Découvrir : comprendre et bien utiliserGenerative AI, Discover Track: Understand It and Use It Well

Premier jalon du parcours IA générative : comprendre comment fonctionnent les grands modèles de langage, ce qu’ils font bien, ce qu’ils font mal et comment les utiliser de façon responsable.

The first step of the generative AI track: learn how large language models work, what they do well, where they fall short and how to use them responsibly.

Une journéeOne dayDécouverteFoundation
Découvrir la formationDiscover the course
#MonterEnCompétencesUpskill

Construisons le plan de formation de votre équipe.Let’s build your team’s training plan.

Dites-nous qui vous voulez former et sur quoi : nous vous proposons un programme adapté, dans le format qui vous convient.

Tell us who you want to train and on what: we will propose a tailored program in the format that suits you.

Construisons la suite

Votre prochain défi.Une prochaine étape réfléchie.

Rejoindre l’équipe MiradorVoir les postes ouverts