Aller au contenuSkip to content
  1. AccueilHome
  2. FormationsTraining
  3. Intégration et fluxIntegration and data flows
  4. Qualité et observabilité des flux de donnéesData Pipeline Quality and Observability
Intégration et fluxIntegration and data flowsIntermédiaireIntermediateNouveauNew

Qualité et observabilité des flux de donnéesData Pipeline Quality and Observability

Sachez qu’un flux est brisé avant que vos utilisateurs ne vous l’apprennent.

Know a pipeline is broken before your users tell you.

Détectez les données manquantes, en retard ou erronées avant vos utilisateurs. Une méthode concrète pour surveiller vos pipelines et réagir vite.

Catch missing, late or wrong data before your users do. A practical method to monitor your pipelines and respond quickly.

  • DuréeDurationUne journéeOne day
  • NiveauLevelIntermédiaireIntermediate
  • FormatsFormatsInter-entreprisesPublic sessions, Intra-entrepriseIn-house
  • ModalitésDeliveryÀ distanceOnline, HybrideHybrid
SQLPythondbt
Vous saurezYou will masterDéfinition d’attentes mesurablesSetting measurable expectationsTests de qualité automatisésAutomated quality testsSuivi de la fraîcheurFreshness monitoringDétection des changements de schémaSchema change detectionGestion des incidentsIncident management
AperçuOverview

Pourquoi suivreWhy take cette formation ?this course?

Détectez les données manquantes, en retard ou erronées avant vos utilisateurs. Une méthode concrète pour surveiller vos pipelines et réagir vite.

Catch missing, late or wrong data before your users do. A practical method to monitor your pipelines and respond quickly.

01

La confiance se perd viteTrust is lost quickly

Un tableau de bord faux une seule fois suffit pour que les gestionnaires retournent à leurs fichiers Excel. La qualité se surveille en continu.

One wrong dashboard is enough to send managers back to their spreadsheets. Quality has to be monitored continuously.

02

Les sources changent sans prévenirSources change without notice

Une colonne renommée ou un chargement partiel en amont peut fausser vos rapports pendant des jours si rien ne le détecte.

A renamed column or a partial upstream load can skew your reports for days if nothing is there to catch it.

03

Moins d’alertes, plus utilesFewer, better alerts

Des seuils bien choisis et un processus d’escalade clair évitent la fatigue d’alertes qui pousse les équipes à tout ignorer.

Well-chosen thresholds and a clear escalation process prevent the alert fatigue that pushes teams to ignore everything.

ObjectifsObjectives

À la fin,By the end, vous saurez…you will be able to…

  1. Définir des attentes de qualité mesurables pour un fluxSet measurable quality expectations for a data flow
  2. Mettre en place des contrôles automatisés à chaque étapePut automated checks in place at every stage
  3. Surveiller la fraîcheur, le volume et la structure des donnéesMonitor data freshness, volume and structure
  4. Organiser la réponse aux incidents de donnéesOrganize the response to data incidents
  5. Communiquer l’état de santé des données aux utilisateursCommunicate data health to users
En atelierHands-on

Un plan de contrôles pour l’un de vos propres fluxA checks plan for one of your own pipelines

À partir d’un flux réel de votre organisation, vous définissez les attentes, choisissez les contrôles et rédigez l’ébauche d’un contrat de données avec l’équipe source.

Starting from a real pipeline in your organization, you set expectations, choose checks and draft a data contract with the source team.

  • Règles de qualité prioriséesPrioritized quality rules
  • Tests SQL et dbt automatisésAutomated SQL and dbt tests
  • Tableau de bord de santéPipeline health dashboard
  • Ébauche de contrat de donnéesDraft data contract
En sortant de la formationWhen you leave

Le participant met en place des contrôles et une surveillance qui rendent ses flux de données fiables et transparents.

Participants set up checks and monitoring that make their data pipelines dependable and transparent.

ProgrammeProgram

Le programme,The program, module par module.module by module.

  1. 01
    Module 1Module 1

    Pourquoi les flux se brisentWhy pipelines break

    • Changements de structure à la sourceSchema changes at the source
    • Retards et chargements partielsDelays and partial loads
    • Coût d’une erreur découverte trop tardThe cost of an error found too late
  2. 02
    Module 2Module 2

    Contrôles de qualitéQuality checks

    • Règles de complétude, d’unicité et de validitéCompleteness, uniqueness and validity rules
    • Tests dans le code SQL et dbtTests in SQL and dbt
    • Quarantaine des enregistrements rejetésQuarantining rejected records
  3. 03
    Module 3Module 3

    ObservabilitéObservability

    • Fraîcheur, volume, distribution, schémaFreshness, volume, distribution, schema
    • Tableaux de bord de santé des fluxPipeline health dashboards
    • Alertes utiles plutôt que bruyantesAlerts that help instead of adding noise
  4. 04
    Module 4Module 4

    Gérer les incidentsHandling incidents

    • Rôles et escaladeRoles and escalation
    • Analyse des causesRoot cause analysis
    • Contrats de données avec les équipes sourcesData contracts with source teams
Infos pratiquesPractical info

ModalitésHow it et organisation.works.

DuréeDuration

Une journéeOne day · ajustable en intra · adjustable in-house

FormatsFormats

Inter-entreprisesPublic sessions
Intra-entrepriseIn-house

ModalitésDelivery

À distance : en classe virtuelle, en directOnline: live virtual classroom
Hybride : des temps en salle et à distanceHybrid: a mix of classroom and online time

Public viséAudience

  • Ingénieurs de données et développeurs ETLData engineers and ETL developers
  • Responsables de plateformes analytiquesAnalytics platform owners
  • Fiduciaires de donnéesData stewards

PrérequisPrerequisites

  • Expérience de développement ou d’exploitation de pipelines de donnéesExperience building or running data pipelines

PédagogieTeaching approach

  • Scénarios d’incidents simulésSimulated incident scenarios
  • Conception d’un plan de contrôles pour un de vos fluxDesigning a checks plan for one of your own pipelines
  • Gabarit de contrat de données remisData contract template to take away

ÉvaluationAssessment

Évaluation des acquis par des exercices pratiques et attestation de participation remise en fin de formation.Skills are assessed through hands-on exercises, and a certificate of attendance is issued at the end.

AccessibilitéAccessibility

Besoin d’une adaptation ? Dites-le-nous : nous ajustons le rythme, les supports ou la salle.Need an accommodation? Let us know: we adapt the pace, materials or room.
JFVotre formateur ou formatriceYour trainer

Julie Fortin

Ingénieure de données principale

Principal data engineer

Elle orchestre des flux critiques et transmet les bonnes pratiques de qualité, de surveillance et de reprise.

She orchestrates critical data flows and shares good practices for quality, monitoring and recovery.

  • Azure Data FactoryAzure Data Factory
  • TalendTalend
  • APIAPIs
  • ObservabilitéObservability
Nos utilisateurs nous signalaient les erreurs avant nous. Maintenant, c’est l’alerte qui arrive en premier, avec la cause probable.Our users used to report errors before we did. Now the alert comes first, along with the likely cause.
Responsable de plateforme analytique, coopérative financièreAnalytics platform lead, financial cooperative
FAQ

Vos questions,Your questions, nos réponses.our answers.

Une autre question ? Écrivez-nous dans le formulaire de demande, nous répondons rapidement.

Another question? Write to us in the request form, we reply quickly.

Faut-il utiliser dbt pour profiter de la formation?Do I need dbt to benefit from this course?

Non. Les principes valent pour tout outil. Nous montrons des exemples en SQL, en Python et en dbt, et vous adaptez le plan de contrôles à votre propre outillage.

No. The principles apply to any tool. We show examples in SQL, Python and dbt, and you adapt the checks plan to your own tooling.

Une journée, est-ce suffisant?Is one day enough?

Pour repartir avec une méthode et un plan concret pour un flux, oui. En intra, nous pouvons prolonger avec un accompagnement sur la mise en place.

To leave with a method and a concrete plan for one pipeline, yes. For private sessions, we can follow up with hands-on support during implementation.

Parlez-vous d’outils d’observabilité du marché?Do you cover commercial observability tools?

Nous présentons les grandes familles d’outils et les critères pour choisir, sans favoriser un fournisseur. L’accent reste sur la méthode, applicable partout.

We present the main tool families and how to choose, without favouring any vendor. The focus stays on a method you can apply anywhere.

Peut-on adapter cette formation à notre équipe ?Can this course be adapted to our team?

Oui. En intra, nous ajustons les exemples, la durée et les exercices à vos outils et, si vous le souhaitez, à vos propres données anonymisées.

Yes. In-house, we adjust examples, length and exercises to your tools and, if you wish, to your own anonymized data.

Reçoit-on une attestation ?Do participants receive a certificate?

Une attestation de participation est remise à chaque participant à la fin de la formation.

Each participant receives a certificate of attendance at the end of the course.

DemandeRequest

Organisons cette formationLet’s organize this course pour votre équipe.for your team.

Indiquez-nous votre contexte : nous revenons vers vous avec une proposition de dates, de format et, si besoin, un programme ajusté.

Tell us about your context: we will come back to you with suggested dates, format and, if needed, an adjusted program.

Intégration et fluxIntegration and data flowsQualité et observabilité des flux de donnéesData Pipeline Quality and ObservabilityUne journéeOne day · IntermédiaireIntermediate
  • Réponse rapide d’une personne de l’équipe formationA quick reply from someone on our training team
  • Programme ajusté à vos outils et à vos donnéesProgram adjusted to your tools and data
  • Dans vos locaux, dans les nôtres ou à distanceAt your offices, ours or online
* Champs obligatoires* Required fields
À découvrir aussiYou may also like

D’autres formationsMore courses pour votre équipe.for your team.

  • En interPublic session
  • En intraIn-house
  • En individuelOne-on-one

Azure Data Factory : concevoir des pipelines fiablesAzure Data Factory: Building Reliable Pipelines

Orchestrez vos flux de données dans Azure Data Factory avec des pipelines paramétrés, surveillés et déployés de façon automatisée.

Orchestrate your data flows in Azure Data Factory with parameterized, monitored pipelines and automated deployment.

Deux joursTwo daysIntermédiaireIntermediate
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house
  • En individuelOne-on-one

Intégrer des données par APIIntegrating Data Through APIs

Récupérez et exposez des données par API de façon sécuritaire : authentification, pagination, limites d’appels et chargement dans vos plateformes.

Pull and expose data through APIs securely: authentication, pagination, rate limits and loading into your data platforms.

Trois demi-journéesThree half daysIntermédiaireIntermediate
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house

Power BI : les fondamentauxPower BI Fundamentals

Passez de vos fichiers Excel à des rapports Power BI fiables et partagés. Une base solide pour connecter, modéliser et publier vos premiers tableaux de bord.

Move from Excel files to reliable, shared Power BI reports. A solid foundation to connect, model and publish your first dashboards.

Deux joursTwo daysDécouverteFoundation
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house

Modélisation dimensionnelle avec dbtDimensional Modelling with dbt

Modélisez des schémas en étoile solides et outillez vos transformations SQL avec dbt : tests, documentation et déploiement en continu.

Design solid star schemas and bring engineering discipline to your SQL transformations with dbt: tests, documentation and continuous deployment.

Quatre demi-journéesFour half daysIntermédiaireIntermediate
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house
  • En individuelOne-on-one

Renseignements personnels : appliquer la Loi 25 au quotidienPersonal information: applying Law 25 day to day

Traduire les exigences de la Loi 25 sur la protection des renseignements personnels en gestes concrets pour vos équipes données, TI et métier.

Turn the requirements of Quebec’s Law 25 on personal information into practical habits for your data, IT and business teams.

Une journéeOne dayDécouverteFoundation
Découvrir la formationDiscover the course
#MonterEnCompétencesUpskill

Construisons le plan de formation de votre équipe.Let’s build your team’s training plan.

Dites-nous qui vous voulez former et sur quoi : nous vous proposons un programme adapté, dans le format qui vous convient.

Tell us who you want to train and on what: we will propose a tailored program in the format that suits you.

Construisons la suite

Votre prochain défi.Une prochaine étape réfléchie.

Rejoindre l’équipe MiradorVoir les postes ouverts