En tant que Lead Data Engineer, vous êtes la référence technique de la plateforme data. Vous définissez les standards d’ingénierie, les patterns d’architecture et les bonnes pratiques permettant de construire des pipelines fiables, observables, industrialisés et scalables. Ce rôle couvre l’ensemble du flux de données — ingestion, transformation, exposition — avec une forte attente sur la maîtrise de la production, la qualité logicielle et l’excellence opérationnelle.
Responsabilités principales
- Définir et faire évoluer l’architecture des pipelines et des traitements data.
- Structurer les patterns d’ingénierie couvrant ingestion, transformation et exposition.
- Mettre en place les standards DataOps de l’équipe : CI/CD, tests automatiques, qualité, monitoring, alerting, exploitation.
- Piloter la stratégie de fiabilité en production : observabilité, incidents, reprises, SLA / SLO.
- Garantir la performance, la scalabilité et la maîtrise des coûts.
- Définir les standards de modélisation et d’industrialisation.
- Encadrer techniquement les Data Engineers et sécuriser les choix techniques.
- Collaborer avec les équipes Cloud, Platform, Sécurité, Analytics et Architecture.
- Contribuer aux chantiers de modernisation, rationalisation et migration des plateformes data.
- Excellente maîtrise de SQL, Python et des pratiques d’ingénierie de données en production.
- Très bonne compréhension des architectures data end-to-end : ingestion, transformation, exposition, consommation analytique.
- Maîtrise des orchestrateurs, du scheduling, des stratégies de reprise et du traitement des incidents.
- Expérience avancée dans la conception de pipelines robustes : idempotence, reprocessing, backfills, gestion des dépendances.
- Maîtrise des architectures médaillon et de leur industrialisation.
- Maîtrise des approches de modélisation : Data Vault 2.0 (Raw Vault / Business Vault) et modélisation dimensionnelle avancée.
- Capacité à standardiser frameworks, patterns, conventions de nommage et règles de qualité.
- Mise en œuvre de pipelines CI/CD pour le déploiement des traitements data.
- Définition et automatisation de tests techniques et fonctionnels (qualité, schéma, régression, intégration).
- Mise en place d’une observabilité data complète : logs, métriques, dashboards, alerting, runbooks
- Leadership technique reconnu.
- Capacité à structurer, arbitrer et faire converger.
- Forte culture de la fiabilité et de la qualité.
- Capacité à coacher et faire progresser les équipes.
- Excellente communication avec des interlocuteurs techniques et transverses.
- Snowflake : bases, schémas, warehouses, optimisation des requêtes et gestion des coûts.
- SQL ELT, gestion des données semi-structurées (JSON) et patterns d’ingestion cloud.
- Snowpipe / Snowpipe Streaming, Streams, Tasks, Dynamic Tables selon les cas d’usage.
- RBAC, policies de sécurité, masking et gouvernance des accès.
