Notre client, architecte des grandes transformations des entreprises et des acteurs publics, est l'un des acteurs majeurs de la transformation numérique. Il emploie 2500 collaborateurs en Europe, en Tunisie et en Amérique du Nord ainsi qu’en Asie Pacifique.
Ils interviennent ainsi sur des enjeux structurants pour leurs clients tels que : business & digital factories, plateformisation des services, smart places & cities et l’expérience collaborateurs. Dans le cadre d'une création de poste, ils recherchent aujourd'hui un Senior Data Engineer.
Missions principales :
- Définir et mettre en œuvre des architectures Data adaptées aux contextes des projets
- Développement des composants configurables d’ingestion (contrôle et traitement de données)
- Automatisation des pipelines de la collecte à l’export de données
- Collecte, consolidation, amélioration et modélisation de gros volumes de données (Big Data, Data Warehouse, Data Lake)
- Développer des composants de lignage (traçabilité des données)
- Développer et automatiser les flux de données de l'acquisition à la visualisation dans les tableaux de bord et les rapports
- Développer des APIs d’exposition de données
- Optimiser les traitements, revoir les codes, diffuser les bonnes pratiques d’usage
- Assurer l'évolutivité, la sécurité, la stabilité et la disponibilité des données des plateformes
- Travailler à exploiter les pipeline de données des clients et en créer de nouveaux, en s'assurant que l'architecture répondra aux exigences de ces derniers
- Prendre en charge les projets dès les discussions initiales, y compris l'estimation et la portée des fonctionnalités, la conception de l'architecture, le benchmark des nouvelles technologies, les retours sur les produits ...
- Participer, conseiller et accompagner les choix techniques des autres équipes impliquées (Data Scientists, Data Analysts, Business, Marketing, Produit etc ...)
- Contribuer au recrutement de profils Data Engineering pour la construction de l’équipe Data Craft
- Participer à la veille technologique et s’informer en permanence des nouveautés dans le domaine
- Niveau Bac+5 ou équivalent en Informatique avec une expérience minimum de 5 ans sur des problématiques de data engineering.
- Maitrise des langages de programmation (Python, Go, Scala, Spark ou autre ...)
- Expériences avérées en construction et supervision d'architectures de production: Batch / Streaming (Spark, Kafka ...), Data Warehouse (Snowflake), Big Data, Algorithm, NoSQL, programmation parallèle mais également d’exploitation de données, d’initialisation de données, d’orchestration des flux de données, création de pipe de données…
- Expériences sur les architectures cloud (Azure, AWS, Google Platform..)
- Expérience infrastructure as code
- Connaissances Devops
- Connaissances Oracle, Sql…