Data engineer expert h/f

AddixGroup est une société de conseil et réalisation en développement applicatif, data, cloud et cybersécurité. En somme, un partenaire en transformation digitale des entreprises, reconnu pour son professionnalisme et son approche clients / consultants.

Notre singularité : nous cherchons véritablement à développer nos consultants en portant leur carrière à la hauteur de leurs espérances. Nous les poussons dans leur formation et progression au travers de projets stimulants au sein d'entreprises à impact ou en phase de transformation vers un modèle plus responsable et durable.

Nous aidons nos clients à réussir leur transformation numérique en travaillant aux côtés de leurs équipes sur :
- Le développement et la maintenance de produits performants et durables avec un excellent niveau technique ;
- L'évaluation du niveau de sûreté / cybersécurité en combinant audit et pentests ainsi que la mise en oeuvre d'actions de remédiation ;
- L'évaluation, la mise en oeuvre et la migration de solutions cloud agnostiques ;
- L'exploitation de leur potentiel data en leviers de performance business. Dans le cadre de la migration d'une application métier vers Google Cloud Platform (GCP), nous recherchons un(e) Data Engineer expérimenté(e), capable de concevoir, adapter et déployer des pipelines de données robustes et scalables dans un environnement distribué.
Le projet implique la transformation d'un système de traitement de données on-premise vers un environnement cloud moderne, en garantissant la continuité de service, la performance et la sécurité.

Le/la Data Engineer interviendra sur les tâches suivantes :

Migration & Refonte
- Évaluer l'existant : architecture data, flux ETL, référentiels, performances.
- Redéfinir et réimplémenter les pipelines dans un écosystème GCP.
- Participer à la migration des traitements Hadoop vers Spark sur cloud.
- Développer et automatiser les scripts nécessaires à l'intégration continue des données (CI/CD).

Développement et industrialisation
- Développer des traitements de données robustes et performants.
- Assurer la qualité et la traçabilité des données tout au long des étapes de migration.
- Intégrer les traitements dans des outils d'ordonnancement (Control-M).
- Déployer les flux via des outils d'intégration (Bamboo, Git).

Restitution & reporting
- Assurer la génération de rapports et tableaux de bord via Power BI, Spotfire ou BO.
- Collaborer avec les équipes BI pour garantir la cohérence de la chaîne de reporting.

Maintenance & amélioration continue
- Gérer le monitoring et le support des flux de données migrés.
- Participer à l'amélioration continue de l'architecture de traitement.
- Documenter les processus dans Confluence et suivre les tickets Jira.

Environnement technologique :

Langages & Frameworks :
- Java (REST API, Hadoop MapReduce)
- Apache Spark
- Scripting : Shell / Python / Bash

Cloud & Orchestration :
- Google Cloud Platform (BigQuery, Cloud Storage, Dataflow, Composer)
- Control-M
- Bamboo

Outils BI & Reporting :
- Power BI
- Business Objects
- TIBCO Spotfire

Base de données :
- MongoDB
- SQL (PostgreSQL, MySQL)
- Teradata
- BigQuery

DEVOPS & Collaboration :
- Git
- Unix / Linux
- Jira, Confluence
- Méthodologie Agile (Scrum / Kanban)