Data engineer finance et risque (h/f) (it) / freelance

Localisation : Maisons-Alfort (94)
Rythme : 2 jours sur site (lundi & jeudi) / 3 jours télétravail
Expérience : +8 ans
Démarrage : ASAP
Mission longue

Expérience en banque obligatoire.

Python / Spark / Entrepôts de données / Data Warehouse

1. Description du poste

Dans un contexte de transformation globale du SI et d'accélération autour des technologies Data & Cloud, nous recherchons un Data Engineer senior expert en Python, PySpark, traitement de données Spark et parfaitement à l?aise avec l?écosystème AWS.
Le rôle implique une forte dimension d?ingénierie logicielle : développement Python, tests unitaires (pytest), participation aux tests fonctionnels automatisés, mise en place de code modulaire, robuste et industrialisé.

Au quotidien, le Data Engineer devra concevoir et développer des jobs de traitement de données (notamment via AWS Glue), maîtriser l?ensemble de la stack AWS Data (S3, Athena, Secret Manager?), intervenir ponctuellement sur des instances EC2, et collaborer étroitement avec le Tech Lead afin de respecter les design patterns applicatifs et les standards d'architecture.

L?objectif majeur de la mission est de modulariser et architecturer les process Data pour construire des solutions évolutives, intégrées et orientées métier. Le poste nécessite une posture proactive, autonome, dynamique, ainsi qu?un excellent relationnel avec les PM et les équipes métiers, dans un environnement Agile SAFe.



Profil candidat:
Compétences techniques indispensables :

Python (expert), PySpark, Spark : développement, traitement de données, optimisation.


Testing : tests unitaires (pytest), participation aux tests fonctionnels automatisés.


Très bonne maîtrise du Cloud AWS :

AWS Glue (quotidien)


S3, Athena, Secret Manager


AWS Lambda, EMR, Kinesis


Connaissance des instances EC2




Maîtrise des pipelines d?ingestion/transformation dans AWS (Glue jobs, Lambda, EMR).


Langage SQL très solide.


Data streaming : AWS Kinesis, Kafka.


Bases analytiques / NoSQL : Redshift, Elasticsearch, Athena, RDS.


Stockage objet : AWS S3.


Bonnes pratiques DevOps : Git, Gitlab-CI, Jenkins, Docker, Kubernetes, Terraform, Helm...


Connaissance des environnements ETL, DataOps, qualité et gouvernance de données.


Orchestration : Control-M, Airflow, Oozie, Kubeflow.


API : Swagger/OpenAPI, JWT, API Management.


Gestion des droits & habilitations : AWS IAM, KMS, Ranger, Sentry.


Machine learning : Spark ML, services ML AWS, Elasticsearch ML.



Certifications (au moins une requise) :AWS Solutions Architect


AWS Database


AWS Developer


AWS Data Analytics



Compétences comportementales :Capacité à travailler en binôme avec un Tech Lead, respect des design patterns.


Forte autonomie, sens des responsabilités, proactivité, dynamisme.


Capacité à produire un code modulaire, propre, documenté et maintenable.


Mindset Agile, ouverture au changement, capacité à s'intégrer dans une logique SAFe.


Excellent communicant, capable d?interagir efficacement avec les métiers et les PM.