Data engineer senior (it) / freelance

Objectifs et livrables

Dans le cadre du lancement de notre nouveau projet, nous recherchons une prestation de Data Engineer senior pour concevoir et mettre en ?uvre des pipelines de données dans un environnement serverless exigeant.

Le prestataire Data Engineer senior doit être capable de produire, mais aussi de comprendre les enjeux métier, de cadrer les sujets en amont, de faire les bons choix de conception et de diffuser son savoir-faire au sein de la squad.



Missions principales :

Concevoir et développer des pipelines de données en Python


Implémenter des traitements batch et des orchestrations via Azure Durable Functions


Manipuler des données volumineuses, notamment au format Parquet


Mettre en place des validations de schémas et des contrôles de qualité de données


Assurer l?intégration avec des APIs externes


Participer à la modélisation et à l?optimisation des bases Azure SQL


Mettre en ?uvre l?observabilité de la solution : traces, métriques, logs


Industrialiser les déploiements via CI/CD ? Garantir la qualité et la sécurité du code


Contribuer à l?analyse des besoins et au cadrage des sujets avant implémentation


Porter une réflexion de conception sur les choix techniques, les compromis et la maintenabilité


Utiliser l?IA comme un levier d?ingénierie concret : accélérer l?exécution, explorer des options, challenger des choix, améliorer la qualité et gagner en efficacité, sans déléguer la réflexion ni baisser le niveau d?exigence


Partager ses pratiques, expliciter ses choix et contribuer à la montée en compétence de la squad


Travailler efficacement dans un environnement international, y compris en anglais sur des sujets techniques et de conception





Profil recherché :

Capable de comprendre rapidement les enjeux métier et de les traduire en solutions robustes et pragmatiques


Capable de penser le problème avant de se focaliser sur l?implémentation


Doté d?une vraie expertise d?ingénierie et de conception, au-delà de la seule maîtrise d?un langage, d?un framework ou d?une version spécifique


Capable d?utiliser les outils d?IA de manière avancée, critique et pertinente, et non comme un simple générateur de code


Proactif, précis et honnête sur ses capacités, ses limites et les risques associés à ses choix


Capable de produire de la synthèse utile à la décision


Attiré par l?immersion dans les sujets, le partage, la transmission et le travail transverse





Compétences requises :

Langage :

Python



Cloud :

Expérience des Azure Functions, notamment Durable Functions v2


Capacité à récupérer et exploiter des données depuis différentes sources Azure : Data Lake, Blob Storage, Azure DB



Data processing:

Pandas


Polars


PyArrow



Langues : Bon niveau d?anglais, permettant de participer de manière autonome à des échanges techniques et de conception, à l?écrit comme à l?oral



La valeur attendue réside aussi dans la capacité à comprendre les enjeux, concevoir les bonnes solutions, utiliser l?IA avec discernement, expliciter les choix et faire progresser l?équipe.



Compétences demandées

PYTHON - Expert

POLARS - Confirmé

PYARROW - Confirmé

PANDAS - Confirmé

Fonctions Azure - Expert



Niveau de langue

Anglais - Courant



Profil candidat:
Compétences requises :

Langage :

Python



Cloud :

Expérience des Azure Functions, notamment Durable Functions v2


Capacité à récupérer et exploiter des données depuis différentes sources Azure : Data Lake, Blob Storage, Azure DB



Data processing:

Pandas


Polars


PyArrow



Langues : Bon niveau d?anglais, permettant de participer de manière autonome à des échanges techniques et de conception, à l?écrit comme à l?oral