Data engineer (h/f) (it) / freelance

Rejoignez TRUST’IT Créée en 2016, TRUST’IT compte aujourd’hui plus de 100 collaborateurs et un chiffre d’affaires de plus de 10 M€. Spécialistes de l’infrastructure, de la production et des métiers fonctionnels (Business Analyst, PO, Scrum Master…), nous proposons principalement des missions longues (2 à 3 ans). Notre force : une culture d’entreprise familiale, un turnover quasi nul et un mot d’ordre clair – la confiance. Chez TRUST’IT, nous plaçons l’épanouissement de nos collaborateurs au cœur de notre réussite. Nos avantages ✅ 25 CP 10 RTT ✅ Mutuelle/prévoyance 100 % gratuite pour vous et votre famille ✅ Navigo intégralement remboursé panier repas ✅ Prime d’intéressement & de cooptation (1 500 €) ✅ Chèques cadeaux, vacances, culture, rentrée scolaire ✅ Accès gratuit à de 3 000 infrastructures sport & bien-être TRUST’IT, ce n’est pas une ESN comme les autres… c’est une famille ! Nous recherchons pour notre client, un Data Engineer (H/F) Contexte : Des tâches quotidiennes liées au maintien de la production en condition opérationnelle. Vos interlocuteurs privilégiés seront les équipes de production applicative, les équipes infrastructures, les plateformes internationales, mais également les équipes métiers pour lesquelles vous apporterez votre support et votre expertise technique. Missions : Conception et mise en œuvre de l'ingestion et du stockage de données : Identifier et formaliser les besoins des métiers en matière de collecte et de stockage de données. Développer des solutions d'acquisition de données via API. Concevoir et implémenter des architectures de stockage de données robustes (Ex: Ozone, Hadoop, Druid, Clickhouse…). Valider la qualité des développements par des tests unitaires et d'intégration. Automatiser les traitements de données via la mise en place et la maintenance de batch. Valorisation et sécurisation des données : Industrialiser les processus de nettoyage et de transformation des données. Gérer et documenter des bases de données hétérogènes, en intégrant diverses sources de données. Veiller à la conformité RGPD dans la gestion du cycle de vie des données. Superviser l'exploitation et assurer la maintenance corrective et évolutive des systèmes de données. Intégration et suivi des modèles prédictifs : Industrialiser le déploiement de modèles statistiques et de machine learning. Mettre en place des dispositifs de validation et de monitoring des modèles. Assurer le suivi opérationnel et la maintenance des modèles intégrés aux applications. Contribution au pilotage projet : Définir les spécifications techniques précises en appui de l'analyse des besoins. Environnement technique : Les composants basés sur le logiciel de l’éditeur Cloudera CDP 7.1 :Hbase, Hive, Kafka, Solr, Knox, Spark,Ranger, Zookeeper, Kerberos LDAP •Être force de proposition sur les évolutions techniques du périmètre Data avec la nouvelle offre containérisée : Cloudera Data Services (Infra Openshift K8s) •Contribuer à l'élaboration et à l'exécution des stratégies de migration des clusters Hadoop Cloudera. •Aisance avec l’écosystème Apache (Outils OpenSource),Build (Java, Maven, Gradle), Automatisation avec Ansible •Connaissance Trino/Starburst, AirFlow, Flink •Participer à la résolution de problèmes complexes sur les plateformes Data (Capacité d’analysedes incidents applicatif de type Hive, Yarn, Spark) •Apporter un support quotidien aux équipes applicatives et métiers dans leurs études de cas d’usage, leurs problématiques de développement ou de montée en charge. •Le poste est soumis à astreintes et interventions hors périodes ouvrées par rotation .Couverture horaire de l’équipe : 8h/19h