Data engineer - transport - nantes

Description du poste L’agence Data Transport de Nantes vous propose d’évoluer au sein de projets variés et à fort enjeux pour des grands comptes leaders dans leur domaine (Ferroviaire, Logistique, Courrier, …) Composée de plus de 60 data ingénieurs, vous y rencontrerez des experts en data ingénierie, data architecte, data analyste et autres spécialistes de la valorisation de la donnée. Vous aurez en nous rejoignant l’opportunité de découvrir des solutions data du marché et d’être formé(e) à leur utilisation, ainsi qu’aux méthodes et pratiques de la data ingénierie Votre rôle et vos missions : En fonction de votre cursus de formation et de votre expérience, vous rejoignez une de nos équipe projet en totale immersion et serez accompagné(e), formé(e) et même selon le contexte certifié(e) sur toute ou parties des étapes de mise en œuvre et/ou de la maintenance d’une data plateforme, à savoir : L’ingestion des données Le stockage La préparation et transformation de la donnée La valorisation L’exposition et la visualisation Dans le cadre de la mise en place de plateforme Data pour nos clients et selon votre expérience et votre appétence, vous participez à : La compréhension des besoins métiers et la traduction solution de data ingénierie et ou data analyses La conception de la solution pour répondre au besoin La mise en œuvre de solution d’ingestion des données, quelles soit en batch et/ou en streaming dans un contexte Cloud La structuration du datalake, la mise en place des processus de gouvernance et de sécurisation des données Le traitement de la donnée jusqu’à l’exposition au métier Les tests de la solution mise en place La mise en place de la chaine CI /CD et de sa supervision La veille technologique avec nos partenaires éditeurs et la mise en place de prototype design, proof of concept ou encore MVP dans un objectif d’idéation pour nos clients. Environnement technique : Spark, Hadoop, Hive, Kafka, Nifi, Cloudera, Databricks, Dataiku, Power BI, Python, Airflow, Ansible, Terraform