Stage data engineer h/f

> Mission Devenir un Data Engineer expert capable de concevoir, construire et maintenir des pipelines de données à grande échelle sur AWS, en maîtrisant les architectures modernes de données (Data Lake, Data Warehouse, Lakehouse) et les meilleures pratiques d'ingénierie logicielle appliquées à la data. > Description du Poste Taïga recherche un stagiaire passionné par l'univers du Big Data et de l'Intelligence Artificielle pour rejoindre son équipe d'experts. Ce stage de 6 mois offre une opportunité exceptionnelle de se former aux architectures de données modernes tout en participant à des projets techniques complexes. Au coeur de votre mission, vous travaillerez sur la conception et l'implémentation d'architectures de données à grande échelle, gérant des volumes considérables allant de millions de fichiers à plusieurs téraoctets de données. Vous serez exposé aux technologies les plus avancées du marché, incluant les architectures Data Lake pour le stockage massif de données brutes, Data Warehouse pour l'analyse structurée, et Lakehouse combinant le meilleur des deux mondes avec Apache Iceberg. Les projets sur lesquels vous interviendrez incluent des migrations de plateformes data legacy vers des architectures AWS modernes, la construction de Data Lakes multi-sources avec orchestration complexe, le développement de pipelines ETL/ELT traitant des millions d'enregistrements, l'optimisation de data warehouses pour améliorer les performances, ainsi que l'intégration de données en temps réel provenant de sources IoT, logs applicatifs ou événements métier. La structure de votre temps reflétera un équilibre optimal entre acquisition de compétences et mise en pratique professionnelle : 30% de votre temps sera consacré à l'apprentissage approfondi des technologies data, à la préparation de certifications AWS hautement valorisées sur le marché, et à la réalisation de POCs techniques permettant d'expérimenter avec de nouvelles approches et outils. Les 70% restants seront dédiés à la construction effective de pipelines de données pour nos clients, à l'optimisation de performances (tant en termes de temps d'exécution que de coûts cloud), et à la conception d'architectures de plateformes data robustes et scalables. Cette approche pratique intensive vous permettra de développer une expertise opérationnelle rare, très recherchée par les entreprises. Votre environnement de travail sera optimisé pour favoriser votre développement professionnel. Le stage s'effectuera en télétravail avec des regroupements occasionnels facilitant le partage de connaissances. Vous disposerez d'un accès illimité aux environnements AWS incluant l'ensemble de la palette de services data. Un budget dédié vous permettra de passer les certifications AWS qui jalonneront votre parcours de formation. Enfin, vous bénéficierez de l'accompagnement de nos data engineers et architectes seniors qui partageront leur expertise à travers un mentorat personnalisé, des sessions de pair programming et des code reviews constructives. > Profil Recherché Formation Niveau : Bac 3 à Bac 5 (École d'ingénieur, Master Informatique) Spécialisation : Informatique, Big Data Compétences Requises Fondamentaux Informatiques : Structures de données et algorithmes Complexité algorithmique et optimisation Systèmes d'exploitation (Linux) Réseaux et protocoles Bases de données relationnelles et NoSQL Programmation : Python : Maîtrise obligatoire (avancé) C/C++ : Fortement recommandé SQL : Maîtrise avancée Paradigmes OOP, fonctionnel, et orienté data Version Control : Git : Workflows avancés, stratégies de branching GitHub/GitLab : CI/CD, code reviews, collaboration Compétences Souhaitées Data Engineering : ETL/ELT pipelines Systèmes distribués (notions Hadoop, Spark) Formats de données (Parquet) Streaming de données (Kafka, Kinesis) Data modeling (Kimball, Data Vault) Cloud & Infrastructure : AWS (S3, Lambda, Glue) Containerisation (Docker) Orchestration (Airflow, Step Functions) Qualités Personnelles Rigueur : Attention aux détails, qualité du code Sens de l'optimisation : Passion pour la performance et l'efficience Systémique : Vision d'ensemble des flux de données Pragmatisme : Équilibre entre perfection et pragmatisme Autonomie : Capacité à débloquer des problèmes techniques Collaboration : Travail en équipe, communication claire Certifications Visées 1. AWS Certified Solutions Architect - Associate 2. AWS Certified Data Engineer - Associate 3. AWS Certified Solutions Architect - Professional 4. AWS Certified Machine Learning - Specialty Technologies et Outils Programming Langages: Python Rust AWS Data Services : Storage : S3 Processing : Glue, EMR, Athena, Lambda, ECS Databases : Redshift, RDS, DynamoDB, Aurora Streaming : Kinesis Data Streams, Kinesis Firehose, MSK (Kafka) Orchestration : Step Functions, EventBridge, Apache Airflow, DBT Big Data : PySpark Apache Iceberg Delta Lake Hudi SQL Data Quality : Great Expectations Deequ DevOps & DataOps Git, GitHub Actions / GitLab CI CloudFormation Docker Monitoring : CloudWatch, X-Ray, Grafana Testing : pytest, moto > Compétences Développées À l'issue du stage, vous maîtriserez : Techniques: Architecture de plateformes data modernes (Lake, Warehouse, Lakehouse) Développement de pipelines ETL/ELT scalables Optimisation de performances et coûts cloud Gestion de données à grande échelle Streaming et traitement temps réel Data modeling et schéma evolution Méthodologiques : Infrastructure as Code et GitOps Tests automatisés pour data pipelines Monitoring, alerting, observabilité Documentation technique et runbooks Gestion des incidents et post-mortems Professionnelles : Architecture de solutions pour clients Estimation de charges et planning projets data Collaboration data scientists, analystes, devs Présentation technique et vulgarisation Code reviews et mentorat > Avantages - Certifications AWS financées - Accès complet aux environnements AWS (avec crédits) - Ressources de formation (cours, livres, conférences) - Mentorat personnalisé par experts data - Expérience projets clients complexes - Portfolio technique valorisable - Exposition aux aspects FinOps et business - Possibilité d'embauche post-stage. 750€ - 1800€