Data engineer aws et snowflake (it) / freelance

Objectifs de la Mission :

- Optimiser les usages et la performance des plateformes AWS et Snowflake
- Optimiser les processus d?intégration des données
- Garantir une gestion des données sécurisée et conforme
- Maintenir une documentation à jour pour soutenir les projets de l?entreprise


Missions Principales :

1. Administration et gestion de la plateforme AWS
- Gestion des incidents :
- Diagnostiquer et résoudre les incidents liés à la plateforme AWS.
- Mettre en place des actions préventives pour minimiser les risques d?interruption de service.

- Conception technique :
- Participer à la conception et au développement de composants techniques pour des solutions innovantes.
- Développer des solutions permettant le traitement sécurisé de grands volumes de données.

- Automatisation des processus :
- Créer et maintenir des pipelines CI/CD pour déploiements continus.
- Superviser la gestion du dépôt Git (branches, pull requests, merges) pour garantir une collaboration efficace.

2. Administration et gestion de la plateforme Snowflake
- Conception de solutions sur Snowflake :
- Concevoir et déployer des solutions exploitant pleinement les capacités de Snowflake (multi-cluster, partage de données sécurisé, optimisation des charges de travail).
- Élaborer des modèles de données optimisés pour des performances maximales et des coûts maîtrisés.
- Mettre en place des architectures de données optimisées
- Créer des environnements modulaires et conteneurisés pour faciliter l?expérimentation et le prototypage

3. Intégration et gestion des données
- Superviser l?intégration des données provenant de sources multiples et variées (structurées et non structurées).
- Effectuer le nettoyage, la validation, et la sécurisation des données avant leur utilisation en aval.
- Contribuer à la gestion des référentiels de données internes pour assurer une cohérence dans leur utilisation.

4. Collaboration et documentation
- Travailler en coordination avec les équipes de développement et d?exploitation pour aligner les besoins métier et les solutions techniques.
- Documenter les processus, architectures et solutions mises en ?uvre pour assurer la pérennité et le partage des bonnes pratiques au sein des équipes.
- Animer des sessions de sensibilisation ou de formation sur les meilleures pratiques en matière de gestion et d'exploitation des données.

5. Sécurité et conformité
- S'assurer de la conformité des solutions déployées avec les politiques de sécurité et les normes internes.
- Contribuer à l'amélioration continue des processus liés à la sécurité des infrastructures et des données.
- Assurer une veille technologique active pour identifier les opportunités d?amélioration et anticiper les évolutions.

6. Animation de la communauté technique et veille technologique
- Participer à l'animation de la communauté technique autour des solutions et infrastructures de données.
- Rester à jour sur les technologies et tendances liées à la gestion et manipulation des données.
- Proposer des évolutions pour les infrastructures et outils existants en fonction des besoins métier et des avancées technologiques.



Profil candidat:
Compétences Clés :
Expertise dans les services AWS (EC2, S3, Lambda, Step Functions, Glue, etc.).
Maîtrise des concepts et outils CI/CD.
Solides compétences en administration et optimisation d'AWS et Snowflake
Connaissance avancée de Git et des workflows associés.
Capacité organisationnelle et autonomie, facilité à travailler en mode collectif et transverse
Sensibilisé aux contextes de Production, à la performance et à la disponibilité



EC2, S3, Lambda, Step Functions, Glue, etc. Administration / Sécurité / Fonctionalité GIT / Docker Python, SQL