Architecte informatique/ data engineer dataiku (it) / freelance

Bonjour,

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Senior expert sur de l'architecture des Data Platforms sur du Dataiku/Kafka

vos missions seront plus spécifiquement :

- Maîtriser l'ensemble des techniques et technologies composant la Data Platform

- Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Data Platform

- Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d?automatiser les pipelines d?ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, ?)

- Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données

Contexte technique

- Base de données de type Sql/NoSql

- Kafka

- Dataiku

- Scripting Python/SQL/Java

- Suite Elastic

- Zabbix

- Dynatrace

Attendus

Pour réaliser la mission, vous serez à même de :

- Participer à la conception des solutions techniques et fonctionnelles

- Gérer les données de l?entreprise (flux, traitement, stockage et leur cycle de vie)

- Rédiger les documents fonctionnels et techniques, d?exploitation, en veillant au respect des normes existantes

- Automatiser les installations des socles techniques

- Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes

- Être en relation avec les équipes opérationnelles pour prise en compte des flux de données





Profil candidat:
Compétences requises

- Connaissances fortes en infrastructure indispensables : réseau / system

- Connaissance forte en SGBD et langage de requêtage

- Architecture d?Entreprise, plus particulièrement en base de données, flux de données

- Conception et mise en place de solution de stockage et ingestion de données

- Méthodologie Agile / DevOps, maitrise des outils associés

- Gouvernance de la donnée

- Maitrise de divers langages de programmation (Python)

- Anglais