Stage de master: traitement de flux de données dans un environnement géo-distribué

Contexte et atouts du poste

Le traitement de flux de données (Data-Stream-Processing, DSP) est un modèle de calcul qui a été popularisé
par les infrastructures logicielles Flink[1] et Storm[2]. Le principe général est d’avoir un flux continu de données
en entrée qui va traverser différents opérateurs, chacun de ces opérateurs pouvant être répliqué afin d’offrir plus
de parallélisme et donc un meilleur débit.


Le modèle des DSP est traditionnellement utilisé dans des environnement de type Cloud où les ressources
sont 1) homogène (ou supposées comme telles) 2) physiquement proche (y compris en terme de latence et bande-
passante) 3) disponible en grande quantité. Cependant, depuis quelque années, un intérêt croissant a été porté
à l’utilisation des DSP dans des milieux géo-distribué [3, 5, 6, 7], notamment dans des environnement dit de
type Fog ou Edge où aucune des hypothèses liée au Cloud ne sont garanties.

Mission confiée

L’objectif de ce stage est de travailler autour de l’exécution d’applications utilisant le modèle DSP dans le
cadre d’un environnement géo-distribué avec ressources limitées et un réseau hétérogène. Le principal objectif
du stage sera de mettre en place un cadre expériemental dans lequel nous évaluerons plusieures solutions de
placement d’opérateurs et leur impact sur différentes métriques. Le but sera de travailler sur un environment
ne comprenant pas de ressources venant d’un data center associé (contrairement par exemple à [7] ou [6] par
exemple). Les métriques considérées seront par exemple la latence (le délai entre l’arrivée d’une donnée dans
le système et son traitement complet), le débit (quantité de donnée traité par seconde) ou le débit maximal
acceptable [4] (le débit maximal en entrée avant que les performances ne se détériorent, habituellement pour
cause de saturation de la bande-passante). Les solutions évaluées pouront être de type Round-Robin (solution
de base par exemple dans Storm), ou prendre en compte les caratéristiques des ressources (comme [8]) ou le
placement des données (comme [6]). Les expériences seront menées sur la plateforme Slices-FR.

[1] Paris Carbone, Asterios Katsifodimos, Stephan Ewen, Volker Markl, Seif Haridi, and Kostas Tzoumas. Apache flink : Stream and batch processing in a single engine. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 36, 2015.

[2] Apache Software Foundation. Apache Storm, 2015

[3] Valeria Cardellini, Francesco Lo Presti, Matteo Nardelli, and Gabriele Russo Russo. 2022. Runtime Adaptation of Data Stream Processing Systems : The State of the Art. ACM Comput. Surv. 54, 11s, Article 237 (January 2022), 36 pages. ://doi.org/10.1145/3514496


[4] Thomas Lambert, David Guyon and Shadi Ibrahim. Rethinking Operators Placement of Stream Data Application in the Edge. In 29th ACM International Conference on Information & Knowledge Management, p.2101-2104, 2020. ://hal.inria.fr/hal-02942759v1

[5] C. -W. Ching et al., "AgileDART : An Agile and Scalable Edge Stream Processing Engine," in IEEE Transactions on Mobile Computing, vol. 24, no. 5, pp. 4510-4528, May 2025, doi : 10.1109/TMC.2025.3526143.

[6] Jinlai Xu, Balaji Palanisamy, Qingyang Wang, Heiko Ludwig, Sandeep Gopisetty, Amnis : Optimized stream processing for edge computing, Journal of Parallel and Distributed Computing, Volume 160, 2022, Pages 49-64

[7] Alexandre da Silva Veith, Felipe Rodrigo de Souza, Marcos Dias de Assunção, Laurent Lefèvre, and Julio Cesar Santos dos Anjos. 2019. Multi-Objective Reinforcement Learning for Reconfiguring Data Stream Analytics on Edge Computing. In ICPP ’19, Article 106, 1-10. ://doi.org/10.1145/3337821.3337894

[8] Peng, B., Hosseini, M., Hong, Z., Farivar, R., & Campbell, R. (2015, November). R-storm : Resource-aware scheduling in storm. In Proceedings of the 16th annual middleware conference (pp. 149-161).

Principales activités

Ce stage aura lieu au Loria dans l’équipe Loreley. Une collaboration avec l’équipe Magellan à Rennes est envisagée (sans déplacement prévu). La prolongation en thèse est possible dans le cadre du défi Inria Cupseli (partenariat industriel avec l’entreprise Hivenet). Le stage peut début er plus tôt que la date indiquée au besoin.

Avantages

1. Restauration subventionnée
2. Transports publics remboursés partiellement
3. Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
4. Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
5. Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
6. Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
7. Accès à la formation professionnelle
8. Sécurité sociale

Rémunération

4.35 €/heure