Dynamic Adaptation in Stream Processing Systems
Adaptation dynamique dans les systèmes de traitement de flux
Résumé
Stream processing systems (SPS) dynamically process input events over a set of operators. As the input is generally not a constant stream, work in the literature proposes to dynamically replicate SPS operators, in order to reduce processing bottlenecks induced by fluctuations.
Here, we present two approaches for dynamically modifying the number of replicas of an operator. A first reactive approach relies on several metrics. A second approach using a predictive model analyzes input rate variation, operator execution time and queued events to dynamically define the number of replicas required for each operator. We also propose a Storm-based implementation of these two approaches, which does not require reconfiguration on restart when the number of operator replicas changes.
Les systèmes de traitement des flux (SPS) traitent dynamiquement les événements en entrée sur un ensemble d'opérateurs. Comme l'entrée n'est généralement pas un flux constant des travaux dans la littérature proposent de répliquer dynamiquement les opérateurs SPS, afin de réduire les goulots d'étranglement de traitement induit par de les fluctuations.
Nous présentons ici deux approches pour modifier dynamiquement le nombre de répliques d'un opérateur. Une première approche réactive repose sur de plusieurs métriques. Une seconde approche utilisant un modèle prédictif analyse la variation du taux d'entrée, le temps d'exécution des opérateurs, et les événements en file d'attente afin de définir dynamiquement le nombre de répliques nécessaire pour chaque opérateur. Nous proposons également une implémentation basée sur Storm de ces deux approches, qui ne nécessite pas de reconfiguration au redémarrage lorsque le nombre de répliques d'opérateurs change.
Origine : Fichiers produits par l'(les) auteur(s)