Luigi

Communauté d’assistance GitHub Traitement des données

L’objectif de Luigi est de traiter toute la plomberie généralement associée aux processus par lots de longue durée. Vous souhaitez enchaîner de nombreuses tâches, les automatiser, et des échecs se produiront. Ces tâches peuvent être n’importe quoi, mais il s’agit généralement d’activités de longue durée comme des tâches Hadoop, le transfert de données vers/depuis des bases de données, l’exécution d’algorithmes d’apprentissage automatique ou toute autre chose.

Caractéristiques

Luigi possède des fonctionnalités telles qu’une page de visualisation, un graphique de dépendances, une tâche, un planificateur, des dépendances explicites entre les flux de travail, plus facile à écrire, beaucoup plus extensible, la réutilisation du code et peut facilement réexécuter des étapes individuelles.

Site officiel

Tutoriel et documentation

Enter your contact information to continue reading