Dagster

Communauté d’assistance GitHub Traitement des données

Dagster est un orchestrateur de données. Il vous permet de définir des pipelines (DAG) en termes de flux de données entre des composants logiques appelés solides. Ces pipelines peuvent être développés localement et fonctionner n’importe où.

Caractéristiques

Dagster modélise les dépendances de données entre les étapes de votre graphique d’orchestration et gère la transmission des données entre elles. La saisie facultative sur les entrées et les sorties permet de détecter les bogues plus tôt.

Suivez ce qui est produit par vos pipelines avec Asset Manager de Dagster, afin de comprendre comment vos données ont été générées et de détecter les problèmes lorsqu’ils ne correspondent pas à vos attentes.

Site officiel

Tutoriel et documentation

Enter your contact information to continue reading