PRENDRE RENDEZ-VOUS EN L’objectif de Luigi est de traiter toute la plomberie généralement associée aux processus par lots de longue durée. Vous souhaitez enchaîner de nombreuses tâches, les automatiser, et des échecs se produiront. Ces tâches peuvent être n’importe quoi, mais il s’agit généralement d’activités de longue durée comme des tâches Hadoop, le transfert de …
MLOP Category Archives:
Kedro
PRENDRE RENDEZ-VOUS EN Kedro est un framework Python open source permettant de créer du code de science des données reproductible, maintenable et modulaire. Il emprunte des concepts au génie logiciel et les applique au code d’apprentissage automatique ; les concepts appliqués incluent la modularité, la séparation des préoccupations et le versioning. Caractéristiques Modèle de projet …
Informatica Power Center
PRENDRE RENDEZ-VOUS EN PowerCenter est une base évolutive et hautes performances pour les initiatives d’intégration de données sur site, notamment l’analyse, l’entreposage de données et la migration d’applications. Caractéristiques Connectivité universelle Outils basés sur les rôles et processus agiles Évolutivité et temps d’arrêt nul Transformation avancée des données Réutilisabilité et automatisation Prototypage et profilage rapides …
Hadoop
PRENDRE RENDEZ-VOUS EN La bibliothèque logicielle Apache Hadoop est un framework qui permet le traitement distribué de grands ensembles de données sur des clusters d’ordinateurs à l’aide de modèles de programmation simples. Il est conçu pour passer d’un seul serveur à des milliers de machines, chacune offrant un calcul et un stockage locaux. Plutôt que …
Gokart
PRENDRE RENDEZ-VOUS EN Gokart résout la reproductibilité, les dépendances des tâches, les contraintes d’un bon code et la facilité d’utilisation du Machine Learning Pipeline. Gokart est un wrapper de la bibliothèque de pipelines de données luigi. Gokart résout la « reproductibilité », les « dépendances des tâches », les « contraintes d’un bon code » …
Genie
PRENDRE RENDEZ-VOUS EN GenieAnalytics offre une capacité d’analyse Big Data approfondie et puissante qui fournit des informations opérationnelles immédiates pour votre entreprise. Grâce à des rapports d’analyse de trafic multidimensionnels et à des visualisations riches, les utilisateurs peuvent obtenir un contrôle total sur leur infrastructure réseau et planifier en conséquence ce qui convient à leurs …
Flyte
PRENDRE RENDEZ-VOUS EN La plateforme d’automatisation des flux de travail pour les données complexes et critiques et les processus de ML à grande échelle Caractéristiques Exécuter des pipelines/workflows de données distribués Réutiliser des tâches entre projets, utilisateurs et workflows Faciliter l’assemblage des workflows de différentes équipes et experts du domaine Revenir à un workflow spécifié …
Dagster
PRENDRE RENDEZ-VOUS EN Dagster est un orchestrateur de données. Il vous permet de définir des pipelines (DAG) en termes de flux de données entre des composants logiques appelés solides. Ces pipelines peuvent être développés localement et fonctionner n’importe où. Caractéristiques Dagster modélise les dépendances de données entre les étapes de votre graphique d’orchestration et gère …
Couler
PRENDRE RENDEZ-VOUS EN Couler vise à fournir une interface unifiée pour créer et gérer des flux de travail sur différents moteurs de flux de travail, tels qu’Argo Workflows, Tekton Pipelines et Apache Airflow. Couler est inclus dans CNCF Cloud Native Landscape et LF AI Landscape. Caractéristiques Simplicité : interface unifiée et style de programmation impératif …
Bonobo
PRENDRE RENDEZ-VOUS EN Bonobo est un framework ETL (Extract-Transform-Load) léger pour Python 3.5+. Il fournit des outils pour créer des pipelines de transformation de données, en utilisant des primitives Python simples et en les exécutant en parallèle. Caractéristiques Bonobo se veut minimaliste, mais fonctionnel. Tous les formats et opérations de base sont inclus dans la …