PRENDRE RENDEZ-VOUS EN Modin est un projet à un stade précoce du RISELab de l’UC Berkeley, conçu pour faciliter l’utilisation de l’informatique distribuée pour la science des données. Il s’agit d’une bibliothèque Dataframe multiprocessus avec une API identique à Pandas qui permet aux utilisateurs d’accélérer leurs flux de travail Pandas. Caractéristiques Modin peut donner à …
MLOP Category Archives:
MLlib
PRENDRE RENDEZ-VOUS EN MLlib est la bibliothèque d’apprentissage automatique (ML) de Spark. Son objectif est de rendre l’apprentissage automatique pratique évolutif et simple. À un niveau élevé, il fournit des outils tels que : Algorithmes ML : algorithmes d’apprentissage courants tels que la classification, la régression, le clustering et le filtrage collaboratif Fonctionnalité : extraction …
Mahout
PRENDRE RENDEZ-VOUS EN Apache Mahout(TM) est un cadre d’algèbre linéaire distribué et un Scala DSL mathématiquement expressif conçu pour permettre aux mathématiciens, aux statisticiens et aux data scientists de mettre en œuvre rapidement leurs propres algorithmes. Apache Spark est le back-end distribué prêt à l’emploi recommandé, ou peut être étendu à d’autres backends distribués. Prise …
Jax
PRENDRE RENDEZ-VOUS EN JAX est Autograd et XLA, réunis pour une recherche en apprentissage automatique haute performance. Avec sa version mise à jour d’Autograd, JAX peut automatiquement différencier les fonctions natives Python et NumPy. Il peut se différencier par des boucles, des branches, des récursions et des fermetures, et il peut prendre des dérivées de …
Horovod
PRENDRE RENDEZ-VOUS EN Horovod a été développé à l’origine par Uber pour rendre l’apprentissage profond distribué rapide et facile à utiliser, réduisant le temps de formation des modèles de quelques jours et semaines à des heures et des minutes. Avec Horovod, un script de formation existant peut être étendu pour s’exécuter sur des centaines de …
H2O-3
PRENDRE RENDEZ-VOUS EN H2O est une plateforme d’apprentissage automatique et d’analyse prédictive open source, en mémoire, distribuée, rapide et évolutive qui vous permet de créer des modèles d’apprentissage automatique sur le Big Data et facilite la production de ces modèles dans un environnement d’entreprise. Le code principal de H2O est écrit en Java. Dans H2O, …
Fiber
PRENDRE RENDEZ-VOUS EN Fiber est un framework Web inspiré d’Express construit sur Fasthttp, le moteur HTTP le plus rapide pour Go. Conçu pour faciliter les choses pour un développement rapide sans allocation de mémoire et sans performances. Features Routage robuste Servir des fichiers statiques Performances extrêmes Faible empreinte mémoire Points de terminaison de l’API Support …
Weld
PRENDRE RENDEZ-VOUS EN Weld est un compilateur et un runtime permettant d’améliorer les performances des applications gourmandes en données. Il permet de puissantes optimisations du compilateur et une parallélisation automatique entre les fonctions en exprimant les calculs de base dans des bibliothèques à l’aide d’une petite représentation intermédiaire commune et d’une API d’exécution paresseuse. Caractéristiques …
DeepSpeed
PRENDRE RENDEZ-VOUS EN DeepSpeed est une bibliothèque d’optimisation du deep learning qui rend la formation distribuée simple, efficace et efficiente. Modèles 10x plus grands Entraînement 10 fois plus rapide Modification minimale du code Caractéristiques Échelle extrême : en utilisant la génération actuelle de clusters GPU avec des centaines d’appareils, le parallélisme 3D de DeepSpeed peut …
Dask
PRENDRE RENDEZ-VOUS EN Dask est une bibliothèque flexible pour le calcul parallèle en Python. Dask est composé de deux parties : Planification dynamique des tâches optimisée pour le calcul. Ceci est similaire à Airflow, Luigi, Celery ou Make, mais optimisé pour les charges de travail informatiques interactives. Collections « Big Data » telles que des …