MLlib est la bibliothèque d’apprentissage automatique (ML) de Spark. Son objectif est de rendre l’apprentissage automatique pratique évolutif et simple. À un niveau élevé, il fournit des outils tels que :

Algorithmes ML : algorithmes d’apprentissage courants tels que la classification, la régression, le clustering et le filtrage collaboratif

Fonctionnalité : extraction de fonctionnalités, transformation, réduction de dimensionnalité et sélection

Pipelines : outils pour construire, évaluer et régler les pipelines ML

Persistance : sauvegarde et chargement d’algorithmes, de modèles, et Pipelines

Utilities : algèbre linéaire, statistiques, traitement des données, etc.