Vaex  

Communauté d’assistance GitHub Outils d’optimisation

Vaex est une bibliothèque Python pour les DataFrames Out-of-Core paresseux (similaires aux Pandas), pour visualiser et explorer de grands ensembles de données tabulaires. Il peut calculer des statistiques telles que la moyenne, la somme, le nombre, l’écart type, etc., sur une grille à N dimensions jusqu’à un milliard () d’objets/lignes par seconde. La visualisation se fait à l’aide d’histogrammes, de tracés de densité et de rendu de volume 3D, permettant une exploration interactive du Big Data. Vaex utilise le mappage de mémoire, une politique de copie de mémoire nulle et des calculs paresseux pour de meilleures performances (pas de perte de mémoire).

Caractéristiques

Performance : fonctionne avec d’énormes données tabulaires, traite les lignes/seconde

Colonnes paresseuses/virtuelles : calculez à la volée, sans gaspiller de RAM

Mémoire efficace, pas de copies de mémoire lors du filtrage/sélections/sous-ensembles.

Visualisation : directement supportée, un one-liner suffit souvent.

API conviviale : vous n’aurez qu’à gérer l’objet DataFrame, et la complétion des tabulations + docstring vous aidera : ds.mean<tab>, ressemble beaucoup à Pandas.

Lean : séparé en plusieurs packages

Site officiel

Tutoriel et documentation

Enter your contact information to continue reading