Petastorm 

Communauté d’assistance GitHub Outils d’optimisation

Petastorm est une bibliothèque d’accès aux données open source développée chez Uber ATG. Cette bibliothèque permet la formation et l’évaluation sur une machine unique ou distribuée de modèles d’apprentissage profond directement à partir d’ensembles de données au format Apache Parquet. Petastorm prend en charge les frameworks d’apprentissage automatique (ML) populaires basés sur Python tels que Tensorflow, PyTorch et PySpark. Il peut également être utilisé à partir de code Python pur.

Caractéristiques

Pour prendre en charge différents scénarios de formation pour les algorithmes de conduite autonome, Petastorm intègre diverses fonctionnalités, notamment la mise en œuvre efficace du partage de données, le filtrage des lignes, la lecture aléatoire, l’accès à un sous-ensemble de champs et la prise en charge des données de séries chronologiques.

Site officiel

Tutoriel et documentation

Enter your contact information to continue reading