Horovod a été développé à l’origine par Uber pour rendre l’apprentissage profond distribué rapide et facile à utiliser, réduisant le temps de formation des modèles de quelques jours et semaines à des heures et des minutes. Avec Horovod, un script de formation existant peut être étendu pour s’exécuter sur des centaines de GPU en quelques lignes de code Python seulement. Horovod peut être installé sur site ou exécuté directement sur des plateformes cloud, notamment AWS, Azure et Databricks. Horovod peut également fonctionner sur Apache Spark, ce qui permet d’unifier le traitement des données et la formation des modèles dans un seul pipeline. Une fois Horovod configuré, la même infrastructure peut être utilisée pour entraîner des modèles avec n’importe quel framework, facilitant ainsi le basculement entre TensorFlow, PyTorch, MXNet et les futurs frameworks à mesure que les piles technologiques d’apprentissage automatique continuent d’évoluer.