GraphPipe est un protocole et un ensemble de logiciels conçus pour simplifier le déploiement de modèles d’apprentissage automatique et le dissocier des implémentations de modèles spécifiques au framework.

Les protocoles réseau de diffusion de modèles sont liés aux implémentations de modèles sous-jacents. Si vous disposez d’un modèle Tensorflow, par exemple, vous devez utiliser le serveur tampon de protocole de Tensorflow (tensorflow-serving) pour effectuer une inférence à distance.

Pytorch et Caffe2, en revanche, ne fournissent pas de serveur de modèles efficace dans leur base de code, mais s’appuient sur des outils comme mxnet-model-server pour l’inférence à distance. mxnet-model-server est écrit en python et fournit une API json sans prise en charge par lots. Même si cela convient aux cas d’utilisation simples, cela ne convient pas à l’infrastructure back-end.

ONNX existe, mais résout le problème de couplage des fournisseurs en standardisant les formats de modèle plutôt que les formats de protocole. C’est utile mais difficile, car tous les formats de modèles backend n’ont pas des opérations entièrement équivalentes. Cela signifie qu’une simple conversion ne fonctionne pas toujours et qu’une réécriture du modèle est parfois nécessaire.

Pour les opérateurs qui cherchent à maintenir correctement leur infrastructure, il est important de disposer d’un moyen standard permettant aux clients frontaux de communiquer avec les modèles d’apprentissage automatique back-end, quelle que soit la mise en œuvre du modèle.