Peut servir plusieurs modèles ou plusieurs versions du même modèle simultanément

Expose à la fois les points de terminaison d’inférence gRPC et HTTP

Permet le déploiement de nouvelles versions de modèle sans modifier le code client

Prend en charge la diffusion de nouvelles versions et les modèles expérimentaux de tests A/B

Ajoute une latence minimale au temps d’inférence grâce à une mise en œuvre efficace et à faible surcharge

Comprend un planificateur qui regroupe les requêtes d’inférence individuelles en lots pour une exécution conjointe sur GPU, avec des contrôles de latence configurables

Prend en charge de nombreux servables : modèles Tensorflow, intégrations, vocabulaires, transformations de fonctionnalités et même apprentissage automatique non basé sur Tensorflow des modèles