Service en ligne prêt pour la production :

Prend en charge plusieurs frameworks ML, notamment PyTorch, TensorFlow, Scikit-Learn, XGBoost et bien d’autres.

Serveur modèle conteneurisé pour le déploiement en production avec Docker, Kubernetes, OpenShift, AWS ECS, Azure, GCP GKE, etc.

Micro-batching adaptatif pour des performances de service en ligne optimales

. Découvrir et emballez automatiquement toutes les dépendances, y compris PyPI, les packages conda et les modules Python locaux.

Servez des compositions de plusieurs modèles.

Servez plusieurs points de terminaison dans un seul serveur de modèles.

Servez n’importe quel code Python avec des modèles formés.

Générez automatiquement des spécifications d’API REST au format Swagger/OpenAPI.

Journalisation des prédictions et journalisation des commentaires. point de terminaison

Point de terminaison de vérification de l’état et point de terminaison Prometheus/metrics pour la surveillance