Captum (« compréhension » en latin) est une bibliothèque open source et extensible pour l’interprétabilité des modèles construite sur PyTorch.

Avec l’augmentation de la complexité des modèles et le manque de transparence qui en résulte, les méthodes d’interprétabilité des modèles sont devenues de plus en plus importantes. La compréhension des modèles est à la fois un domaine de recherche actif et un domaine d’intérêt pour des applications pratiques dans tous les secteurs utilisant l’apprentissage automatique. Captum fournit des algorithmes de pointe, notamment des gradients intégrés, pour fournir aux chercheurs et aux développeurs un moyen simple de comprendre quelles fonctionnalités contribuent au résultat d’un modèle.

Captum aide les chercheurs en ML à mettre en œuvre plus facilement des algorithmes d’interprétabilité pouvant interagir avec les modèles PyTorch. Il permet également aux chercheurs de comparer rapidement leurs travaux à d’autres algorithmes existants disponibles dans la bibliothèque.

Pour les développeurs de modèles, Captum peut être utilisé pour améliorer et dépanner les modèles en facilitant l’identification des différentes fonctionnalités qui contribuent à la sortie d’un modèle afin de concevoir de meilleurs modèles et de dépanner les sorties inattendues du modèle.