Intuitivement, une explication est une approximation linéaire locale du comportement du modèle. Bien que le modèle puisse être très complexe à l’échelle mondiale, il est plus facile de l’approcher à proximité d’une instance particulière. Tout en traitant le modèle comme une boîte noire, nous perturbons l’instance que nous voulons expliquer et apprenons un modèle linéaire clairsemé autour d’elle, en guise d’explication. La figure ci-dessous illustre l’intuition de cette procédure. La fonction de décision du modèle est représentée par le fond bleu/rose et est clairement non linéaire. La croix rouge vif est l’instance expliquée (appelons-la X). Nous échantillonnons les instances autour de X et les pondérons en fonction de leur proximité avec X (le poids est ici indiqué par la taille). On apprend alors un modèle linéaire (ligne pointillée) qui se rapproche bien du modèle au voisinage de X, mais pas nécessairement globalement.