IA explicable en supply chain : ce qu'une explication doit contenir
Un directeur supply chain ne peut pas appliquer une décision qu'il ne sait pas défendre devant sa DG ou son client. Ce qu'une explication utile contient, et la différence entre un modèle interprétable et une explication reconstruite après coup.
L'essentiel
Un directeur supply chain ne peut pas appliquer une décision qu'il ne sait pas défendre devant sa DG ou son client. Ce qu'une explication utile contient, et la différence entre un modèle interprétable et une explication reconstruite après coup.
Une décision inexplicable est une décision inapplicable
Quand une recommandation d'IA conduit à décaler la livraison d'un client ou à passer une commande de sécurité de quatre-vingt mille euros, le directeur supply chain va devoir en répondre devant sa direction générale, devant le client concerné, parfois devant un auditeur. Et la phrase « l'outil l'a recommandé » ne survit à aucune de ces trois conversations. On pourrait y voir le caprice d'un dirigeant réfractaire à la technologie, alors qu'il s'agit de la condition pour qu'une décision soit portée par quelqu'un, et une décision que personne ne porte finit par être contournée dans les faits, souvent en silence. Dans les systèmes que j'ai mis en production, la question « pourquoi » arrive dès la première recommandation refusée, et la qualité de la réponse à cette question décide de tout ce qui suit. Si l'explication tient, l'équipe apprend à faire confiance à bon escient ; si elle ne tient pas, l'outil rejoint la liste des logiciels que l'on regarde sans les suivre. L'explicabilité conditionne donc l'adoption bien avant de servir la conformité, et c'est sous cet angle que je propose de l'examiner.
Le premier ingrédient : les facteurs, et leur poids
Une explication utile commence par nommer les trois à cinq facteurs qui ont pesé dans la recommandation, dans le vocabulaire du métier et avec leur sens. Par exemple : le délai fournisseur constaté s'est allongé de six jours sur les quatre dernières réceptions, la commande ouverte du client X représente trente pour cent de la couverture, le stock de sécurité a été consommé la semaine passée. Un modèle peut manipuler des centaines de variables, mais l'explication qui en liste deux cents n'explique rien, et celle qui en retient cinq avec leur contribution relative permet à un planificateur de vérifier en deux minutes si la lecture de la situation est juste. Il faut aussi que ces facteurs soient des causes plausibles et pas seulement des corrélations. Un modèle peut techniquement s'appuyer sur le jour de la semaine ou sur un code fournisseur parce que cela améliore sa précision, mais un décideur ne pourra jamais défendre une commande en invoquant un mardi. La première exigence d'explicabilité envers un outil est donc que ses explications soient formulées en grandeurs que l'on peut aller vérifier dans l'ERP ou auprès du fournisseur.
Le deuxième ingrédient : l'alternative écartée et l'impact chiffré
Une recommandation livrée seule n'explique rien, et c'est la comparaison avec ce qui a été écarté qui fait l'explication. L'outil doit dire ce qu'il a envisagé d'autre, par exemple attendre la réception prévue plutôt que déclencher un transport express, et pourquoi il a écarté cette option. Il doit chiffrer l'impact en euros de chaque branche : coût du transport d'un côté, probabilité et coût de la rupture de l'autre, pénalité contractuelle si le client est sous accord de service. C'est cette mise en regard qui rend la décision discutable au bon sens du terme, parce que le directeur peut contester une hypothèse, le coût de rupture retenu par exemple, et voir si la recommandation bascule. La forme la plus utile de cette comparaison est la question « qu'est-ce qui aurait changé la recommandation », à laquelle un bon outil répond par une phrase du type : si le délai fournisseur était revenu à sa valeur habituelle, la commande de sécurité n'aurait pas été proposée. Cette information vaut plus que toute courbe de précision, parce qu'elle dit au décideur où porter son attention et quelle donnée fiabiliser en priorité.
Modèle interprétable ou explication a posteriori
Il existe deux façons très différentes d'obtenir une explication, et du point de vue de l'explicabilité elles ne se valent pas. Un modèle interprétable, des règles explicites, une régression, un arbre de décision peu profond, porte son explication en lui-même : le chemin qui mène à la recommandation est le calcul, et le lire suffit. Un modèle complexe, un ensemble d'arbres, un réseau de neurones, un modèle de langage, ne se lit pas, et l'on calcule alors après coup une approximation de ce qui a pesé, par des méthodes d'attribution qui mesurent l'effet de chaque variable sur la sortie. Ces méthodes sont utiles et j'en ai déployé, mais leur résultat est une reconstruction, fidèle au modèle en moyenne et parfois trompeuse sur un cas donné, ce qui est ennuyeux quand c'est ce cas précis que l'on doit défendre. Le piège le plus récent est celui des modèles de langage qui rédigent une justification en bon français : le texte produit est une verbalisation plausible, pas la trace du calcul qui a produit la recommandation. On peut ainsi obtenir une justification convaincante d'une décision que le modèle a en réalité prise pour d'autres raisons. Pour les décisions qui engagent de la marge, ma préférence va à une architecture hybride, un modèle complexe pour estimer, un étage de règles transparentes pour décider, de sorte que ce que l'on explique au client soit exactement ce qui a été calculé.
Le test à faire passer à un éditeur
Le guide pratique de l'explicabilité tient en quatre vérifications, à faire sur un cas réel de votre périmètre plutôt que sur le jeu de démonstration. La première est la stabilité : soumettez deux fois la même situation à quelques heures d'intervalle et comparez les explications, qui doivent être identiques ou ne différer que par ce qui a changé dans les données. La deuxième est le vocabulaire : chaque facteur cité doit correspondre à une donnée que vous pouvez retrouver dans votre ERP, et un facteur que personne ne sait localiser est un signal d'alerte. La troisième est la présence de l'alternative écartée et de son chiffrage, sans laquelle vous avez un oracle et pas un conseiller. La quatrième est la cohérence : modifiez une entrée, un délai fournisseur ou un stock, et vérifiez que la recommandation et son explication bougent dans le même sens et dans une proportion raisonnable. Un éditeur qui refuse ce test ou qui ne peut le faire que sur ses propres données vous dit quelque chose d'important sur ce que vous aurez en production.
L'explication comme mémoire de la décision
Le dernier argument dépasse la recommandation du jour. Une IA de pilotage se trompera, comme le plan se trompe, et la question utile devient alors de comprendre chaque erreur assez vite pour ne pas la reproduire, puisque les éviter toutes reste hors de portée. Sans explication, une erreur est un mystère, on la corrige à la main et elle revient trois mois plus tard sous une autre forme ; avec une explication conservée, on sait quel facteur a été mal estimé, quelle hypothèse de coût était fausse, et l'on corrige la source. C'est ainsi que se construit, décision après décision, une mémoire de pourquoi l'entreprise a agi comme elle l'a fait, que les nouveaux arrivants peuvent lire et que les experts qui partent ne peuvent plus emporter. Je tiens à cette idée parce qu'elle résume ce que l'explicabilité change à une IA en entreprise : moins un moteur qui tranche à notre place qu'un instrument qui rend nos propres décisions plus lisibles, y compris quand elles étaient mauvaises.
Cet article part d'une conviction : la prévision parfaite n'existe pas, ce qui compte c'est la décision d'après.
- Une décision inexplicable est une décision inapplicable
- Le premier ingrédient : les facteurs, et leur poids
- Le deuxième ingrédient : l'alternative écartée et l'impact chiffré
- Modèle interprétable ou explication a posteriori
- Le test à faire passer à un éditeur
- L'explication comme mémoire de la décision
Clevizio
Clevizio est la couche de décision qui se branche sur vos outils existants : elle détecte l'imprévu, simule vos options et garde la mémoire de chaque arbitrage. Découvrir comment fonctionne le copilote de décision.
Nelson Mukuze
CTO & CAIO, cofondateur de Clevizio
Une question sur vos imprévus ? Réservez 30 minutes avec moi pour estimer ce qu'ils vous coûtent vraiment, sans engagement.
Questions fréquentes
Qu'est-ce que l'explicabilité d'une IA ?
La capacité d'un système à exposer, en termes compréhensibles par un décideur, les facteurs d'une recommandation, l'alternative écartée et l'impact chiffré de chaque option. Une explication utile se vérifie dans les données de l'entreprise et permet de contester une hypothèse pour voir si la recommandation change.
Quelle différence entre un modèle interprétable et une IA explicable ?
Un modèle interprétable porte son explication en lui-même : le calcul se lit directement, comme une règle ou un arbre de décision. Une IA dite explicable applique après coup, à un modèle complexe, une méthode qui reconstitue l'influence de chaque variable. Cette reconstruction est une approximation, fidèle en moyenne mais parfois trompeuse sur un cas précis.
Comment savoir si l'explication d'une IA est fiable ?
Par quatre tests sur un cas réel : stabilité de l'explication, facteurs retrouvables dans l'ERP, alternative écartée chiffrée, cohérence quand une entrée change. La même situation doit produire la même explication, chaque facteur cité doit correspondre à une donnée de l'ERP, l'alternative écartée doit être présente et chiffrée, et une modification d'une entrée doit faire bouger recommandation et explication de façon cohérente. Méfiance particulière envers les justifications rédigées par un modèle de langage, qui sont plausibles sans être la trace du calcul.
À lire aussi
Mettez enfin un chiffre sur ce que vos imprévus vous coûtent chaque année.
Commençons par estimer ce que vos imprévus vous coûtent réellement. C'est gratuit, ça prend 30 minutes, et vous repartez avec un chiffre que personne dans votre entreprise ne connaît aujourd'hui.