Des chercheurs du MIT créent « ExSum » : un cadre mathématique pour évaluer les explications des modèles d’apprentissage automatique et quantifier à quel point les gens les comprennent

Cet article est basé sur le document de recherche « EXSUM : des explications locales à la compréhension du modèle ». Tout le crédit pour cette recherche revient aux chercheurs 👏👏👏 S’il vous plaît, n’oubliez pas de rejoindre notre subreddit ML La compréhension que les gens ont de ces modèles se limite à la façon dont les données sont saisies et les choix finaux sont faits, et il n’y a pas beaucoup de clarté dans la façon dont ces modèles font leurs prédictions. Bien que des recherches antérieures aient été menées pour déterminer la précision des explications données par ces modèles, la question de la rapidité et de la fiabilité avec laquelle les individus saisissent ces modèles reste un territoire inexploré. Des méthodes d’interprétabilité sont développées pour mieux comprendre le fonctionnement des modèles de boîtes noires, nécessaire à leur déploiement fiable. Comme tremplin dans ce domaine, des chercheurs du Laboratoire d’informatique et d’intelligence artificielle et de Microsoft Research ont créé une recherche révolutionnaire en développant un cadre mathématique appelé résumé explicatif (ExSUM) pour évaluer et quantifier la compréhension des individus avec les modèles d’apprentissage automatique. ExSUM expose différentes failles dans la pratique existante et aide à développer une connaissance précise du modèle en identifiant les fonctionnalités facilement manquées du modèle. D’autres explications, telles que l’alignement humain, la robustesse et la minimalité contrefactuelle, sont également incluses dans le cadre. Les résultats seront présentés à la conférence du chapitre nord-américain de l’Association for Computational Linguistics. La compréhension des modèles d’apprentissage automatique peut être divisée en deux catégories principales, la première étant de trouver un modèle qui reproduit les prédictions du précédent tout en employant des processus de raisonnement visibles. Cependant, du fait de la complexité des réseaux de neurones actuels, cette technique est très insuffisante. L’autre méthode consiste à souligner les termes dans le texte pour indiquer leur importance dans la prédiction d’un modèle, puis à extrapoler ces explications locales au comportement global du modèle. Lorsqu’une critique de film est définie comme ayant un sentiment positif, on en déduit que des phrases positives telles que « parfait » et « merveilleux » sont les plus influentes. Ils sont plus enclins à croire que tous les termes positifs contribuent positivement aux prédictions d’un modèle, ce qui n’est pas toujours le cas. Source : https://arxiv.org/pdf/2205.00130.pdf ExSum examine une règle dans l’ensemble de données et pas seulement dans l’instance unique pour laquelle elle a été créée. À l’aide de trois métriques différentes, l’utilisateur peut utiliser ExSum pour voir si la règle tient le coup. La couverture, la validité et la netteté sont les critères en question. La couverture de la règle indique dans quelle mesure elle peut être appliquée sur l’ensemble du jeu de données. Le pourcentage d’exemples spécifiques qui sont d’accord avec la règle est mis en évidence par la validité, tandis que la netteté met l’accent sur la précision de la règle. ExSum permet d’établir des règles spécifiques pour mieux comprendre comment agit un modèle. Si l’on soupçonne que leur modèle est discriminatoire, ils peuvent concevoir des règles qui donnent aux pronoms masculins une contribution positive et aux pronoms féminins une contribution négative. Si le score de validité de ces règles est élevé, cela suggère que les hypothèses sont correctes et que le modèle est probablement biaisé. ExSum peut également révéler des informations surprenantes sur le comportement d’un modèle. Par exemple, lors de l’analyse d’un classificateur de critiques de films, les chercheurs ont été étonnés de découvrir que les termes négatifs contribuent davantage aux prédictions du modèle que les phrases positives. Selon l’équipe, ce type de connaissances fines n’a jamais été découvert auparavant dans les modèles de pointe antérieurs. L’équipe pense que les chercheurs reconsidéreront leur façon de penser les explications du modèle d’apprentissage automatique en publiant son approche. Ils espèrent que les chercheurs ne se concentrent pas uniquement sur la recherche d’une explication locale précise de leurs modèles, mais tiennent également compte de leur intelligibilité. Ils espèrent étendre ce travail à l’avenir pour inclure davantage de critères et de formats d’explication, tels que des explications contrefactuelles. De plus, comme l’ensemble du processus nécessite désormais une implication humaine, il existe une énorme opportunité d’améliorer le cadre et l’interface utilisateur en accélérant le processus afin que les individus puissent créer des règles plus rapidement. La National Science Foundation finance également la recherche. Article : https://arxiv.org/pdf/2205.00130.pdf Github : https://yilunzhou.github.io/exsum/ Source : https://news.mit.edu/2022/machine-learning-explainability-0505

Laisser un commentaire