Le visionnement de l’extraordinaire émission Enquête de Radio Canada et l’excellente chronique “Abus de logiciel”de Pierre Trudel publiée dans le devoir du 19 avril 2019 , révèlent des faits choquants sur un logiciel appelé système de soutien à la pratique (SSP). Thomas Audet, un enfant de 22 mois, est décédé en juin 2016. Un mois auparavant, son cas avait été porté à l’attention de la Direction de la protection de la jeunesse (DPJ). Le rapport de la Commission des droits de la personne signale des décisions discutables causé par des incohérences logicielles qui auraient retardé l’évaluation de son cas.
Le logiciel est obligatoire pour tous les professionnels du DPJ. Il génère trois codes d’intervention
- Immédiatement
- Dans les 24 heures
- Dans deux à trois jours
« Dans le cas de Thomas […], le logiciel semble avoir produit des conclusions contradictoires » et guide les parties prenantes vers une décision qui a pour conséquence de reléguer son dossier comme non prioritaire. Thomas est décédé 23 jours plus tard sans être vu par une assistante sociale.
Le système de la DPJ est un système qui n’aide pas la décision mais l’obscurcit et voici pourquoi.
Qu’est-ce qu’un processus de décision
Avant de de prendre une décision, l’humain capture des informations par la lecture, l’observation, l’écoute, etc. Ces stimuli génèrent une perception. Cette information perçue génère une reconnaissance des symptômes et l’association de patron de règles issus de la mémoire à long terme. Ces compétences de reconnaissance des symptômes se développent après plusieurs années d’expérience et de pratique. Si les symptômes sont clairs, par exemple, si l’information indique clairement que l’enfant a été battu, les règles sont associées et une décision est prise. Dans le cas du DPJ, il s’agit d’un cas urgent. Lorsque l’information est incertaine et que les symptômes ne sont pas clairs comme à la DPJ, la compétence et l’expertise humaines est encore plus crucial.
Le processus de décision présente un défi à plusieurs niveaux.
- Le filtrage des stimuli ou l’humain élimine ce qui est inutile et se concentre sur ce qui est pertinent.
- La reconnaissance des symptômes. Dans le cas du DPJ, cela peut signifier le traitement d’informations contradictoires émanant des parents. Cela peut vouloir dire valider avec un médecin et ainsi de suite.
- Association de patron de règles ou de schémas aux symptômes
- L’évaluation de l’impact de la décision.
Le filtrage et la lecture des symptômes sont les niveaux où les experts se séparent des novices. Il faut des années pour acquérir ces compétences, alors que les règles peuvent être facilement enseignées et apprises.
Le paradoxe est que les systèmes de décision automatisent l’application des règles mais fournissent peu d’aide sur le filtrage des stimuli et la reconnaissance des symptômes.
Pour le logiciel de la DPJ, le travailleur social décrit ce qui suit:
« Le logiciel est obligatoire et inutile, c’est une perte de temps. Il offre des choix de réponses. C’est que les choix de réponses sont souvent incomplets « . Parfois, votre réponse n’est pas dans les choix de réponses. Ce qui nous est proposé ne fonctionne pas pour les problèmes avec les parents ou les enfants, par exemple. […] Nous devons choisir des réponses qui ne correspondent pas à la réalité pour pouvoir passer à l’autre question.
Par exemple, le symptôme n’étant pas clair, elle appelle à l’hôpital et apprend qu’il y a des drogues dans l’urine, le sang dans l’estomac. Donc c’est un cas urgent
Suite aux données entrées dans le système de la DPJ, la réponse est la négligence sur le plan éducatif alors que la réponse aurait dû être abus physique et cas urgent. En conséquent, son dossier est relégué sous la pile. Un agent non vigilant pourrait exécuter cette décision et c’est probablement ce qui est arrivé à Thomas
Cette histoire indique clairement un écart entre la lecture du symptôme et le système.
La conception de systèmes experts est un sous-domaine de l’ergonomie cognitive (l’étude du travail mental) et l’interaction humain ordinateur. Voici les connaissances générales que la recherche et la pratique enseigne pour les systèmes de décision.
Système expert
- Une mauvaise entrée entraînera une mauvaise sortie.
- Le système expert boîte noir offre aucune visibilité sur les raisons pour lesquelles il donne des résultats.
- Quand système expert donne une mauvaise réponse, l’utilisateur perd confiance dans le système et cesse de l’utiliser.
- Si l’utilisation est obligatoire comme à la DPJ, l’utilisateur attentionné tentera de modifier les entrées afin d’obtenir la réponse raisonnable.
- Dans le pire des cas, si le système donne une mauvaise réponse et que l’opérateur n’est pas en mesure de réaliser l’erreur, la décision erronée est exécutée.
- Un jour ou l’autre des situations hors normes vont apparaître qui ne sont pas prévues par l’ensemble de règles ( le modèle ) car le modèle est bâti avec des experts humains ou de l’intelligence artificielle à partir de données accumulées provenant de l’expérience passée.
L’interactions avec les systèmes experts
- les informations sont souvent ambiguës et peu claires, les utilisateurs doivent donc envisager des alternatives et expérimenter.
- Les utilisateurs ont besoin de voir les options simultanément.
- La cognition ( la façon de penser) est non linéaire, alors que les questions et réponses forcent la pensée à suivre un chemin qui diffèrent de la façon naturelle de penser pour les processus de décision.
- Les questions réponses ne sont pas appropriés pour les experts et pour les tâches non structurées (dialogue ISO 9421).
En conclusion
Il n’existe aucun exemple connu de système expert (boîte noire) qui fonctionne dans le monde jusqu’à présent.
Le DPJ est un exemple tragique de croyance aveugle en un mythe. Cette situation nous rappelle le pire exemple d’automatisation dans lequel un système expert remplace le jugement humain et provoque une catastrophe. Malheureusement, la littérature abonde de cas catastrophiques reliés à l’automatisation de la décision que ça soit dans le nucléaire, dans l’aviation et même dans le cas de la crise financière de 2008.
L’auteur François Aubin est spécialiste en systèmes experts et ergonomie cognitive
Il a été le responsable de l’implantation de système de décision chez des entreprises de premier plan tels la Banque Royale du Canada, TD Canada Trust, la Banque Scotia, la Banque Nationale du Canada, Hydro Quebec, Amazon, etc. Sur cette base, M. Aubin élargit sa pratique pour aider les clients en Afrique, en Chine et en Asie de l’Est. Il a une maîtrise en interaction humain ordinateur de l’École Polytechnique de Montréal. Il donne fréquemment des conférences et est chargé de cours à l’UQAM et l’école Polytechnique.