Automatiser la justice

Ça n’a pas été la meilleure décennie pour l’intuition.

Les ordinateurs gagnent du terrain dans la prise de décision, chasse gardée traditionnelle des humains. Que ce soient des algorithmes qui vous recommandent un film ou des voitures autonomes qui font miroiter une énorme réduction des accidents, nous sommes sur une lancée extraordinaire dans le développement des technologies qui aident à prédire et à éviter l’erreur humaine.

Mais notre inconfort lui aussi prend de l’ampleur : alors que les logiciels d’intelligence artificielle sont de plus en plus sophistiqués, nous sommes aussi de plus en plus dépendants d’une technologie que nous ne comprenons pas entièrement. Cet inconfort est particulièrement présent dans le monde juridique, où l’on soupèse les implications d’une nouvelle génération d’outils d’évaluation des risques pour guider la prise de certaines décisions.

« C’est la liberté des gens qui est en jeu », estime Carmen Cheung, professeure à la Munk School of Global Affairs à l’Université de Toronto. « Il y a un sentiment que les [logiciels d’analyse prédictive] peuvent aider, mais nous n’avons pas eu de débat suffisamment robuste sur ces questions. Jusqu’à ce qu’on ait une conversation appropriée, ils ne devraient pas être déployés. »

Il n’y a pas de consensus quant au rôle que devraient jouer ces logiciels d’évaluation des risques dans le processus de justice. Les partisans affirment que cette nouvelle génération d’outils d’analyse statistique peut réduire certains préjugés ancrés dans le domaine judiciaire, rendre le système plus efficace et ultimement, résulter en un moins grand nombre de personnes qui se retrouvent en prison, tout en maintenant la sécurité du public. Ceux qui s’y opposent font valoir que ces outils sont injustes envers les minorités et pourraient mener à des taux encore plus élevés d’incarcération et de marginalisation d’individus jugés trop risqués pour la société.

Dans sa forme actuelle, le logiciel d’analyse prédictive « est un outil hautement préjudiciable et potentiellement raciste », tranche le Michael Bryant, le Directeur exécutif de l'Association canadienne des libertés civiles. « Pour les accusés, particulièrement les plus démunis, c’est un désastre potentiel. » L’ancien procureur général de l’Ontario affirme qu’en tant que dirigeant du système de justice de la province, il n’aurait pas autorisé leur utilisation.

La question est : est-ce que les préoccupations quant aux implications de cette nouvelle technologie devraient nous empêcher de profiter de ses bénéfices potentiels? Est-ce qu’une plus grande transparence ou facilité d’interprétation apaiserait nos inquiétudes?

La première chose à examiner, selon des experts, est notre propre conception de l’équité.

« On doit s’entendre sur ce qu’est un risque tolérable, et le faire d’une manière qui peut être transmise à une machine », dit la professeure Cheung. « Je suis préoccupée par le fait qu’en tant que profession, on ne s’entend pas sur les fondements de ce que sont la justice et la sécurité. »

Il n’est pas clair si le Canada, un chef de file mondial dans le développement des outils d’évaluation des risques, suivra l’exemple des États-Unis et les utilisera abondamment pour guider les décisions dans le système de justice. Les ministères de la Justice au Canada restent avares de commentaires à ce sujet.

Certains font valoir que même les évaluations les plus sophistiquées ne sont qu’un autre outil disponible pour les juges et autres acteurs du système judiciaire.

Dans le contexte approprié et avec une bonne formation, de telles évaluations objectives du risque peuvent faire partie des solutions pour créer un système plus juste et efficace.

« Des données montrent que ces instruments sont beaucoup plus fiables et efficaces que l’intuition », dit Mary Ann Campbell, directrice du Centre d’études pour la justice criminelle à l’Université du Nouveau-Brunswick. « Mais ils ne prennent pas les décisions. Il est essentiel que ceux qui utilisent les outils comprennent ce qu’ils sont et comprennent ce qu’ils ne peuvent pas faire. Autrement, vous aurez des gens qui prennent des décisions sur la base d’un score, sans comprendre ce qu’il signifie. »

On vit dans un monde imparfait à l’heure actuelle, note Albert Yoon, un professeur de droit à l’Université de Toronto et cofondateur de Blue J Legal, qui utilise l’apprentissage automatique pour aider à prédire l’issue de litiges dans le domaine fiscal et de l’emploi.

« Les humains, même avec les meilleures intentions, sont sujets aux partis pris et aux incohérences. Les machines peuvent aider les humains à réduire ce type d’erreurs », dit-il. Le professeur Yoon note qu’une récente étude du National Bureau of Economic Research a conclu que les algorithmes d’apprentissage machine peuvent aider à réduire le crime sans mettre plus d’accusés en prison.

Utilisé depuis des décennies

Aux États-Unis, des États utilisent des logiciels pour prédire les risques de récidive et d’absentéisme aux procès. Deux des outils les plus populaires incluent le Level of Service Inventory-Revised (LS/CMI) de la compagnie de Toronto Multi-Health System et COMPAS (Correctional Offender Management Profiling For Alternative Sanctions), développé par Northpointe (devenue Equivant). Plusieurs États utilisent aussi des programmes créés par ou en collaboration avec des organismes sans but lucratif ou des universités.

Le recours aux évaluations basées sur l’analyse de données n’a rien de nouveau. Depuis des décennies, les cours dans plusieurs juridictions ont utilisé des outils de divers degrés de sophistication pour évaluer les risques de récidive. Certains outils actuariels n’utilisent que quelques variables, tandis que d’autres posent des douzaines de questions pour mieux aiguiller les délinquants vers les traitements appropriés.

Certains programmes utilisent déjà l’intelligence artificielle, avec la prochaine génération d’outils qui promet de devenir encore plus autonome. Les accusés sont catégorisés selon divers degrés de risque sur la base d’un certain nombre de facteurs dont l’âge, les antécédents, la situation d’emploi, l’entourage et l’attitude.

La plupart des experts au Canada s’entendent pour dire que les outils actuariels sont utiles dans certaines circonstances; ils sont fréquemment utilisés ici dans des dossiers de violence conjugale, de santé mentale, de délinquants violents ou dans la gestion de prisonniers. Des logiciels de prédictions plus sophistiqués basés sur l’IA ne sont pas largement répandus, bien qu’il soit difficile d’en avoir une idée exacte puisque les travailleurs sociaux ou agents de probation ne déclarent pas toujours le recours à de tels instruments, note Stephen Wormith, directeur du Centre for Forensic Behavioral Science and Justice Studies à l’Université de la Saskatchewan.

« Le portrait est plutôt flou », dit M. Wormith. Mais on peut dire « que les outils traditionnels d’évaluation du risque qui sont utilisés au Canada ont tendance à ne pas avoir recours à l’automatisation, autre que d’entrer des scores et de les compiler ».

En contraste, les États-Unis utilisent beaucoup plus d’algorithmes à tous les stades, mais il est difficile de dire quelle information en émerge puisque la propriété intellectuelle de plusieurs produits est protégée. Sans une plus grande transparence, certains s’inquiètent que les choses pourraient devenir encore plus opaques avec des algorithmes qui deviennent de plus en plus complexes et autonomes.

Même pour ceux qui aident à les concevoir, on ne sait pas exactement en quoi les logiciels d’analyse prédictive différeront fondamentalement des méthodes empiriques traditionnelles. « C’est une question intéressante », convient M. Wormith, coauteur du LS/CMI pour lequel il reçoit des paiements de droits d’auteur.

Ces logiciels de nouvelle génération « sont une extension logique, dit-il. Il y a une continuité dans l’automatisation d’une action totalement manuelle à une opération clé en main où le logiciel fait tout le travail… Mais c’est une approche différente tandis que [les programmes] confient la demande intellectuelle entièrement au logiciel. La prochaine étape est de laisser l’entière liberté à l’ordinateur pour qu’il analyse des jeux de données qui peuvent provenir de n’importe où. Ça augmente vraiment la distance avec l’opérateur. »

Améliorer les décisions

Mais tandis que le Canada est aux prises avec de hauts niveaux d’incarcération, particulièrement avant procès, l’automatisation d’un plus grand nombre de composantes du système pourrait s’avérer attrayante.

L’Ontario examine la faisabilité de développer un outil pour l’aider à rendre des décisions en matière de cautionnement. « Le travail préliminaire qui est fait actuellement vise à évaluer la faisabilité technique, incluant l’identification des exigences en termes de données et les ressources requises pour appuyer un tel instrument », a expliqué un porte-parole du ministère du Procureur général.

Albert Yoon et ses collègues de Blue J Legal, Ben Alarie et Anthony Niblett, se penchent actuellement sur le cautionnement en Colombie-Britannique pour explorer « la manière dont les cours prennent leurs décisions, et [déterminer] s’il est possible d’y appliquer des statistiques et de l’apprentissage machine pour améliorer ces décisions à l’égard de la sécurité publique et des coûts ». L’étude est purement académique, ajoute le professeur Yoon. « Notre objectif est simplement d’analyser
la question rigoureusement. »

Déterminer le risque afin de mieux protéger la société demeure la tendance dominante à l’heure actuelle. Mais des réformes du cautionnement prennent de l’ampleur tant ici qu’aux États-Unis. L’Ontario a récemment annoncé des changements majeurs à ses directives avec l’accent placé sur la libération des accusés à faible niveau de risque.

En 2015-2016, plus de la moitié des détenus dans les prisons provinciales et territoriales du Canada étaient en attente de procès ou d’une sentence, un bond de 35 % depuis une décennie, selon Statistique Canada. Certains sont incarcérés en raison de faux pas administratifs, ou parce qu’ils ont violé les conditions de leur libération. La plupart ne sont pas accusés d’un crime violent.

Considérant le fait que même un court séjour derrière les barreaux peut avoir des conséquences dévastatrices pour des familles entières, « ce dont nous avons besoin est de repenser en particulier quels genres de conditions nous établissons. Nous devrions réserver le système aux crimes qui sont vraiment sérieux », dit Nicole Myers, professeure à l’École de criminologie de l’Université Simon Fraser. « Les choses changent », a-t-elle ajouté en référence aux réformes du cautionnement. « Mais ça va prendre du temps, et ce qui est nécessaire est une meilleure éducation et de la formation » pour le personnel des tribunaux.

« On doit réfléchir sérieusement à qui on emprisonne et pourquoi », renchérit Kelly Hannah-Moffat, professeure de sociologie à l’Université de Toronto et critique depuis un certain temps du recours aux algorithmes dans les cours. « La plupart des gens peuvent être gérés dans la communauté. Nous n’avons pas de problème massif de fuite ici au Canada.»

Dans quelle mesure les outils actuariels de justice peuvent influencer les niveaux de population carcérale est matière à débats. Mais à l’origine, l’objectif pour ces outils empiriques était de réduire le potentiel de partis pris, distinguer les accusés à faible risque des dangereux criminels et de réduire le nombre d’incarcérations. Le but est de viser les individus à haut risque avec le bon traitement dans l’espoir de réduire les risques de récidive, de même que d’aider à évaluer la durée appropriée de détention.

Par contre, les opinions divergent quant à l’efficacité et l’équité de l’évaluation des risques en général, et en particulier de celle des outils qui ont recours à l’intelligence artificielle.

D’un côté, évaluer les risques est une composante importante et juridiquement acceptée du système de justice. Tout ce qui rend le système plus efficace peut aider, même si c’est généré par une machine.

« Dûment testé et approuvé, un tel outil permettrait de mesurer les risques objectivement et de proposer des conditions ou des modalités pouvant les réduire », a écrit l’ancien juge en chef de la Cour provinciale du Manitoba, Raymond Wyant, dans un récent rapport rédigé pour le ministère du Procureur général de l’Ontario, Mise en liberté sous caution et détention provisoire en Ontario. « Il s’agirait d’une contribution précieuse. »

« Vu toute la place à l’amélioration qu’on trouve dans le statu quo, on ne peut se permettre d’être complaisant alors qu’on pourrait faire beaucoup mieux », renchérit Vincent Chiao, professeur de droit à l’Université de Toronto, à l’égard d’une réforme du cautionnement. « Ça ne veut pas dire qu’on devrait se fier aveuglément à n’importe quel logiciel d’IA qu’une compagnie essaie de vendre. »

« Mais inversement, on ne devrait pas simplement présumer que l’intuition humaine et le jugement ne peuvent être améliorés par le jugement actuariel. Je crois que les faits indiquent clairement l’inverse », a écrit le professeur dans un courriel.

La préoccupation, toutefois, est que les logiciels de prédiction actuels sont élaborés à partir de données historiquement tendancieuses. Les détracteurs affirment que les outils de prédiction de l’avenir sont imparfaits et que les praticiens pourraient facilement être dépassés par les mathématiques de l’algorithme. Ils ne sont pas neutres; ils institutionnalisent et amplifient un parti pris, selon eux.

« Les algorithmes sont des opinions incorporées dans de la programmation », estime Cathy O’Neil, mathématicienne et auteure du best-seller Weapons of Math Destruction, dans un Ted Talk l’an dernier. Ils ne  « rendent pas les choses plus justes. Ils répètent nos façons de faire, nos modèles. Ils automatisent le statu quo ».

De savoir si le système de justice canadien est équitable est une question plus large, mais il a ses problèmes; Reuters a rapporté récemment que les données démontrent que les Noirs passent plus longtemps en détention avant procès que les Blancs pour des accusations similaires.

Si le logiciel de prédiction actuel était potentiellement aussi bon à identifier les accusés à faible risque que certains partisans l’affirment, « alors les deux camps le recommanderaient », note Me Bryant. « Lorsque les avocats de la défense commencent à dire qu’ils veulent les utiliser, alors vous avez quelque chose. »

Erronément identifié

Tandis que des académiques signalent ce risque de partialité depuis au moins une décennie, le débat a atterri dans la sphère publique après que des journalistes d’enquête de ProPublica eurent publié en 2016 un reportage identifiant des problèmes avec des outils comme COMPAS. Après avoir analysé les données à partir d’un échantillon de test, les journalistes ont découvert que
« la formule était particulièrement susceptible d’identifier des accusés noirs comme étant de futurs criminels, leur accolant erronément cette étiquette presque deux fois plus souvent que pour les accusés blancs. Les accusés blancs étaient erronément catégorisés comme étant à faible risque plus souvent que les accusés noirs ».

Northpointe aurait affirmé que les données avaient été mal interprétées. Depuis, des universitaires des deux camps débattent de la notion d’équité statistique.

Des activistes des droits de la personne réclament quant à eux l’arrêt du recours aux algorithmes de prédiction par les cours, en particulier avant le procès. Dans une lettre rendue publique en juillet, Human Rights Watch a écrit que ces outils sont troublants en ce qu’ils ignorent « le contexte spécifique de la vie d’une personne : une personne avec un dossier “à haut risque” peut aussi avoir des caractéristiques individuelles ou des besoins qui justifient une libération sans supervision ou à de moindres niveaux de supervision, mais ce sera ignoré par l’outil de prédiction ».

En plus de l’âge et du sexe, les antécédents d’arrestations sont des facteurs cruciaux pour déterminer le risque, mais plusieurs affirment qu’ils sont largement biaisés en fonction de l’origine ethnique. D’autres variables – et leur poids relatif – peuvent aussi être problématiques, mais ça demeure difficile à déterminer, déplorent certains, puisque les firmes ne dévoilent pas grand-chose
des formules qu’elles utilisent.

Dans quelle mesure les acteurs du système judiciaire comprennent les limites des scores associés au risque est une autre question. Les humains ont tendance à faire confiance à la technologie pour prendre les bonnes décisions. Le danger est que les programmes actuels basés sur les algorithmes donnent une aura scientifique à ce qui est essentiellement des opinions quant à ce qui pourrait se produire à l’avenir. Ces acteurs du système judiciaire auront de la difficulté à contredire la recommandation de ce qu’ils pourraient percevoir comme un prédicateur de risque plus sophistiqué. Ces rapports seront aussi plus faciles à utiliser en cour.

« Ils sont perçus comme étant plus faciles à défendre juridiquement et meilleurs que de simples intuitions », souligne la professeure Hannah-Moffat de l’Université de Toronto. « Ce sera difficile pour les gens à outrepasser». 

La question de savoir si les tribunaux souvent en manque de financement prendront les mesures nécessaires ou auront l’expertise technique pour constamment évaluer, mettre à jour et valider ces outils est aussi une préoccupation.

La question de l’efficacité

Mis à part les questions éthiques, des doutes existent aussi quant à savoir si les algorithmes mèneront à des cours plus efficaces et à des approches simplifiées.

Compte tenu de l’ensemble des problèmes entourant les algorithmes – données, outils et objectifs imparfaits ou défectueux – « ils ont plus d’inconvénients que d’avantages », estime la professeure Myers de l’Université Simon Fraser. Ce ne sont pas des logiciels « qui vont résoudre les problèmes. Le point de départ devrait être de changer la culture du risque » pour s’assurer que moins de gens finissent en prison avant d’être trouvés coupables ».

Me Bryant souligne que les outils d’IA pourraient encombrer les rôles encore davantage puisque les décisions pourraient être contestées au même titre que pouvaient l’être les tests d’alcoolémie : la possible non-fiabilité de la technologie. Une justice à deux vitesses en émergera, avec des accusés plus fortunés capables d’avoir recours aux experts appropriés.

En effet, les problèmes causés par l’opacité de la technologie actuelle ont fait couler beaucoup d’encre. En raison de sa complexité, il est difficile de dire exactement comment une machine en est venue à un résultat donné. Des scientifiques des données ont conclu qu’à l’avenir, les programmes ne seront utiles que dans la mesure où ils permettront de comprendre leur démarche. L’Union européenne a d’ailleurs restreint leur usage en vertu du Règlement général sur la protection des données qui entre en vigueur cette année et qui prévoit que les usagers ont droit à une explication.

Les solutions à ces problèmes se trouvent peut-être dans de meilleures règles et technologies : bien qu’on ne puisse changer l’histoire sous la forme des données de base, on peut développer des outils qui non seulement révèlent les tendances indésirables, mais aussi qui les éliminent.

Les informaticiens insistent pour dire qu’il est possible de créer des systèmes plus équitables et transparents, bien que certains s’interrogent quant à savoir s’ils devraient être utilisés dans le système de justice. Ultimement, il s’agit de nos outils, nous sommes en contrôle de la programmation. « Ça dépend seulement de la manière dont vous programmez le logiciel », dit Joanna Bryson, professeure d’informatique à l’Université de Bath. « Si vous voulez plus de gens en prison, vous aurez plus de gens en prison. »

Ultimement, la programmation prédictive demeure attrayante pour plusieurs, donc « on ne peut se permettre de ne pas en débattre », insiste la professeure Cheung de l’Université de Toronto. Même les logiciels les plus transparents ont besoin d’objectifs clairs. La première étape est de déterminer ce que, en tant que société, nous souhaitons accomplir.