Expertise et méthodes mathématiques
De l’utilité des compétences mathématiques pour conduire des raisonnements logiques là où le bon sens peut égarer l’esprit ! Leila Schneps a par ailleurs fait un exposé sur ce thème lors de la réunion du 27 septembre 2017 du groupe X Expertise. Parmi les exemples traités, elle a évoqué notamment l’affaire Dreyfus. Pour les camarades intéressés, le rapport Poincaré détaille avec précision les erreurs commises par Bertillon.
Si l’expertise dénote la compétence dans une matière précise, il n’y a guère de sens à parler de l’expertise d’un mathématicien, celui-ci étant supposé expert dans son domaine par définition. Mentionner l’expertise en mathématiques n’a de sens que par rapport à des circonstances dans lesquelles le mathématicien se trouve confronté à des personnes ne connaissant pas suffisamment de mathématiques pour évaluer correctement une situation qui cependant en dépend. Il est de nombreux domaines, comme l’ingénierie ou la finance, dans lesquels il n’est jamais besoin de faire appel à un expert mathématique, puisque les personnes chargées du travail possèdent déjà les compétences pour effectuer les calculs nécessaires. Les mathématiques sont par exemple partie intégrante du cursus des écoles d’ingénieurs, tandis que les quants de Wall Street sont le plus souvent d’ex-étudiants en mathématiques. Mais il existe aujourd’hui des domaines où ce n’est pas le cas, que ce soit par habitude, par tradition ou par ignorance. Les deux exemples les plus frappants de tels domaines sont la médecine et la justice. Dans la suite, nous décrirons trois thèmes liés à ces deux domaines, illustrés par des exemples tirés de vrais cas, qui serviront à illustrer des situations typiques dans lesquelles le recours à un expert mathématicien pourrait éviter de graves erreurs.
Aussi bien les médecins que les juges se trouvent régulièrement confrontés à des problèmes mathématiques tout à fait précis, sans avoir jamais reçu l’entraînement qui les rendrait capables de les évaluer correctement pour en tirer des conclusions fiables. Il n’y a à peu près pas de communication entre mathématiciens et médecins, ou entre mathématiciens et magistrats, et il n’existe aucune possibilité officielle de faire appel à un expert en mathématiques. La plupart du temps d’ailleurs, le concerné, médecin ou magistrat, n’est pas même conscient d’une lacune, satisfait d’user du simple bon sens pour interpréter les résultats d’une étude ou évaluer la force probante d’une démonstration. Cependant, à défaut de l’entraînement nécessaire, il n’est que trop facile de tomber dans des erreurs de logique, le raisonnement juste étant parfois contre-intuitif, ou encore de se laisser prendre à des erreurs probabilistes provoquées par des confusions entre connecteurs logiques, ou tout simplement commettre des erreurs de calcul, souvent dues à l’idée que les mathématiques consistent en un ensemble de recettes de cuisine, alors que des méthodes mathématiques parfois plus sophistiquées, mises en œuvre par des mathématiciens expérimentés, peuvent mener à des réponses fiables.
Thème 1 : information invisible ou covariables
Dans un article de 1991, D. Chadwick et al. publient les résultats d’une étude menée pendant presque cinq ans au Children’s Hospital de San Diego, dans laquelle ils examinent tous les cas d’enfants de moins de cinq ans amenés à l’hôpital pour cause de chute. Des 317 enfants observés au total pendant la durée de l’étude, Chadwick exclut tous ceux qui sont tombés d’une hauteur inconnue et divise les autres en trois groupes : les petites chutes (moins d’1 m 50), les chutes moyennes (1 m 50 à 3 m) et les grandes chutes (plus de 3 m). Il constate la présence d’un seul décès parmi les 118 enfants victimes d’une grande chute, aucun dans le groupe des chutes moyennes, mais sept décès parmi les 100 enfants dans le groupe des petites chutes. Partant de cette constatation alarmante, il indique qu’il n’y a que deux possibilités : ou l’on peut croire que les histoires de petites chutes mortelles étaient fausses et qu’il s’agissait en réalité de cas de maltraitance, ou alors on peut croire que les histoires de petites chutes mortelles étaient véridiques, mais alors il faut accepter que les chutes d’une hauteur d’1 m 50 sont presque huit fois plus dangereuses que les chutes de plus de 3 m.
“Des centaines d’arrestations de parents
et d’accusations de maltraitance.”
Cette étude a été citée pour justifier des centaines d’arrestations de parents et d’accusations de maltraitance. Pourtant cette conclusion (encore fréquemment citée aujourd’hui) est totalement fausse. Les auteurs oublient un renseignement invisible mais fondamental : alors que les enfants qui tombent de plus de 3 m finissent tous à l’hôpital, pratiquement aucun enfant n’est amené à l’hôpital pour avoir fait une chute de moins d’1 m 50. Le taux de mortalité des grandes chutes est peut-être bien de 1 sur 118, mais le taux de mortalité des petites chutes n’est nullement de 7 sur 100, mais plutôt de 7 sur les plusieurs millions de petites chutes subies par les enfants de moins de 5 ans de toute la région de San Diego sur une période d’à peu près cinq ans. Les chiffres donnés par les auteurs ne justifient absolument pas la conclusion que les petites chutes seraient plus dangereuses que les grandes, ou que, si un décès est expliqué par une histoire de petite chute, l’histoire est nécessairement fausse. Pourtant c’est bien ce que l’article explique.
Une erreur similaire se trouve dans un article très récent visant à démontrer que les petites chutes ne peuvent pas causer certaines lésions associées au syndrome du bébé secoué (hématome sous-dural, etc.). L’argument présenté affirme que, si tel était le cas, on constaterait autant de cas provenant de crèches que de domiciles de particuliers ; or à peine 1 % des cas proviennent de crèches. Mais les auteurs oublient qu’à l’âge concerné par le syndrome du bébé secoué (3−9 mois en général), très peu d’enfants (8 %) vont à la crèche, et même ceux-ci n’y passent qu’à peu près 1⁄5 de leur temps. On trouve donc que seulement 8 % x 20 % = 1,6 % de la totalité des heures sont passées dans les crèches pour des bébés dans cette tranche d’âge, ce qui infirme totalement l’argument des auteurs.
Thème 2 : le sophisme du procureur
Une erreur logique extrêmement fréquente, dont l’origine consiste en la confusion entre deux probabilités relatives, est connue sous le nom de sophisme du procureur. Elle se rencontre en général dans le raisonnement suivant : étant donné que, d’après les experts, il y a une probabilité infime que l’explication du suspect soit la vraie, il est quasi certain que le suspect est en fait coupable. En effet, énoncé ainsi, il est presque impossible de s’apercevoir qu’il y a un sophisme. Le cas britannique très médiatisé de Sally Clark nous offre cependant un bon contre-exemple. Cette jeune mère a perdu deux nourrissons en deux ans. Les deux fois, la mère était seule avec l’enfant, ce qui était normal puisqu’elle était en congé de maternité alors que son mari travaillait, et les deux fois elle a expliqué que l’enfant était tombé subitement malade. Aucune cause de décès n’a pu être décelée lors des autopsies. De ce fait le premier décès a été classé comme mort subite du nourrisson (MSDN), un malheur qui frappe à peu près 40 nourrissons sur 100 000 (le taux varie selon le pays et la région). Mais devant un deuxième décès analogue l’année suivante, la justice s’est saisie de l’affaire.
Le témoin expert, médecin spécialisé dans la maltraitance, a tenu à peu près le raisonnement suivant : Il y a une chance sur 1 400 qu’un bébé meure de mort subite du nourrisson. Mais une étude récente a montré que, dans une famille où aucun des deux parents n’est fumeur, ni chômeur, ni très jeune, ce taux tombe à 1 sur 8 540. Comme cette famille est dans ce cas, il y a une chance de 1 sur 8 540 au carré, c’est-à-dire de 1 sur 73 millions, que cela se produise deux fois dans une même famille, ce qui est quasiment impossible ; elle doit donc être déclarée coupable de les avoir tués. Sally Clark a été condamnée ; il a fallu plusieurs années et l’intervention de la Royal Statistical Society pour annuler le verdict. De fait, il n’est nullement facile de convaincre la justice – et le public – que le raisonnement tenu par ce témoin expert est défectueux. Pourtant, pour un œil entraîné, l’erreur est évidente, car il y a ici confusion entre deux probabilités totalement différentes : d’une part, la probabilité que Sally Clark soit innocente étant donné que ses deux nourrissons sont morts ; d’autre part la probabilité que ses deux nourrissons soient morts étant donné qu’elle est innocente. En effet, la probabilité de 1⁄8 540 est celle qu’un bébé meure de MSDN sous l’hypothèse que ses parents n’ont rien fait. Élever cette probabilité au carré constitue déjà une grossière erreur en soi, puisque rien ne permet de supposer que les deux morts soient indépendantes l’une de l’autre. Mais, même si elle était juste, la probabilité infime de 1 sur 73 millions est celle que les deux enfants soient morts de MSDN si leur mère est innocente, et non celle qu’elle soit innocente étant donné qu’ils sont morts. Ces deux probabilités sont reliées par un facteur qui mesure en fait la probabilité qu’une maman tue ses deux enfants – ce qui est rarissime.
En fin de compte on est en train de peser le poids relatif de deux probabilités : étant donné la mort de deux bébés dans une même famille, on cherche d’une part la probabilité que ce soit leur mère qui les ait tués, d’autre part la probabilité qu’on soit en présence de cas de MSDN, et chacune de ces deux probabilités est mesurée en utilisant la fréquence de l’événement (mère meurtrière ou MSDN) dans la population générale. De cette façon, on trouve en fait deux probabilités à peu près égales, ce qui n’est peut-être pas très concluant, mais c’est là un argument beaucoup plus juste que celui présenté par l’expert.
Thème 3 : la force probante, ou le poids des preuves
Le troisième type d’erreur, qui intervient très fréquemment dans le cadre judiciaire, concerne la capacité à estimer l’information apportée par un nouvel élément de preuve. De nombreuses études ont montré que juges et jurés ont tendance à sous-estimer le poids de certains types de preuves. La difficulté d’évaluer correctement le poids des preuves est bien sûr exacerbée quand il s’agit de considérer tout un ensemble de preuves simultanément, d’autant plus que celles-ci ne sont généralement absolument pas indépendantes les unes des autres. Pourtant, quand un nouvel élément de preuve est de type probabiliste, la formule de Bayes permet de l’incorporer correctement pour réviser l’estimation initiale de culpabilité. Malheureusement, les études montrent que les mises à jour effectuées mentalement par les décideurs devant un tel apport de renseignement probabiliste correspondent très peu aux résultats fournis par une application de la formule de Bayes.
Il n’est pas facile d’expliquer pourquoi nos estimations intuitives sont souvent si terriblement fausses, mais un élément qui contribue à cette erreur est certainement le fait que nos cerveaux ne sont pas à même de saisir la portée de nombres aussi minuscules que 0,0000001 ; nous avons tendance à associer fortement de tels nombres à la notion de jamais ou impossible, alors qu’en réalité tout dépend de la population prise en considération : si la probabilité d’un événement est de 1 sur 10 millions, cela veut dire en réalité que l’on peut s’attendre à ce qu’un tel événement se produise une, voire plusieurs fois au sein d’une population de 100 millions d’individus. La force probante des preuves présentées sous forme d’énoncés probabilistes sans lien direct avec l’accusé, en revanche, a souvent tendance à être fortement sous-estimée.
“Juges et jurés ont tendance à sous-estimer le poids de certains types de preuves.”
Un exemple frappant est le cas de YL, accusé d’avoir tiré sur deux personnes depuis sa voiture. Une des victimes est décédée sur le coup, mais l’autre a survécu et a pu indiquer la couleur de la voiture de l’agresseur et émettre le soupçon qu’il pouvait s’agir d’YL, qui était en colère contre les victimes pour une histoire de regards et de manque de respect. La police a donc saisi la voiture d’YL et y a effectué des tests de prélèvement de résidus de tir. Plusieurs particules ont été trouvées sur le volant, la manette de changement de vitesses et le siège du conducteur. YL a expliqué la présence de ces particules par le fait qu’il était chasseur et portait donc forcément des particules sur ses vêtements. La police a donc procédé à une expérience : d’une part ils ont saisi 25 voitures de chasseurs pour y mesurer la quantité de résidus de tir, d’autre part ils ont reconstitué le crime en tirant avec l’arme du crime depuis l’intérieur d’un véhicule propre. Le résultat, présenté lors du procès, était que la voiture depuis laquelle on avait tiré présentait une quantité de résidus de tir proche de celle de la voiture d’YL, qui était de quelque 200 fois plus élevée que la moyenne trouvée dans les voitures de chasseurs. Lors de son premier procès, l’avocat de YL, très connu et très habile, a jeté de toutes les façons possibles un doute sur les résultats de la police. Entre autres, il a remis en question la nature véritablement scientifique d’une étude de 25 voitures « empruntées à vos copains ». YL a été acquitté.
Le parquet ayant fait appel, un nouveau procès a été organisé deux ans plus tard, à l’issue duquel YL a été condamné à vingt ans de réclusion criminelle sans que les preuves aient le moins du monde changé. Il est évident que, au procès d’appel comme en première instance, ce qui manquait était une véritable capacité de la part du jury d’estimer la force probante des renseignements numériques concernant le résidu de tir. Un réseau bayésien utilisé pour modéliser correctement la situation montre que cette force probante est en réalité extrêmement élevée.
Ces exemples montrent que l’absence d’experts mathématiques dans les domaines médical et judiciaire est cause d’un grand nombre d’erreurs, lesquelles entraînent des conséquences gravissimes. Pour modifier cette situation il conviendrait d’instaurer un dialogue et un travail commun des parties concernées avec des mathématiciens. Mais, pour cela, il faudrait que les médecins et les acteurs du monde judiciaire en reconnaissent la nécessité, ce qui implique en premier lieu de reconnaître certaines erreurs passées. Il s’agit là d’un acte dont les répercussions sont telles qu’il apparaît comme quasi impossible – d’où l’impasse dans laquelle nous nous trouvons aujourd’hui.
La formule de BayeS
Le théorème de Bayes est un résultat de base en théorie des probabilités, dont l’énoncé est :
P(A|B) = P(B|A) x P(A) / P(B)
où P(A|B) désigne la probabilité conditionnelle de A sachant B. La formulation initiale est issue des travaux du révérend Thomas Bayes et est plus limitée, elle a été retrouvée indépendamment par Laplace. Outre son utilisation en probabilités, ce théorème est fondamental pour l’inférence bayésienne qui s’est montrée très utile en intelligence artificielle.
