Accusé à tort de pédophilie par Google, il perd sa vie numérique

Image d'illustration. | Unsplash

C’est un scénario que la série Black Mirror n’aurait pas renié. Le New York Times relate l’histoire d’un père de famille qui a été considéré à tort comme un pédocriminel par l’algorithme de Google destiné à déceler le matériel pédopornographique. L’homme a perdu accès à son compte, et a fait l’objet d’une enquête de la police.

Ce qu’il s’est passé.

  • Mark, de son prénom, a pris des photos de l’aine de son fils après avoir constaté que son pénis était enflé et lui faisait mal, afin de pouvoir comparer l’évolution du problème.

  • La femme de Mark a ensuite pris rendez-vous pour une consultation urgente. L’infirmière a alors demandé aux parents d’envoyer des photos pour permettre au médecin de les voir avant la consultation vidéo — pandémie de Covid-19 oblige.

  • Les photos ont permis au médecin de diagnostiquer le problème et de prescrire des antibiotiques au fils de Mark.

Cette histoire, assez banale, aurait pu en rester là. Mais non:

  • Deux jours plus tard, Mark reçoit une notification sur son smartphone: son compte Google a été désactivé après constatation de «sévères violations des règles d’utilisation».

  • Mark a très vite compris le problème: les photos de son fils ont été considérées comme du matériel pédopornographique par Google. Il le sait, car il a lui-même travaillé en tant qu’ingénieur pour développer des outils qui permettent de détecter automatiquement les contenus problématiques.

En principe, un être humain est censé vérifier manuellement les signalements. Mark pensait donc qu’il lui suffirait de contacter la personne concernée pour que ce malentendu trouve une issue favorable. Grave erreur.

Un effet domino sur toute sa vie numérique. Le père a donc rempli le formulaire de Google lui permettant de s’opposer au blocage de son compte. En parallèle, il constate l’ampleur de la sanction:

  • Ses courriels, les coordonnées de ses amis et anciens collègues, ainsi que la documentation sur les premières années de vie de son fils sont perdus.

  • Pire, son compte Google FI — un opérateur mobile virtuel qui n’existe pas en Europe — a été, lui aussi, bloqué. Mark n’a d’autre choix que de changer de numéro de téléphone et d’opérateur.

  • Faute d’accès à son ancien numéro et à son ancienne adresse e-mail, il ne peut plus se connecter à des comptes qui n’ont rien à voir avec Google, parce que la double authentification qu’il a activé nécessite de fournir des codes envoyés par SMS ou par mail.

  • Google a indiqué à Mark qu’il ne débloquerait pas son compte, sans lui donner de plus amples explications.

Le père blanchi, mais Google fait la sourde oreille. Au même moment, le département de police de San Francisco a démarré une enquête à son encontre. L’investigation policière a démarré une semaine après que les photos ont été prises par Mark. L’enquêteur en charge de l’affaire a eu accès à tout ce que Google détenait sur l’homme: courriels, photos, vidéos, historiques de navigation et géolocalisation. Résultat: la police a déterminé qu’il n’y avait pas lieu de continuer l’enquête.

Malgré cette décision, qui levait tout soupçon concernant les photos incriminées, Google n’a toujours pas accepté de débloquer le compte de Mark. En définitive, le père a perdu un pan entier de sa vie numérique alors qu’il n’a pas agi de manière répréhensible.

Les limites du machine learning. Cette histoire soulève d’importantes questions. En Europe, les autorités envisagent de renforcer la lutte contre la pédocriminalité en ligne, imposant aux fournisseurs de services et exploitant de plateformes de tout mettre en œuvre pour détecter du contenu pédopornographique. Etant donné le volume important d’images et de vidéos qui sont publiées quotidiennement sur le web, un tel suivi ne peut pas être assuré par des êtres humains. Le moyen le plus efficace reste l’automatisation.

C’est là qu’intervient le machine learning, souvent appelé abusivement intelligence artificielle. Des algorithmes sont entraînés à repérer du contenu qui enfreint certaines règles. Le modèle est confronté à des millions de photos et de vidéos, afin de lui permettre de distinguer les contenus acceptables de ceux qui ne le sont pas.

En l’occurrence, le programme de Google n’a fait qu’appliquer ce pourquoi il a été entraîné: détecter un contenu potentiellement illégal. Le journaliste du New York Times précise avoir vu les photos du fils de Mark. Et de noter:

«Ce sont des photos explicites d’un organe génital infantile. Mais le contexte est important: ce sont des photos prises par des parents inquiets pour la santé de leur enfant.»

L’importance du contexte. Or, le machine learning n’est pas (pour l’heure?) capable de détecter le contexte, une telle appréciation repose sur une observation humaine. Or, Mark ne serait pas le seul parent confronté à cette situation. Le New York Times cite le cas d’un autre père concerné.

Les experts interrogés par le média américain estiment qu’il n’est pas possible de déterminer avec précision le nombre de personnes concernées par des «faux positifs», mais certains parlent de milliers de cas, peut-être plus. Le problème, notent-ils, c’est que les victimes de telles erreurs ont tendance à ne pas l’ébruiter, compte tenu de la gravité des accusations portées à leur encontre.

Si les experts sont tous d’accord sur le fait qu’il faut lutter contre la pédocriminalité, ils pointent du doigt les dérives potentielles de l’automatisation. En scannant les albums photos des utilisateurs, les algorithmes ne manqueront pas de tomber sur des photos privées qui ne relèvent pas de l’abus sexuel. Dans l’incapacité de faire la différence, ils les signaleront systématiquement.

En l’occurrence, le contenu problématique est envoyé au Centre national pour les enfants perdus et exploités aux Etats-Unis. L’organisation à but non lucratif reçoit plus de 29 millions de signalements par an, soit 80’000 par jour. Un chiffre qui ne devrait faire que croître, à mesure que les plateformes seront tenues de démontrer qu’elles font tout ce qu’elles peuvent pour déceler ce contenu.