Si une équipe n’est pas capable de répliquer un résultat, il est possible que ce résultat:
- Soit un faux positif, c’est-à-dire un miroir aux alouettes,
- Dépende étroitement de l’équipe initiale,
- S’avère faux dans la nouvelle population d’étude…
Dans tous les cas, on peut considérer ce résultat comme sans grand intérêt.
Le signal d’alerte. En 2005, l’épidémiologiste John Ioannidis, à Stanford, met la focale sur ce problème avec un article provocateur: «Pourquoi la plupart des résultats scientifiques sont faux».
Ce travail a fait l’effet d’un électrochoc, et reste à ce jour l’un des plus cités en sciences, toutes disciplines confondues: près de 12'000 fois.
D’après Ioannidis, un résultat est d’autant plus à risque d’être faux qu’il repose sur de petites études, que l’effet démontré est ténu, que le protocole et l’analyse sont flexibles, mais aussi qu’il existe des enjeux financiers ou idéologiques dans le champ concerné…
A l’échelle d’une discipline, l’accumulation d’études de faible qualité tend à remettre en cause une partie substantielle des résultats.
⇾ Les méthodologies inadaptées, mais aussi la propension des revues à ne publier que des résultats positifs et la culture du «publish or perish» sont pointées du doigt.
Exemple 1. Les riches moins éthiques? En 2012, une équipe de recherche en psychologie sociale de Berkeley publie un article dans PNAS montrant que les personnes de classe sociale élevée seraient plus susceptibles d’adopter des comportements non éthiques.
Dans l’une des sept études à l’appui de ce résultat, les expérimentateurs ont par exemple observé, en voiture, une plus forte tendance à couper la priorité aux intersections.
Le résultat est très repris dans le domaine (cité près de 1300 fois) et fait les gros titres de la presse.
En janvier 2023, une équipe de l’Université Bocconi (Milan), échoue à reproduire ce résultat.
Exemple 2. Suicide et pleine lune. Une équipe de recherche finlandaise s’intéresse au lien entre la phase de la lune et le suicide, en étudiant le registre finlandais de 1988 à 2011.
Leur étude, publiés en 2021 dans Molecular Psychiatry, montre que les femmes se suicideraient davantage pendant la pleine lune… en hiver… et avant l’âge de 45 ans.
Une telle conjonction de facteurs est insolite, donc suspecte.
Ces résultats n’ont pu être répliqués ni chez les Autrichiens, ni chez les Suédois.
Panique à bord. Confrontés à des difficultés de ce genre, plusieurs domaines des sciences ont commencé à s’inquiéter, en médecine, biologie et surtout en psychologie.
En 2015, est paru dans Science le résultat d’une collaboration de 270 chercheurs, qui visait à reproduire 100 expériences célèbres en psychologie. Un tiers environ (36%) a pu être reproduit!
Une initiative similaire sur la biologie du cancer, sur 50 expériences a réussi à en reproduire un peu moins de la moitié (46%), après moult déconvenues.
En 2016, la revue Nature a réalisé un sondage auprès de 1500 chercheurs. La question: y a-t-il une crise de reproductibilité dans votre domaine?
- Pour un gros tiers (38%), c’est oui, mais cela reste léger.
- Pour plus de la moitié (52%) c’est oui, et c’est un gros problème.
La science ouverte. Face à ces problèmes, de nombreuses initiatives sont nées afin d’améliorer la qualité de la recherche scientifique.
La fondation philanthropique Laura and John Arnold Foundation (LJAF), créée par un couple de milliardaires américains, joue un rôle clé depuis les années 2010. Elle a lancé le Centre pour une science ouverte, vaisseau amiral des recherches en métascience.
Leur outil le plus ambitieux: l’Open Science Framework (OSF), plateforme d’échanges et de partage entre chercheurs, qui permet notamment d’échanger des protocoles et des données. Elle est désormais d’utilisation courante.
Le rapport enregistré. Autre initiative, en cours de développement: le registered report, qui implique de faire valider une recherche avant de la mener.
L’expertise par les pairs, qui seule permet la publication en revue scientifique, est dédoublée. Une première expertise a lieu avant que la recherche ne commence, sur la base du protocole. L’article sera alors publié, sous réserve que la seconde expertise par les pairs (habituelle) ne montre pas de problème.
Florien Naudet, psychiatre et chercheur en méta-recherche, auteur d’un webinaire à l’Inserm sur le sujet, juge ce dispositif «particulièrement intéressant»:
«Environ 300 journaux, dont la revue Nature très récemment, ont accueilli ce format de publication. (…) Cela vise à connecter de façon beaucoup plus claire le résultat final avec l’idée initiale.»