magazine issue 2 2025 / Vers une Science Plus Transparente et Fiable

Laissez-vous bercer par le doux chant du pré-enregistrement

• written by Anthony Lantian
• edited by Jean-Baptiste Légal

Imaginons que l’on vous donne l’occasion de démarrer une thèse de doctorat en psychologie. Vous ressentez un vertige face à l’immensité des sujets possibles. Rapidement, votre passion de longue date pour le chant vous amène à envisager de travailler sur un éventuel effet bénéfique du chant sur le bien-être. L’ébauche d’une première étude commence à se dessiner dans votre esprit. Vos collègues doctorants vous demandent si vous comptez la pré-enregistrer. Ayant déjà vaguement entendu parler de cette pratique, vous répondez à l’affirmative sur le principe, presque par automatisme. En fin de compte, vous réalisez que vous ne savez pas exactement ce que c’est et par conséquent dans quoi vous vous engagez. Mais qu’est-ce que le pré-enregistrement et comment cela fonctionne-t-il concrètement ?

Le doux chant du pré-enregistrement. Images par Awicon (chercheuse à gauche), Amethyst Studio (chercheuse au centre), Adrien Coquet (chercheur à droite), Aldric Rodriguez (enceinte et notes de musique) issues du Noun Project. Logo du pré-enregistrement par Center for Open Science.

Un cas concret pour commencer

Ces deux dernières décennies furent rudes pour la psychologie sociale. De nombreux résultats considérés jusqu’ici comme solidement établis dans cette discipline n’ont pas pu être répliqués – c’est-à-dire reproduits lors d’une nouvelle étude similaire –, malgré des efforts soutenus pour demeurer fidèles à la méthodologie des études originales (Open Science Collaboration, 2015 ; voir cet article d’In-Mind du même numéro pour une explication détaillée de la crise de réplicabilité, replication crisis en anglais). Pour surmonter cette crise, l’utilisation du pré-enregistrement a été préconisée (Hardwicke & Wagenmakers, 2023 ; Nosek et coll., 2022).

Le pré-enregistrement consiste à renseigner, sur une plateforme en ligne dédiée (archivée publiquement), un maximum de décisions méthodologiques et statistiques prises avant la collecte des résultats de la recherche (Chambers & Tzavella, 2022 ; Lantian, 2021). Il s’agit de préciser, à un moment donné, les hypothèses, la méthodologie, et notamment les analyses statistiques prévues, qui ensemble constituent une sorte de carte d’identité de l’étude. C’est en quelque sorte une manière de figer sa pensée à un instant donné, capturant ainsi l’état de l’élaboration de sa recherche à ce moment précis. Bien que ces décisions soient parfois complexes et couvrent différentes facettes (van 't Veer & Giner-Sorolla, 2016), nous ne détaillerons ici que certains aspects clés.

Lorsqu’il s’agit de pré-enregistrer, formuler ses hypothèses constitue la première étape qui vient le plus naturellement à l’esprit. Cela revient à prédire les résultats que l’on pourrait obtenir si nos hypothèses se vérifient. Revenons un instant sur l’étude mentionnée plus haut, qui vise à tester l’hypothèse d’un effet bénéfique du chant sur le niveau de bien-être. Plus concrètement, mettons que, dans l’étude que vous comptez mettre en place, vous vous attendez à ce que les personnes ayant pour consigne de chanter lorsqu’elles entendent une musique obtiennent un score de bien-être moyen plus élevé que les personnes ayant pour consigne d’écouter cette musique avec interdiction formelle de chanter. Naturellement, il est important de préciser la stratégie de recherche employée de même que les variables en jeu et leur nature. 

Pour cette étude, supposons que nous recruterons 300 personnes. Cet effectif choisi ne doit pas être arbitraire : il doit être suffisamment grand pour détecter les effets recherchés, ce qui nécessite une  analyse de puissance statistique. Cette analyse doit bien entendu être réalisée en amont et figurer dans le pré-enregistrement. Si l’incertitude demeure sur la possibilité d’atteindre cet effectif, il est possible de prévoir une règle d’arrêt alternative de la récolte des données, comme une date limite pour la clôture de l’étude. Enfin, il est toujours plus prudent de prévoir une marge de sécurité en recrutant un nombre de participants plus important pour anticiper la perte de ceux qui vont être exclus des analyses après l’application des critères d’inclusion et d’exclusion (eux-mêmes pré-enregistrés). À titre d’illustration, nous pourrions ainsi exclure de nos analyses les personnes qui ont une extinction de voix ainsi que celles qui sont tout simplement trop timides pour oser chanter.

Le pré-enregistrement doit également mentionner en détail le matériel utilisé dans l’étude. À titre d’exemple, nous pourrions dans le cas présent indiquer le nom et la référence de l’échelle de mesure du bien-être ainsi que la méthode que nous comptons utiliser pour agréger ensemble les items qui composent cette échelle. En sus, il est souhaitable de préciser ce que nous prévoyons de faire si la mesure utilisée révèle une fiabilité insatisfaisante selon les standards en vigueur. 

Il ne faut pas s’arrêter en si bon chemin ; pour être complet, il faut également spécifier les analyses statistiques (et tous les paramètres associés) que l’on compte déployer afin de tester nos hypothèses. Cela implique non seulement des propositions d’analyses alternatives si les données récoltées ne sont pas conformes aux conditions d’applications des tests statistiques, mais également de prendre en compte un autre registre de décisions relatives au contrôle de variables confondues, à savoir des variables qui sont reliées au phénomène que l’on cherche à étudier et peuvent, pour cette raison, obscurcir la mise en évidence de notre effet d’intérêt. Dans notre cas, on peut s'attendre à ce que le niveau de dépression soit relié à un moindre bien-être. Pour cette raison, nous devons chercher à neutraliser le pouvoir de nuisance de cette variable, ce qu’il est aisé de faire sous réserve de la mesurer et de la prendre en compte lors des analyses statistiques. 

Il est important d’arrêter ces différentes décisions avant de démarrer son étude. Parce qu’il est ensuite non seulement plus facile de s’assurer de la fiabilité de ses résultats, mais également de convaincre autrui que les résultats présentés ne sont pas, comme on pourrait parfois le soupçonner, le fruit d’une démarche de type p-hacking (Nelson et coll., 2018). Cette démarche consiste à multiplier excessivement le nombre de tests statistiques réalisés sur un même jeu de données, jusqu’à obtenir, par pure chance, un effet statistiquement significatif (voir cet article d’In-Mind du même numéro pour une explication détaillée de cette notion). Recourir au p-hacking augmente le risque d’affirmer à tort qu’un effet existe (alors qu’il n’existe pas). 

Approfondissons la notion de pré-enregistrement

Avant de poursuivre, il faut prendre le temps d’introduire une importante distinction terminologique afin d’éviter des malentendus encore trop fréquents. D’une part, il existe le pré-enregistrement tel qu’il a été décrit précédemment. D’autre part, il existe un sous-type très spécifique de pré-enregistrement : les rapports enregistrés (registered reports en anglais, Chambers & Tzavella, 2022). 

Lorsqu’un chercheur souhaite publier un article dans une revue scientifique, il doit passer par un processus d’évaluation par les pairs. Cela consiste à soumettre son manuscrit à des spécialistes du domaine concerné, qui vont l’examiner de manière anonyme. Les évaluateurs délivrent un rapport au sujet de ce qu'ils ont pensé du manuscrit, des erreurs factuelles à corriger, des limites à discuter, des passages à éventuellement éclaircir, etc. L'éditeur associé, qui gère le processus, prend ensuite une décision basée sur ces avis : l’article peut être accepté, refusé, ou nécessiter des révisions avant d’être éventuellement publié. 

Pour revenir au sujet, dans le premier cas ( pré-enregistrement), le contenu du pré-enregistrement est examiné par les évaluateurs en même temps que le produit fini, c’est-à-dire après la collecte des données. Il n’est donc pas possible de modifier le contenu du pré-enregistrement à ce stade. Dans le second cas (rapports enregistrés), le contenu du pré-enregistrement est examiné en amont, avant la collecte des données. Ce pré-enregistrement occupe une place centrale dans le processus de publication. Plus spécifiquement, il permet de soumettre à l’examen des pairs ses hypothèses et sa méthodologie avant d’entamer la récolte des données, garantissant ainsi que l’étude sera publiée, quels que soient les résultats. De nos jours, de nombreuses revues scientifiques proposent ce type de format (https://www.cos.io/initiatives/registered-reports#tabid2 ; on peut par exemple citer la Revue Internationale de Psychologie Sociale/International Review of Social Psychology soutenue par l’Association pour la Diffusion de la Recherche Internationale en Psychologie Sociale [ADRIPS]).

Ce format de publication présente plusieurs avantages (Wagenmakers & Dutilh, 2016). Tout d’abord, comme les revues tendent à favoriser les résultats concluants, cela réduit une partie de la pression que peuvent subir les chercheurs face à ce quasi impératif. Par voie de conséquence, cela peut dissuader le recours à des pratiques de recherches discutables. De plus, cela limite les biais de publication (Cooper et coll., 1997 ; Francis, 2012), c’est-à-dire la surreprésentation de résultats concluants dans les articles scientifiques, du simple fait que les chercheurs (et/ou revues) sont moins enclins à rédiger (et/ou publier) des articles qui présentent des résultats non concluants. Enfin, les rapports enregistrés limitent les risques de critiques injustifiées de la part des évaluateurs qui, en raison d’une éventuelle insatisfaction vis-à-vis des résultats d’une étude, pourraient parfois rejeter un article sous prétexte de mauvaises décisions méthodologiques (irrésolubles en l’état, car figées à jamais dans le passé). Ajoutons que cela permet également de limiter d’éventuelles demandes abusives (de la part des évaluateurs/éditeurs, des partenaires industriels, voire des collaborateurs) visant à présenter d’autres analyses que celles prévues, si les analyses initiales ne semblent pas suffisamment satisfaisantes (Chambers & Tzavella, 2022).

La pratique consistant à rédiger en amont un protocole d'étude, puis à l’archiver dans un registre public disponible en ligne est déjà bien établie en sciences médicales (https://clinicaltrials.gov/). Depuis 2004, son caractère requis pour espérer publier des essais cliniques dans les principales revues médicales de la discipline (Hardwicke & Wagenmakers, 2023) explique de fait sa banalité. Pour de multiples raisons, à l’heure où ces lignes sont écrites, ce n’est pas encore quelque chose de systématique (et encore moins obligatoire) en psychologie. Ainsi, il n’est pas surprenant de constater que des chercheurs vont jusqu’à affirmer que le pré-enregistrement est « révolutionnaire » (Nosek et coll., 2018).

Concernant l’aspect technique, il existe différents sites internet spécialement conçus pour le pré-enregistrement. Le plus connu est sans doute le site Open Science Framework (https://osf.io/), auquel on peut ajouter Aspredicted.org. Les lecteurs intéressés par des illustrations concrètes de la marche à suivre pour pré-enregistrer sont invités à consulter cette vidéo YouTube : https://www.youtube.com/watch?v=TGO8JwXVu0w&t=10s.

À l’instar de n’importe quelle autre compétence, le pré-enregistrement nécessite une phase d’apprentissage pour être correctement maîtrisé (Bakker et coll., 2020). Pour faciliter cette démarche, il existe de nombreux modèles qui demandent seulement à être complétés (Bakker et coll., 2020 ; van 't Veer & Giner-Sorolla, 2016). De plus, du point de vue des chercheurs, bien que pré-enregistrer soit perçu comme avantageux pour de nombreux aspects de la recherche (par ex. la phase de génération d’hypothèses), il est perçu comme davantage coûteux pour d’autres aspects, notamment le stress lié au travail et la durée totale du projet (Sarafoglou et coll., 2022). Précisons toutefois que ce temps investi en amont (lors de la phase de conception de la recherche) n’est pas perdu ; au contraire, il est largement compensé par le temps gagné en aval (lors de la phase d’analyse des données et de la rédaction du manuscrit).

Pour contrecarrer le sentiment de découragement associé à la perspective de fournir un effort qui peut sembler de prime abord pesant, certains chercheurs insistent sur la nécessité d’encourager la pratique du pré-enregistrement en adoptant une approche holistique (Robson et coll., 2021). En effet, il est judicieux d’impliquer les différents acteurs et institutions du monde de la recherche (par ex. : universités, bibliothèques universitaires, revues scientifiques, financeurs). Selon Robson et ses collègues (2021), ce changement comportemental devrait reposer sur le fait de rendre le pré-enregistrement logistiquement possible (au travers des infrastructures), mais également le rendre facile d’utilisation (via l’expérience utilisateur), normatif (en jouant sur la dimension sociale) et valorisant (par l’intermédiaire de mesures incitatives, comme des récompenses).

D’après Hardwicke et Wagenmakers (2023), le pré-enregistrement présente plusieurs avantages. Tout d’abord, comme les décisions sont prises en amont, elles ne dépendent pas des résultats obtenus et sont donc mécaniquement moins susceptibles d’être biaisées. De plus, le pré-enregistrement accroit la transparence des différents composants de la recherche, souvent opaques par défaut, ce qui facilite l’évaluation extérieure des risques de biais et le calibrage de sa confiance dans les résultats de ces recherches.

Des premiers bénéfices et des limites à garder à l’esprit

En fin de compte, le pré-enregistrement change-t-il réellement les choses ou est-ce seulement une démarche qui ne produit aucun autre effet si ce n’est de se donner bonne conscience ? Pour le savoir, il est judicieux d’examiner les conclusions des premières (récentes) recherches portant sur les effets de la pratique du pré-enregistrement. Plus explicitement, il est frappant de constater l’écart systématique entre la proportion de résultats qui corroborent les hypothèses formulées dans les rapports enregistrés par rapport à ceux des articles qui ne sont pas sous ce format (Allen & Mehler, 2019 ; Scheel et coll., 2021 ; Toth et coll., 2021). En outre, les tailles d’effet (voir cet article In-Mind du même numéro pour une explication détaillée de c’est qu’une taille d’effet) des études pré-enregistrées sont significativement plus faibles (vraisemblablement moins « dopées », donc plus proches de la réalité) que celles des études non-préenregistrées (Schäfer & Schwarz, 2019). Tout en gardant une certaine prudence compte tenu de la méthodologie adoptée dans ces études, ceci suggère une réduction potentielle des biais de publication liée à la pratique du pré-enregistrement.

Le pré-enregistrement est un complément, et ne saurait garantir, par sa simple présence, la validité et la pertinence de la recherche menée. Après tout, le fait qu’une étude soit pré-enregistrée n’exclut pas la possibilité qu’elle puisse être dépourvue de sens. L’honnêteté et la transparence sont des aspects désirables, mais ne sont pas suffisantes (Gelman, 2017). D’autres aspects comme la validité des méthodes statistiques (Fabrigar et coll., 2020) et les fondements théoriques (Eronen & Bringmann, 2021) méritent tout autant notre attention lorsque nous évaluons une recherche (Chambers & Tzavella, 2022).

Ajoutons également qu’en raison de sa nature même, le pré-enregistrement ne permet pas nécessairement d’anticiper toutes les situations. Il peut y avoir des imprévus qui remettent en question le cadre d’une étude. Cela a été une problématique pour de nombreux chercheurs lors de la pandémie de COVID-19, notamment en raison du passage des études prévues en présentiel à un mode de passation en ligne. Heureusement, le pré-enregistrement n’empêche en aucun cas de changer ses plans à la dernière minute, du moment que ces changements sont explicitement signalés et justifiés. Aussi, un pré-enregistrement peut théoriquement être falsifié en le complétant après avoir vu les résultats tout en prétendant le contraire (Yamada, 2018). 

De même, les analyses statistiques (tout comme les hypothèses, van den Akker et coll., 2023) rapportées dans un article peuvent parfois révéler des discordances plus ou moins importantes par rapport à celles consignées au préalable dans le pré-enregistrement (Claesen et coll., 2021). Selon leur incidence sur les conclusions d’une recherche (par ex. le remplacement insidieux d’une analyse statistique pré-enregistrée débouchant sur un résultat non-concluant, par une analyse statistique non pré-enregistrée débouchant sur un résultat concluant), ces écarts peuvent ne pas être anodins. Fort heureusement, les chercheurs ont désormais à disposition des documents spécifiquement conçus à cet effet à compléter pour consigner (et justifier) ces écarts de façon plus systématique (Lakens, 2024 ; Willroth & Atherton, 2024). Bien entendu, il est tout à fait possible de mener des analyses qui n’ont pas été prévues dans le pré-enregistrement (analyses exploratoires), ces dernières constituant même une partie non négligeable de la démarche scientifique. Mais dans ce cas-là, afin que les lecteurs puissent évaluer les résultats avec le niveau de certitude approprié, il est important de bien distinguer explicitement les analyses qui étaient prévues dans le pré-enregistrement (ayant généralement un caractère plus confirmatoire) de celles qui ne l’étaient pas (ayant généralement un caractère plus exploratoire, Wagenmakers et coll., 2012).

Pour terminer, bien que le pré-enregistrement ne soit pas une solution miracle résolvant à lui seul tous les problèmes à l’origine des crises qui ont frappé la psychologie, il reste un outil pratique et efficace. Il contribue à augmenter la transparence et la confiance que l’on peut accorder aux résultats des recherches, tout en réduisant habilement l’exposition à divers biais, ces chants des sirènes qui minent le monde de la recherche. Dorénavant, vous connaîtrez la chanson lorsque l’on vous demandera si vous comptez pré-enregistrer votre prochaine étude ! 

Références

Allen, C., & Mehler, D. M. (2019). Open science challenges, benefits and tips in early career and beyond. PLoS biology, 17(5), e3000246. https://doi.org/10.1371/journal.pbio.3000246

Bakker, M., Veldkamp, C. L., van Assen, M. A., Crompvoets, E. A., Ong, H. H., Nosek, B. A., ... & Wicherts, J. M. (2020). Ensuring the quality and specificity of preregistrations. PLoS biology, 18(12), e3000937. https://doi.org/10.1371/journal.pbio.3000937

Chambers, C. D., & Tzavella, L. (2022). The past, present and future of registered reports. Nature Human Behaviour,6(1), 29–42. https://doi.org/10.1038/s41562-021-01193-7

Claesen, A., Gomes, S., Tuerlinckx, F., & Vanpaemel, W. (2021). Comparing dream to reality: an assessment of adherence of the first generation of preregistered studies. Royal Society Open Science, 8(10), 211037. https://doi.org/10.1098/rsos.211037

Cooper, H., DeNeve, K., & Charlton, K. (1997). Finding the missing science: The fate of studies submitted for review by a human subjects committee. Psychological Methods, 2, 447–452. https://doi.org/10.1037/1082-989X.2.4.447

Eronen, M. I., & Bringmann, L. F. (2021). The theory crisis in psychology: How to move forward. Perspectives on Psychological Science, 16(4), 779–788. https://doi.org/10.1177/1745691620970586

Fabrigar, L. R., Wegener, D. T., & Petty, R. E. (2020). A validity-based framework for understanding replication in psychology. Personality and Social Psychology Review, 24(4), 316–344. https://doi.org/10.1177/1088868320931366

Francis, G. (2012). Publication bias and the failure of replication in experimental psychology. Psychonomic Bulletin & Review, 19, 975–991. https://doi.org/10.3758/s13423-012-0322-y

Gelman, A. (2017). Ethics and statistics: Honesty and transparency are not enough. Chance, 30(1), 37–39. https://doi.org/10.1080/09332480.2017.1302720 

Hardwicke, T. E., & Wagenmakers, E. J. (2023). Reducing bias, increasing transparency and calibrating confidence with preregistration. Nature Human Behaviour, 7(1), 15–26. https://doi.org/10.1038/s41562-022-01497-2

Lakens, D. (2024). When and how to deviate from a preregistration. Collabra: Psychology, 10(1): 117094. https://doi.org/10.1525/collabra.117094

Lantian, A. (2021). Les pratiques de recherche ouvertes en psychologie. Psychologie Française, 66(1), 71-90.https://doi.org/10.1016/j.psfr.2020.09.001

Nelson, L. D., Simmons, J., & Simonsohn, U. (2018). Psychology’s renaissance. Annual Review of Psychology, 69, 511–534. https://doi.org/10.1146/annurev-psych-122216-011836

Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114 

Nosek, B. A., Hardwicke, T. E., Moshontz, H., Allard, A., Corker, K. S., Dreber, A., ... & Vazire, S. (2022). Replicability, robustness, and reproducibility in psychological science. Annual Review of Psychology, 73, 719–748. https://doi.org/10.1146/annurev-psych-020821-114157 

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716 

Robson, S. G., Baum, M. A., Beaudry, J. L., Beitner, J., Brohmer, H., Chin, J. M., Jasko, K., Kouros, C. D., Laukkonen, R. E., Moreau, D., Searston, R. A., Slagter, H. A., Steffens, N. K., Tangen, J. M., & Thomas, A. (2021). Promoting open science: A holistic approach to changing behaviour. Collabra: Psychology, 7(1). https://doi.org/10.1525/collabra.30137

Sarafoglou, A., Kovacs, M., Bakos, B., Wagenmakers, E. J., & Aczel, B. (2022). A survey on how preregistration affects the research workflow: Better science but more work. Royal Society Open Science, 9(7), 211997. https://doi.org/10.1098/rsos.211997

Schäfer, T., & Schwarz, M. A. (2019). The meaningfulness of effect sizes in psychological research: Differences between sub-disciplines and the impact of potential biases. Frontiers in psychology, 10, 813. https://doi.org/10.3389/fpsyg.2019.00813

Scheel, A. M., Schijen, M. R., & Lakens, D. (2021). An excess of positive results: Comparing the standard Psychology literature with Registered Reports. Advances in Methods and Practices in Psychological Science, 4(2), 25152459211007467. https://doi.org/10.1177/25152459211007467

Toth, A. A., Banks, G. C., Mellor, D., O’Boyle, E. H., Dickson, A., Davis, D. J., ... & Borns, J. (2021). Study preregistration: An evaluation of a method for transparent reporting. Journal of Business and Psychology, 36, 553-571. https://doi.org/10.1007/s10869-020-09695-3

Van den Akker, O. R., van Assen, M. A., Enting, M., de Jonge, M., Ong, H. H., Rüffer, F., ... & Bakker, M. (2023). Selective hypothesis reporting in psychology: Comparing preregistrations and corresponding publications. Advances in Methods and Practices in Psychological Science, 6(3), https://doi.org/10.1177/25152459231187988

Van 't Veer, A. E., & Giner-Sorolla, R. (2016). Pre-registration in social psychology—A discussion and suggested template. Journal of Experimental Social Psychology, 67, 2–12. https://doi.org/10.1016/j.jesp.2016.03.004

Wagenmakers, E. J., & Dutilh, G. (2016). Seven selfish reasons for preregistration. APS Observer, 29. https://www.psychologicalscience.org/observer/seven%20selfish%20reasons%20for%20preregistration

Wagenmakers, E. J., Wetzels, R., Borsboom, D., van der Maas, H. L., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632–638. https://doi.org/10.1177/1745691612463078

Willroth, E. C., & Atherton, O. E. (2024). Best laid plans: A guide to reporting preregistration deviations. Advances in Methods and Practices in Psychological Science, 7(1), https://doi.org/10.1177/25152459231213802 

Yamada, Y. (2018). How to crack pre-registration: Toward transparent and open science. Frontiers in Psychology, 9. https://doi.org/10.3389/fpsyg.2018.01831