magazine issue 2 2025 / Vers une Science Plus Transparente et Fiable

Intégrer les Réplications dans les Programmes de Licence : Bénéfices pour l’Enseignement, la Science, et la Société.

• written by Blandine Ribotta, Ronan Bellemin, Jon Grahe, Hans IJzerman, Jordan Wagge & Mélody Mailliez
• edited by Jean-Baptiste Légal

Blandine Ribotta & Ronan Bellemin : contribution égale et doivent être considérés comme co-premiers auteurs

« Imaginez une psychologie scientifique plus solide, plus fiable, à laquelle les étudiants contribuent activement. Qui ne pourrait pas la souhaiter ? » En reproduisant des études dans le cadre de leurs devoirs, les étudiants peuvent approfondir leur compréhension du processus de recherche tout en contribuant directement aux connaissances scientifiques. Cette perspective des étudiants en tant que chercheurs est à la base de plusieurs projets éducatifs axés sur la réplication.

A travers ce numéro, vous avez découvert la crise de réplication qui existe dans les sciences en général et la psychologie en particulier (voir l’article de Jean-Baptiste Légal de ce numéro). Vous avez également découvert différentes initiatives pour essayer de rendre la recherche plus fiable et transparente, comme le  pré-enregistrement (voir l’article d’Anthony Lantian de ce numéro) ou le développement de nouveaux types de publications et de revues (voir l’article d’Alexandra Masciantonio dans ce numéro). Cet article présente une troisième solution, à savoir le projet CREP (Collaborative Replication and Education Project), issu du mouvement « Big Team Science ».

Big Team Science et Psychological Science Accelerator

Le mouvement Big-Team Science consiste à impliquer de nombreuses équipes de recherche à travers le monde sur une même étude (Forscher et coll., 2023). L’un des principaux exemples de ce mouvement est le Psychological Science Accelerator (Moshontz et coll., 2018) qui est un vaste réseau de laboratoires scientifiques de psychologie. En travaillant ainsi en collaboration avec des laboratoires du monde entier, les scientifiques peuvent bénéficier de davantage de données et de données de meilleure qualité, ce qui permet de généraliser les résultats obtenus dans des échantillons de populations à la population générale de façon plus précise. Cette procédure permet également de confier chaque tâche d’un projet de recherche à des experts de cette dernière. Grâce à ces améliorations, les chercheurs ont ainsi augmenté considérablement la robustesse de leurs recherches.

Cependant, la crise de la réplication reste un défi considérable pour les chercheurs, en partie parce que les principales solutions (effectuer des réplications ou devenir un expert au sein du mouvement Big-Team Science) offrent peu de récompense. Pour relever ce défi, il est aussi possible de changer les systèmes éducatifs et de former les étudiants dans un nouveau système. Pour cela, des initiatives ont commencé à voir le jour, à commencer par l'introduction des réplications dans les classes (Stojmenovska et coll., 2019), accompagnée de conférences sur la science ouverte données aux étudiants (Chopik et coll., 2018) et de modèles sur la façon de mener des recherches confirmatoires (Grahe et coll., 2013).

Le CREP : Collaborative Replications and Education Project

Bien que l'idée de réaliser des réplications dans le cadre de la formation de licence ne soit pas nouvelle, il est encore relativement rare que ces procédures soient mises en œuvre (Grahe et coll., 2012). Or, l'apprentissage des méthodes de recherche via la réplication est un excellent terrain de jeu pour apprendre la psychologie scientifique en équipe, puisque les étudiants apprennent les mécanismes d'une recherche de haute qualité (et non l'importance de la valeur-psignificative). Dans ce contexte, le Collaborative Replications and Education Project (CREP ; http://osf.io/wfc6u) a été créé pour donner aux étudiants les moyens de réaliser des réplications de haute qualité pendant les cours de licence (Stojmenovska et coll., 2019).

Un exemple

Comment fonctionne le CREP ? Un exemple de l'application du projet du CREP est la réplication de l'étude d'Elliot et collaborateurs (2010). Les auteurs originaux ont découvert que les femmes qui sont attirées par les hommes les trouvent plus séduisants lorsqu'ils sont présentés sur une photo avec une bordure rouge. Avec le CREP, neuf équipes (Wagge et coll., 2019a) ont utilisé du matériel partagé par les auteurs originaux pour répliquer cet effet avec presque la même méthode que l'étude originale. Un assistant de recherche qui n'était pas au courant des conditions a montré aux participants une photo d'un homme avec soit un bord rouge, soit un bord gris. Après avoir vu la photo, les participants ont rempli des mesures sur l'attractivité physique et l'attractivité sexuelle. Les résultats des réplications sont frappants : Wagge et collaborateurs (2019a) n'ont pas trouvé d'effet de la bordure rouge par rapport à la bordure grise sur l’attractivité des hommes. En d'autres termes, ils ne sont pas parvenus aux mêmes conclusions que les auteurs originaux, même après avoir fidèlement reproduit l'expérience originale avec une  puissance statistique supérieure à celle de l'originale. Les auteurs ont conclu en mentionnant l'importance de « la recherche participative de premier cycle et donc comme un outil clé pour aider à réduire les conséquences de la crise de la réplication » (p 7). La Figure 1 illustre la procédure du CREP.

Bénéfices du CREP

Les étudiants comme les enseignants peuvent bénéficier de ces réplications en classe (Grahe et coll., 2012 ; Wagge et coll., 2019b). Pour les étudiants, il s’agit de développer différents ensembles de compétences (conduite d'analyses de puissance, rédaction de scripts d'analyse, préparation d'un  pré-enregistrement, gestion du projet et rédaction du projet). En effet, alors que chez les étudiants les cours de méthodologie sont parmi les moins populaires (Rajecki et coll., 2005), le CREP favorise l'apprentissage actif de la recherche quantitative et des compétences méthodologiques via l’esprit d’équipe, la collaboration et la réflexion entre les étudiants. Cette facilitation de l’apprentissage provient également de sa parcellisation, puisque les enseignants peuvent souligner l'importance de la méthodologie sans exiger des étudiants qu'ils aient un large cadre conceptuel à développer pour mener l'étude. 

Notez également que, pour les étudiants motivés, les enseignants peuvent offrir une marge de manœuvre afin de développer de nouvelles hypothèses grâce à une réplication CREP+. Dans ces réplications, des mesures supplémentaires peuvent être insérées après la réplication. Un dernier avantage de l’apprentissage par la réplication est qu’il offre une première bonne vision du milieu de la recherche aux étudiants intéressés, puisqu’il permet de mettre en évidence des problèmes pratiques qui ne sont pas forcément indiqués dans les publications. 

Pour les enseignants, le CREP offre une bonne opportunité d'obtenir « une expérience documentable mêlant enseignement, recherche et proche supervision » (Wagge et coll., 2019a). De plus, la répartition des tâches permet également que les enseignants n’aient pas besoin d'examiner en profondeur chaque hypothèse et chaque conception, et donc qu’ils n’aient pas besoin d'être des experts en la matière pour les projets.

Les réplications menées par les étudiants apportent également des avantages à la recherche scientifique et à la psychologie elle-même. Ces projets forment les chercheurs de demain par des pratiques méthodologiques rigoureuses qui soulignent l'importance de la science ouverte (Moshontz et coll., 2018). De plus, ils permettent aux étudiants d'avoir un impact significatif sur la recherche. En effet, les projets traditionnels produits par les étudiants sont rarement assez puissants pour être publiés seuls. Ainsi, les réplications multiples du CREP permettent de réaliser des analyses, de tirer des inférences fortes compte tenu de la puissance suffisante, et ne pas faire perdre un temps précieux aux participants (Wagge et coll., 2019b). Un autre avantage est le faible coût de ces réplications, fourni par l'avènement d'outils gratuits ou à code source ouvert pour la collecte de données (par exemple, PsyScope, des outils Web standard comme HTML et JavaScript, Python, R, et autres), l'utilisation de produits sous licence universitaire (Matlab avec Psychtoolbox, Qualtrics) et les participants expérimentaux peuvent également être recrutés par des pools de participants universitaires (Frank & Saxe, 2012).

Quelques limites

Certaines limites importantes ont été notées concernant ces réplications en classe. La qualité de l'étude finale dépend fortement du temps alloué par les étudiants au projet et de leur motivation. Cependant, la transparence de la procédure permet aux superviseurs et aux autres équipes d'évaluer la qualité du travail. De plus, les études répliquées doivent être simples et accessibles aux étudiants, ce qui réduit le champ de sélection. 

Un écueil dans ces projets est de décider des études à répliquer. La question de savoir quelles sont les études les plus intéressantes à reproduire fait cependant l'objet d'un débat permanent dans le domaine (voir, par exemple, Isager et coll., 2023). 

Ces réplications ont tendance à être confrontées au même biais d'échantillonnage que les études originales : Les participants viennent souvent de pays WEIRD (c'est-à-dire Western, Educated, Industrialized, Rich, and Democratic ou occidentaux, éduqués, industrialisés, riches, et démocratiques en français, Henrich et coll., 2010 ; mais voir Adetula et coll., 2021 pour les initiatives CREP nouvellement émergentes en Afrique).  Cependant, le CREP fournit un cadre pour commencer à changer les problèmes de réplication et de généralisation.

Si nous formons les jeunes chercheurs à devenir de meilleurs scientifiques, ils devraient être récompensés. Sans incitations de la part des institutions (universités, agences de financement comme l'ANR, et/ou le gouvernement), il est peu probable que de telles pratiques de recherche solides soient récompensées, car les chercheurs qui font du travail supplémentaire disparaîtront du système (voir cet article dans Le Monde, 2020). Comme l'a récemment fait remarquer Stuart Buck, l'ancien vice-président d'Arnold Ventures, une fondation qui a notamment financé le lancement du Center for Open Science : « ce qui compte vraiment, c'est que les scientifiques se sentent responsabilisés et récompensés pour faire un travail solide, publier des résultats non-significatifs et leurs données. L'idéalisme des scientifiques en début de carrière doit s'accompagner de signaux forts de la part des dirigeants et des institutions, indiquant qu'il est possible d'être embauché et d'obtenir la titularisation tout en adoptant les meilleures pratiques... C'est dans ce type de changement culturel que réside le véritable défi » (Buck, 2021). En d'autres termes, quel meilleur moyen d'améliorer la recherche future que de former et de récompenser les futurs chercheurs en leur proposant des normes transparentes et reproductibles pour leurs propres études futures ?

Références

Adetula, A., Forscher, P., Basnight-Brown, D., Azouaghe, S., Ouherrou, N., Charyate, A., Hansen, N., Adetula, G., & IJzerman, H. (2021). Synergy Between the Credibility Revolution and Human Development in Africa. OSF.https://doi.org/10.31730/osf.io/e57bq

Buck, S. (2021). Beware performative reproducibility. Nature, 595(7866), 151–151. https://doi.org/10.1038/d41586-021-01824-z

Chopik, W. J., Bremner, R. H., Defever, A. M., & Keller, V. N. (2018). How (and whether) to teach undergraduates about the replication crisis in psychological science. Teaching of Psychology, 45(2), 158–163. https://doi.org/10.1177/0098628318762900

Elliot, A. J., Niesta Kayser, D., Greitemeyer, T., Lichtenfeld, S., Gramzow, R. H., Maier, M. A., & Liu, H. (2010). Red, rank, and romance in women viewing men. Journal of Experimental Psychology: General, 139(3), 399–417. https://doi.org/10.1037/a0019689

Forscher, P. S., Wagenmakers, E.-J., Coles, N. A., Silan, M. A., Dutra, N., Basnight-Brown, D., & IJzerman, H. (2023). The benefits, barriers, and risks of Big-Team Science. Perspectives on Psychological Science, 18(3), 607–623. https://doi.org/10.1177/17456916221082970

Frank, M. C., & Saxe, R. (2012). Teaching replication. Perspectives on Psychological Science, 7(6), 600–604. https://doi.org/10.1177/1745691612460686

Grahe, J., Brandt, M., Wagge, J., Legate, N., Wiggins, B., Christopherson, C., Weisberg, Y., Corker, K., Chartier, C., & Fallon, M. (2013). Collaborative Replications and Education Project (CREP). https://doi.org/10.17605/OSF.IO/WFC6U

Grahe, J. E., Reifman, A., Hermann, A. D., Walker, M., Oleson, K. C., Nario-Redmond, M., & Wiebe, R. P. (2012). Harnessing the undiscovered resource of student research projects. Perspectives on Psychological Science, 7(6), 605–607. https://doi.org/10.1177/1745691612459057

Henrich, J., Heine, S. J., & Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences, 33(2–3), 61–83. https://doi.org/10.1017/S0140525X0999152X

Isager, P. M., van Aert, R. C. M., Bahník, Š., Brandt, M. J., DeSoto, K. A., Giner-Sorolla, R., Krueger, J. I., Perugini, M., Ropovik, I., van ’t Veer, A. E., Vranka, M., & Lakens, D. (2023). Deciding what to replicate: A decision model for replication study selection under resource and knowledge constraints. Psychological Methods, 28(2), 438–451.https://doi.org/10.1037/met0000438

Moshontz, H., Campbell, L., Ebersole, C. R., IJzerman, H., Urry, H. L., Forscher, P. S., Grahe, J. E., McCarthy, R. J., Musser, E. D., Antfolk, J., Castille, C. M., Evans, T. R., Fiedler, S., Flake, J. K., Forero, D. A., Janssen, S. M. J., Keene, J. R., Protzko, J., Aczel, B., … Chartier, C. R. (2018). The Psychological Science Accelerator: Advancing psychology through a distributed collaborative network. Advances in Methods and Practices in Psychological Science, 1(4), 501–515. https://doi.org/10.1177/2515245918797607

Rajecki, D. W., Appleby, D., Williams, C. C., Johnson, K., & Jeschke, M. P. (2005). Statistics can wait: Career plans activity and course preferences of American psychology undergraduates. Psychology Learning & Teaching, 4(2), 83–89. https://doi.org/10.2304/plat.2004.4.2.83

Stojmenovska, D., Bol, T., & Leopold, T. (2019). Teaching replication to graduate students. Teaching Sociology, 47(4), 303–313. https://doi.org/10.1177/0092055X19867996

Tribune collective (2020, publié le 11 février). Nous devons changer radicalement la façon dont la science fonctionne. Le Monde. https://www.lemonde.fr/sciences/article/2020/02/11/nous-devons-changer-radicalement-la-facon-dont-la-science-fonctionne_6029219_1650684.html

Wagge, J. R., Baciu, C., Banas, K., Nadler, J. T., Schwarz, S., Weisberg, Y., IJzerman, H., Legate, N., & Grahe, J. (2019a). A demonstration of the Collaborative Replication and Education Project: Replication attempts of the red-romance effect. Collabra: Psychology, 5(1), 5. https://doi.org/10.1525/collabra.177

Wagge, J. R., Brandt, M. J., Lazarevic, L. B., Legate, N., Christopherson, C., Wiggins, B., & Grahe, J. E. (2019b). Publishing research with undergraduate students via replication work: The Collaborative Replications and Education Project. Frontiers in Psychology, 10. https://doi.org/10.3389/fpsyg.2019.00247