La communauté scientifique s’occupe-t-elle bien de la fiabilité de la science ? Le processus de publication dans les revues scientifiques fait-il bien émerger les hypothèses qui sont vraiment les meilleures ? Ou bien est-il, au contraire, biaisé par des phénomènes de mode, par le carriérisme des chercheurs, ou par l’aveuglement induit par la spécialisation ?
Sans savoir de façon indépendante quelles sont vraiment les meilleures hypothèses, on ne saura jamais si le processus de publication a réussi à les faire émerger. Mais il existe quelques biais systématiques que l’on peut tenter de vérifier. Le « biais de publication », par exemple, est le résultat d’une préférence de la part des éditeurs de revues scientifiques pour des résultats positifs par rapport aux résultats négatifs. Il peut être observé à travers la tendance à publier des résultats issus d’expériences sur de petits échantillons, pour lesquels les résultats sont plus positifs en moyenne que pour ceux issus d’un grand échantillon.
La reconnaissance de la qualité des chercheurs s’opère non seulement par la publication de leurs travaux, mais aussi par les citations faites par leurs collègues dans des publications ultérieures. Mais ces citations répondentelles à la qualité intrinsèque des travaux, ou bien à d’autres critères comme la notoriété des auteurs pour des raisons superficielles, par exemple la facilité à se souvenir de leurs noms… ?
L’impact d’une rétractation
Les résultats d’une étude du National Bureau of Economic Research américain (NBER), menée par trois chercheurs du Massachusetts Institute of Technology (« The Career Effects of Scandal : Evidence from Scientific Retractions », par Pierre Azoulay, Alessandro Bonatti et Joshua L. Krieger, NBER working paper n° 21146) sont, à cet égard, plutôt rassurants. Les auteurs s’intéressent aux cas de rétractations d’articles scientifiques pour raison de fraude ou d’erreur grave. Ces rétractations sont rares, de l’ordre d’une par cinq mille articles publiés. Mais il y en a assez au total pour permettre de se poser la question : quel est l’impact d’une rétractation sur les citations d’autres articles précédemment publiés par le même auteur ?
Il ne suffit pas de comparer les citations d’articles par un auteur avant et après une rétractation, car beaucoup d’autres facteurs influencent les citations, comme le rythme naturel de l’évolution de la carrière d’un chercheur. Cette étude compare les citations de 376 auteurs de 878 articles retirés dans le domaine de la recherche biomédicale, avec les citations de 759 auteurs d’articles parus dans le même numéro de la même revue que les articles retirés. Sont exclues les citations d’articles sur le même thème, afin de se focaliser sur l’impact des rétractations sur la réputation de l’auteur en général plutôt que sur la réputation du domaine de recherche.
Les résultats sont clairs. Les auteurs d’articles retirés subissent en moyenne une baisse de 10,7 % du taux de citation de leurs autres publications, par rapport au taux de citation d’auteurs d’articles similaires non retirés. Cet effet se renforce au cours du temps, avec une baisse deux fois plus importante dix ans plus tard que la baisse après cinq ans. L’effet est aussi plus de deux fois plus fort (17,6 %, contre 8,2 % en moyenne) pour les articles retirés pour cause de fraude que pour cause d’erreur.
Les auteurs, qui ont déjà une réputation bien établie (parmi les 25 % des auteurs les plus cités), subissent une baisse presque deux fois plus importante de leur taux de citation après une rétraction pour fraude que leurs collègues déjà moins cités. Ces résultats montrent, heureusement, que les effets de notoriété antérieure n’empêchent pas la communauté scientifique de prendre en compte les doutes qu’une rétractation peut susciter sur la qualité du travail d’un auteur, y compris dans d’autres domaines que celui où l’erreur ou la fraude ont été commises.
