Les journaux font-ils assez d'efforts pour prévenir la publication frauduleuse?

Les avertissements récents de rédacteurs de trois journaux de premier plan selon lesquels les données contenues dans des articles publiés étaient certainement ou peut-être incomplètes1, falsifiées2 ou fabriquées3 ont consterné les chercheurs et les rédacteurs scientifiques du monde entier. Comment des recherches lacunaires ou frauduleuses peuvent-elles échapper au crible de l'examen par les pairs et par la rédaction?

Les journaux scientifiques réputés suivent une démarche systématique pour examiner et réviser les articles de recherche. Au JAMC, les articles soumis qui ne sont pas interceptés après une présélection initiale sont soumis à l'examen par les pairs. Les examinateurs sont choisis en fonction de leur intérêt et de leur expertise, de leur bilan de publication et de la qualité de leurs examens antérieurs. Les pairs examinateurs consacrent peut-être quelques heures à la lecture du document, à la consultation de publications existantes et à la rédaction de leur critique. Environ 20 % des évaluations complétées que nous recevons sont jugées excellentes; nous réussissons en général à obtenir pour chaque manuscrit deux évaluations jugées «bonnes» ou «excellentes». Après l'examen par les pairs, les rédacteurs scientifiques réévaluent attentivement les documents et en choisissent environ 6 % pour publication. Presque tous ont besoin d'une révision approfondie, guidée par un rédacteur scientifique qui collabore de près avec les auteurs. Lorsque la révision est terminée, on prépare le manuscrit pour s'assurer qu'il est clair, précis, cohérent et conforme au style du Journal. Des problèmes de présentation et d'interprétation de données peuvent surgir à n'importe quel point du processus, même au stade final de la préparation du texte.

Cette série intensive de points de contrôle par la rédaction fonctionne bien la plupart du temps. Le système n'est toutefois pas parfait. En 2005, PubMed a reçu 67 avis de retrait d'articles (Sheldon Kotzin, National Library of Medicine; communication personnelle, 2006). Il s'agit certainement d'une sous-estimation du nombre total de documents qui présentaient des lacunes, étaient grossièrement trompeurs ou franchement frauduleux.

Les rédacteurs (et les pairs examinateurs) travaillent à partir du manuscrit présenté et de tout autre document fourni par les auteurs (p. ex., instruments de sondage). Lorsqu'ils évaluent des études cliniques randomisées, la plupart des rédacteurs étudient le protocole d'étude pour tenter de s'assurer que le rapport reflète la conception prévue et l'analyse. Il est toutefois presque impossible de déterminer par ces procédés si l'on a fabriqué des données ou s'il manque des éléments clés. Les rédacteurs, et en particulier ceux de journaux généraux, ont rarement l'expertise nécessaire du sujet de la recherche en cause pour pouvoir même soupçonner qu'il y a fabrication, le cas échéant. Les examinateurs peuvent avoir l'expertise nécessaire pour analyser minutieusement les constatations, mais n'ont pas nécessairement le temps de le faire. De plus, ils ont accès seulement aux données que les auteurs divulguent.

Alarmés par les expériences qu'ils ont vécues avec certains manuscrits, des journaux prennent d'autres mesures pour assurer que les auteurs sont fidèles à leurs données. Le Journal of the American Medical Association (JAMA), par exemple, exige maintenant une réanalyse statistique indépendante de l'ensemble de données brutes au complet de toute étude commanditée par l'industrie au cours de laquelle l'analyse des données a été effectuée par un statisticien à l'emploi de l'entreprise commanditaire4. Le Journal of Cell Biology (www.jcb.org ) a des politiques précises qui interdisent d'améliorer les images et scrute les images qui lui sont soumises pour y repérer tout signe de manipulation. Il importera d'évaluer l'efficacité de ces mesures au fil du temps puisque leurs coûts en temps et en ressources ne sont pas négligeables.

Au JAMC, nous envisageons les mesures nécessaires qui nous permettraient de rendre disponible, comme annexe en ligne seulement, tout l'ensemble des données sur lequel repose un document de recherche. L'examen par les pairs après la publication pourrait ainsi être plus intensif. Les personnes intéressées qui possèdent l'expertise nécessaire pourraient confirmer les analyses publiées, en effectuer d'autres et accroître l'efficience de la recherche en généralisant son utilisation. On pourrait peut-être détecter aussi la fraude plus rapidement, et le fait de savoir que leur ensemble de données fera l'objet d'un examen public pourra peut-être dissuader certains auteurs de fabriquer des données ou d'en falsifier. Les systèmes actuels de publication en ligne permettent aux auteurs de compléter leur article par des ensembles de données en n'importe quel format (chiffriers, bases de données, jpeg, etc.) et d'indexer ces fichiers aux fins d'une attribution appropriée et de l'inclusion d'autres renseignements utiles (p. ex., la source ouverte Open Journal Systems à http://pkp.sfu.ca/ojs; D^r John Willinsky, Université de la Colombie Britannique, communication personnelle, 2006). Les coûts d'affichage de données supplémentaires en annexe à des manuscrits sont négligeables et il est possible de surmonter les obstacles éthiques et juridiques (anonymisation de données lorsqu'elles mettent en cause des patients et protection des droits de propriété intellectuelle des chercheurs et des commanditaires)5.

Aucun système d'examen par la rédaction ne sera jamais totalement à l'épreuve de l'erreur ou de la duperie humaines. Les journaux pourraient toutefois faire davantage pour assurer l'intégrité des résultats scientifiques publiés : on pourrait commencer par publier toutes les données sur lesquelles reposent les résultats de recherche. — JAMC