évaluation

Les formes traditionnelles du peer review font régulièrement l’objet de critiques de la part des chercheurs eux-mêmes : le processus est jugé lent, coûteux et opaque. L’abondante littérature sur le sujet souligne également d’autres écueils du peer review  (Souder 2011) : les biais en faveur d’auteurs issus de prestigieuses institutions ; un traitement inéquitable selon le niveau de maîtrise d’anglais des auteurs ; le risque de privilégier les résultats au détriment de la méthode, l’application de procédures inadaptées à l’évaluation de manuscrits à fort caractère interdisciplinaire ; et plus généralement, un tropisme pour ce que L. Souder nomme « scientific conservatism » (Souder 2011:55).

Par ailleurs, alors que le nombre d’articles augmente de manière exponentielle, les revues sont confrontées à la difficulté de trouver des rapporteurs. M. Kovanis et ses co-auteurs (Kovanis et al. 2016) alertent sur les atteintes à la qualité du processus engendrées par la sur-sollicitation d’un nombre restreint de rapporteurs. De plus, la pénurie de rapporteurs est aggravée par le fait que l’évaluation ne porte plus seulement sur des manuscrits mais s’étend désormais également à des jeux de données, du code informatique par exemple. Ainsi que le soulignent B. Lawrence et ses co-auteurs (Lawrence et al. 2011:11), le peer review de données sources nécessite de recourir non seulement aux compétences de spécialistes de la discipline, mais aussi de s’appuyer sur des experts techniques.

Autre paradoxe du peer review : alors que la publication d’articles dans des revues considérées comme prestigieuses reste déterminante dans l’attribution de financements et de promotions, l’activité de reviewing s’avère peu ou mal valorisée.

Selon J.P. Tennant et ses co-auteurs (Tennant et al. 2017), grâce aux possibilités offertes par l’édition numérique, nous assistons à une période d’expérimentation et d’innovation dans le domaine du peer review. Or si des outils répondent aux besoins de traçabilité et d’interopérabilité, il s’agit moins d’une évolution technique que culturelle.

Dans quelle mesure le paradigme de l’open science peut-il apporter des réponses à la crise du peer review ? Par ailleurs, de quoi l’open peer review est-il le nom ?

Quels sont les impacts sur le peer review de la logique de décloisonnement inhérente à l’open science?

De quelle manière les institutions de recherche peuvent-elles jouer un rôle plus actif dans un écosystème de la publication dominé par les éditeurs ? La publicisation des évaluations renforce-t-elle ou fragilise-t-elle les reviewers?