Quels indicateurs bibliométriques pour évaluer la qualité des publications ?

Depuis 1975, l’Institute for Scientific Information (ISI) publie le Journal Citation Reports (JCR) définissant notamment l’Impact Factor (IF) [1] des revues recensées par l’ISI. Les institutions abonnées accèdent à cette information à partir de la plate-forme Web of Knowledge (WoK) de Thomson Reuters, en se rendant sur l’onglet des ressources additionnelles :

Web of Knowledge : onglet des ressources additionnelles

Il est alors possible de mener des recherches par domaine, éditeur, revue ou pays. Voici, par exemple, les 192 revues éditées en France, indexées dans le JCR et classées par Impact Factor décroissant :

Liste des revues indexées dans le JCR

Le calcul de l’Impact Factor repose sur l’analyse du réseau de citations du corpus de revues scientifiques de Web of Science (WoS) : l’IF d’une revue en 2011 est défini comme le nombre moyen de citations reçues en 2011 par les articles publiés dans cette revue en 2009 ou 2010.

Pour voir le détail du calcul d’IF (parmi de nombreuses autres informations), il suffit de cliquer sur le titre abrégé de la revue, par exemple celui de la revue française la mieux placée à ce jour en termes d’Impact Factor : Astron Astrophys.

Détail du calcul d’IF

L’Impact Factor ne tient pas compte de la notoriété des publications à l’origine des citations : une citation venant d’un article « renommé » a la même valeur que celle provenant d’un article peu cité.

Pour éviter ce problème, le JCR propose deux métriques fondées sur un algorithme proche du PageRank de Google (donnant plus de poids aux revues citées par des revues renommées) :

• l’Eigenfactor (EF) [2] est calculé de sorte que la somme de tous les EF des revues listées dans le JCR vaut 100. Il en résulte des scores généralement très faibles. Dans l’exemple précédent, la revue Astron Astrophys a un EF de 0,25 (1/400^e du total 100), alors que Nature a un EF de 1,65. Notons que l’EF est souvent d’autant plus grand que le nombre de publications de la revue est important, ce qui privilégie les grosses revues ;
• l’Article Influence (AI) est plus proche de l’Impact Factor que de l’Eigenfactor dans le sens où il détermine l’influence moyenne de chaque article sur cinq ans, indépendamment de la taille de la revue. L’AI est normalisé de sorte que l’AI moyen sur toutes les revues vaut 1.

Si le JCR est l’une des principales ressources d’évaluation de la qualité des revues scientifiques, il présente certaines faiblesses [3] :

• Impact Factor et Eigenfactor reposent sur les revues indexées par Web of Science. Beaucoup plus élitiste que ses concurrents, il privilégie essentiellement la littérature anglo-saxonne ;
• autre inconvénient : l’accès au JCR se fait sur abonnement. Notez toutefois que l’interface www.eigenfactor.org propose un accès gratuit aux deux métriques Eigenfactor. Dans l’exemple présenté, on obtient un classement des revues de physique nucléaire par Eigenfactor (EF) ou par Article Influence (AI).

Classement des revues par EF ou AI

Initialement conçu pour évaluer la notoriété des publications, IF est actuellement largement utilisé pour évaluer la qualité des productions scientifiques des chercheurs et institutions.

C’est l’objectif du service additionnel Essential Science Indicators accessible à partir de la plate-forme WoK qui propose un classement des scientifiques, institutions, pays et revues.

Dans l’exemple ci-après, les publications françaises sont organisées par domaine et triées par nombre moyen de citations reçues par article. On pourrait aussi choisir un tri par nombre total de citations de la revue, ce qui donnerait un résultat différent.

Tri par nombre moyen de citations reçues par article

Existe-il des alternatives à ces indicateurs développés pour Web of Science ? Pour quel usage ? C’est ce que nous allons voir à travers les prochaines étapes.

À la différence de Web of Science (WoS), Google Scholar ouvre un accès gratuit à ses références bibliographiques, et présente une couverture beaucoup plus large que son concurrent. Par ailleurs, Google Scholar offre depuis 2012 un nouveau service derrière le lien « Statistiques » évaluan...

Le portail SCImago Journal and Country Rank (SJR) [5] propose un ensemble d’indicateurs développés par un groupe de recherche ibérique (SCImago Research Group). Il repose sur l’analyse du réseau de citations de la base bibliographique scientifique Scopus de l’éditeur Elsevier. Scopus a l’avantage ...