Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
SlideShare une entreprise Scribd logo

Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

•Télécharger en tant que PPT, PDF•
•
Manuel Durand Barthez
Manuel Durand Barthez

Aspects techniques et institutionnels de l'évaluation bibliométrique des organismes de recherche.

1  sur  30
Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation L’évaluation des établissements et des politiques documentaires à l’heure de la bibliométrie MEDIADIX - URFIST Saint-Cloud 13 avril 2010 Manuel Durand-Barthez - URFIST Paris
Principes fondamentaux Contexte législatif français : la LOLF Sous-ensemble Enseignement supérieur & Recherche : le programme P 150 Référentiels internationaux : classements de Shanghai, de Leyde, du Times QS/THE, le PRSP de Ta ïwan…
La cible des indicateurs Capacités de financement Infrastructure Potentiel humain: Enseignants () chercheurs Etudiants, dont doctorants BIATOS Employabilité des étudiants sortants Quotité enseignement / recherche ; etc…
L’enjeu des publications Item visible Article scientifique : indicateur privilégié (format, périodicité) Evaluation rapide via la citation
L’OST: un acteur, des référentiels G.I.P. à couverture interministérielle dans le domaine de la Recherche Fournit des informations notamment dans trois domaines liés au P150 de la LOLF: Publications scientifiques Brevets Programmes PCRD
Des domaines privilégiés Sciences de la matière Sciences de la nature et de la vie « La base de données source est le Web of Science ® de Thomson Reuters qui fait référence pour la bibliométrie dans les domaines des sciences de la matière et de la vie. » Méthodologie IPERU, Chap.II.1
Le W.O.S. : 3 bases 6650 titres en Sciences Technologie Médecine Base Science Citation Index 1950 titres en Sciences sociales Base Social Science Citation Index 1150 titres en Sciences humaines Base Arts & Humanities Citation Index
EVALUATION DES SOURCES (Titres des revues) JOURNAL CITATION REPORT (J.C.R.) Tableau statistique annuel paraît au Printemps de l’année « n+1 » 2008: > 6500 titres analysés en STM ≈ 2000 en Sci. sociales
Journal: EMBO J Impact Factor : 8.295  Cites in 2008 to articles published in: 2007 = 3309  2006 = 4494 07+06 = 8303 Number of articles published in: 2007 = 454  2006 = 547 07+06 = 1001 Calculation: Cites to recent articles 8303 ------------------------------ = ---------- = 8.295 Number of recent articles 1001
Bilan critique Modèle anglo-saxon privilégiant la recherche appliquée Citations quantifiées sans nuances, sur une « première couronne » sans tenir compte des différences de pratique dans chaque discipline Absence flagrante des Sciences humaines
Problématique des SHS Sciences sociales relativement bien couvertes dans le SSCI: Economie (209 titres) Sc. Educ. (113 titres) Droit (104 titres) Sociologie (100 titres)
Problématique des SHS La base AHCI ( Arts & Humanities ) du WOS est dépourvue de modules d’évaluation statistique Listes de l’AERES issues de l’ERIH European Reference Index for the Humanities. Présentent des carences (dénombrement + classement)
Les alternatives Aux BD de référence Au facteur d’impact des revues Au facteur H associé aux chercheurs A l’évaluation par les pairs
Les BD de référence Scopus Scholar Google DBLP (informatique) Journalbase (SHS = WOS + Scopus + ERIH + AERES) env. 10.000 titres sur 21.000 entrées (initiative CNRS/TGE Adonis - Michèle Dassa & Christine Kosmopoulos)
Facteurs d’impact Traçabilité des citations : par qui la publication citante est-elle citée ; par qui la publication citant la citée est-elle elle-m ême citée etc… Exécution itérative du PageRank de Google (méthode de la « marche aléatoire ») Définition de collèges invisibles Eigenfactor lié au J.C.R. (ISI) Scimago Journal Rank lié à Scopus (Elsevier)
Réseaux de co-citations Autre approche des collèges invisibles Citebase (S. Harnad et T. Brody, Univ. Southampton) lié au miroir britannique d’ ArXiv CiteseerX (Pennsylvania State Univ.) domaines de l’informatique et des mathématiques appliquées
Facteur H
Variantes du Facteur « H » Facteur « G » de Leo Egghe (Univ. Anvers) Nombre « g » d'articles dont la somme des nombres de citations est au moins « g2 » un « g-index » de 10 indique que l'auteur a écrit 10 papiers dont la somme des citations est au moins de 100 Il est censé remédier au « gel » des publications captées au-dessus de l’indice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes d’entre elles
Variantes du Facteur « H » Multiples facteurs dérivés sous l’application Publish or Perish de Will Harzing, liée à Scholar Google , tenant compte de: L’ancienneté de l’article Le nombre d’auteurs 6 combinaisons résultent de l’intersection de ces deux paramètres
Evaluations alternatives qualitatives A l’origine sur les preprints d’ ArXiv Sur l’article, dans la revue m ême, type Open Access : European Geological Union Sur des articles publiés dans diverses revues, par des collè ges thématiques: Faculty of 1000 liée à l’éditeur BioMed Central
Rapporter l’évaluation GRAAL (Universités) SIGAPS (C.H.U. et organismes assimilés de Santé) CRAC (Compte rendu annuel d’activité des chercheurs du CNR) restructuré en BD RIBAC (Recueil d’informations pour un observatoire des activités des chercheurs)
Rapporter l’évaluation CNRS : rapport d’activité à 2 et à 4 ans Fiches UR3 (fiches individuelles d’activité enseignant-chercheur ou chercheur concernant les 4 dernières années) Fiches AERES Contrats quadriennaux Contrats d’objectifs
Acteurs de l’évaluation: fonction (1) Type de t âche effectuée Repérage Adressage Patronymes Comptage Indices & facteurs Impact des revues où publié Facteur H
Acteurs de l’évaluation: fonction (2) Restitution Avalisée directement (instance centrale) Débattue en conseil Taux d’occupation Unique supplémentaire
Acteurs de l’évaluation: statut Corps des Bibliothèques Ingénieur Administratif Enseignant-chercheur Chercheur « Autre »…?
Acteurs de l’évaluation Formation à la t âche Empirique (« tas »…) Stage court Spécialisée
Acteurs de l’évaluation: évolution des méthodes Opportunité de travaux coopératifs Mutualisation des expériences ( groupes de travail associant les catégories professionnelles et les domaines disciplinaires) Appels de l’ OST à enrichir et faire évoluer ses bases et modèles Exemple de la coopérative EREFIN (une vingtaine d’organismes coparticipants, dont l’OST)
Conclusion 1 Soutenir et faire évoluer les professionnels de l’information- documentation Le cas échant, impliquer les SCD pour mieux les intégrer à l’environnement universitaire, lorsque la situation s’y pr ête
Conclusion 2 Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entités Compter, certes oui, mais pourquoi, à quelle fin ?
Conclusion 3 Vers un document « unique » (…?!) pour l’évaluation ?

Contenu connexe

Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

  • 1. Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation L’évaluation des établissements et des politiques documentaires à l’heure de la bibliométrie MEDIADIX - URFIST Saint-Cloud 13 avril 2010 Manuel Durand-Barthez - URFIST Paris
  • 2. Principes fondamentaux Contexte législatif français : la LOLF Sous-ensemble Enseignement supérieur & Recherche : le programme P 150 Référentiels internationaux : classements de Shanghai, de Leyde, du Times QS/THE, le PRSP de Ta ïwan…
  • 3. La cible des indicateurs Capacités de financement Infrastructure Potentiel humain: Enseignants () chercheurs Etudiants, dont doctorants BIATOS Employabilité des étudiants sortants Quotité enseignement / recherche ; etc…
  • 4. L’enjeu des publications Item visible Article scientifique : indicateur privilégié (format, périodicité) Evaluation rapide via la citation
  • 5. L’OST: un acteur, des référentiels G.I.P. à couverture interministérielle dans le domaine de la Recherche Fournit des informations notamment dans trois domaines liés au P150 de la LOLF: Publications scientifiques Brevets Programmes PCRD
  • 6. Des domaines privilégiés Sciences de la matière Sciences de la nature et de la vie « La base de données source est le Web of Science ® de Thomson Reuters qui fait référence pour la bibliométrie dans les domaines des sciences de la matière et de la vie. » Méthodologie IPERU, Chap.II.1
  • 7. Le W.O.S. : 3 bases 6650 titres en Sciences Technologie Médecine Base Science Citation Index 1950 titres en Sciences sociales Base Social Science Citation Index 1150 titres en Sciences humaines Base Arts & Humanities Citation Index
  • 8. EVALUATION DES SOURCES (Titres des revues) JOURNAL CITATION REPORT (J.C.R.) Tableau statistique annuel paraît au Printemps de l’année « n+1 » 2008: > 6500 titres analysés en STM ≈ 2000 en Sci. sociales
  • 9. Journal: EMBO J Impact Factor : 8.295  Cites in 2008 to articles published in: 2007 = 3309  2006 = 4494 07+06 = 8303 Number of articles published in: 2007 = 454  2006 = 547 07+06 = 1001 Calculation: Cites to recent articles 8303 ------------------------------ = ---------- = 8.295 Number of recent articles 1001
  • 10. Bilan critique Modèle anglo-saxon privilégiant la recherche appliquée Citations quantifiées sans nuances, sur une « première couronne » sans tenir compte des différences de pratique dans chaque discipline Absence flagrante des Sciences humaines
  • 11. Problématique des SHS Sciences sociales relativement bien couvertes dans le SSCI: Economie (209 titres) Sc. Educ. (113 titres) Droit (104 titres) Sociologie (100 titres)
  • 12. Problématique des SHS La base AHCI ( Arts & Humanities ) du WOS est dépourvue de modules d’évaluation statistique Listes de l’AERES issues de l’ERIH European Reference Index for the Humanities. Présentent des carences (dénombrement + classement)
  • 13. Les alternatives Aux BD de référence Au facteur d’impact des revues Au facteur H associé aux chercheurs A l’évaluation par les pairs
  • 14. Les BD de référence Scopus Scholar Google DBLP (informatique) Journalbase (SHS = WOS + Scopus + ERIH + AERES) env. 10.000 titres sur 21.000 entrées (initiative CNRS/TGE Adonis - Michèle Dassa & Christine Kosmopoulos)
  • 15. Facteurs d’impact Traçabilité des citations : par qui la publication citante est-elle citée ; par qui la publication citant la citée est-elle elle-m ême citée etc… Exécution itérative du PageRank de Google (méthode de la « marche aléatoire ») Définition de collèges invisibles Eigenfactor lié au J.C.R. (ISI) Scimago Journal Rank lié à Scopus (Elsevier)
  • 16. Réseaux de co-citations Autre approche des collèges invisibles Citebase (S. Harnad et T. Brody, Univ. Southampton) lié au miroir britannique d’ ArXiv CiteseerX (Pennsylvania State Univ.) domaines de l’informatique et des mathématiques appliquées
  • 18. Variantes du Facteur « H » Facteur « G » de Leo Egghe (Univ. Anvers) Nombre « g » d'articles dont la somme des nombres de citations est au moins « g2 » un « g-index » de 10 indique que l'auteur a écrit 10 papiers dont la somme des citations est au moins de 100 Il est censé remédier au « gel » des publications captées au-dessus de l’indice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes d’entre elles
  • 19. Variantes du Facteur « H » Multiples facteurs dérivés sous l’application Publish or Perish de Will Harzing, liée à Scholar Google , tenant compte de: L’ancienneté de l’article Le nombre d’auteurs 6 combinaisons résultent de l’intersection de ces deux paramètres
  • 20. Evaluations alternatives qualitatives A l’origine sur les preprints d’ ArXiv Sur l’article, dans la revue m ême, type Open Access : European Geological Union Sur des articles publiés dans diverses revues, par des collè ges thématiques: Faculty of 1000 liée à l’éditeur BioMed Central
  • 21. Rapporter l’évaluation GRAAL (Universités) SIGAPS (C.H.U. et organismes assimilés de Santé) CRAC (Compte rendu annuel d’activité des chercheurs du CNR) restructuré en BD RIBAC (Recueil d’informations pour un observatoire des activités des chercheurs)
  • 22. Rapporter l’évaluation CNRS : rapport d’activité à 2 et à 4 ans Fiches UR3 (fiches individuelles d’activité enseignant-chercheur ou chercheur concernant les 4 dernières années) Fiches AERES Contrats quadriennaux Contrats d’objectifs
  • 23. Acteurs de l’évaluation: fonction (1) Type de t âche effectuée Repérage Adressage Patronymes Comptage Indices & facteurs Impact des revues où publié Facteur H
  • 24. Acteurs de l’évaluation: fonction (2) Restitution Avalisée directement (instance centrale) Débattue en conseil Taux d’occupation Unique supplémentaire
  • 25. Acteurs de l’évaluation: statut Corps des Bibliothèques Ingénieur Administratif Enseignant-chercheur Chercheur « Autre »…?
  • 26. Acteurs de l’évaluation Formation à la t âche Empirique (« tas »…) Stage court Spécialisée
  • 27. Acteurs de l’évaluation: évolution des méthodes Opportunité de travaux coopératifs Mutualisation des expériences ( groupes de travail associant les catégories professionnelles et les domaines disciplinaires) Appels de l’ OST à enrichir et faire évoluer ses bases et modèles Exemple de la coopérative EREFIN (une vingtaine d’organismes coparticipants, dont l’OST)
  • 28. Conclusion 1 Soutenir et faire évoluer les professionnels de l’information- documentation Le cas échant, impliquer les SCD pour mieux les intégrer à l’environnement universitaire, lorsque la situation s’y pr ête
  • 29. Conclusion 2 Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entités Compter, certes oui, mais pourquoi, à quelle fin ?
  • 30. Conclusion 3 Vers un document « unique » (…?!) pour l’évaluation ?