Fezabilitatea bibliometriei în evaluarea științei

Evaluarea obiectivă a calității activității de cercetare a oamenilor de știință, a instituțiilor științifice și de învățământ superior are o importanță deosebită pentru înțelegerea poziției actuale a țării și posibila dezvoltare în viitor. În același timp, este necesar să menționăm că, nivelul progresului științific al țării nu poate fi estimat doar în baza numărul de persoane implicate în activitatea științifică sau în baza volumului finanțării alocate de guvern în scopuri de cercetare. Unul din indicatori principali ai progresului științific al unei țări este numărul și calitatea lucrărilor de cercetare publicate în reviste științifice cu impact [6]. Pe baza acestor publicații pot fi calculate diferite caracteristici cantitative privind productivitatea științifică.

Publicațiile științifice sunt o formă de comunicare a rezultatelor științifice. Ele cumulează rezultatele cercetărilor, documentează rezultatele empirice, oferă spațiu pentru dezbateri teoretice și contribuie la avansarea treptată a cunoștințelor științifice. Deși publicațiile nu sunt punctul final al cercetării științifice, este imposibil să ne imaginăm transformarea cercetării în cunoaștere sau practică fără a se manifesta cercetarea în publicații [12]. Din acest motiv, nici o evaluare serioasă a influenței cercetării nu poate ignora importanța publicațiilor ca rezultate intermediare sau finale de diseminare a cercetării.

Studiul literaturii științifice are o istorie lungă și datează încă din primele decenii ale secolului trecut [1]. Cu toate acestea, deși au existat cercetării în acest domeniu, nu a existat un termen prin care ar fi definită această activitate. În anul 1969 pentru prima dată termenul bibliometrie a fost folosit de Alan Pritchard. Bibliometria se definește ca „aplicarea metodelor matematice și statistice pentru cărți și alte mijloace de comunicare”. Apoi termenul a fost rapid adoptat și utilizat, în special, în America de Nord [15]. Aproape în același timp, Vasily V. Nalimov și Z.M. Mulchenko (1969) au propus termenul scientometrie pentru a se referi la „aplicarea metodelor cantitative care se ocupă de analiza științei ca un proces de informare”. Acest termen a fost utilizat pe scară largă în Europa [16]. Conform acestor interpretări, sfera de specialitate a scientometriei se limitează la măsurarea comunicării științifice, în timp ce bibliometria este concepută pentru a face față proceselor de informare mai generale. Oricum, în ultimele câteva decenii, granițele dintre cele două specialități aproape că au dispărut, iar în prezent, ambii termeni sunt folosiți ca sinonime [5].

Actualmente, există numeroase baze de date specializate sau multidisciplinare care oferă informații indexate privind mii de reviste, materiale ale conferințelor, cărți, capitole în cărți și articole. Fără îndoială, tehnologiile informaționale au contribuit la progrese enorme în domeniul bibliometriei.

În cele din urmă, merită să menționăm diferitele aplicații pe care le are în prezent bibliometria. Tabelul 1 prezintă cele trei subiecte bibliometrice pe care Wolfgang Glänzel [5] le-a identificat drept subdomenii ale bibliometriei contemporane.

Bibliometria, ca domeniu cu adevărat interdisciplinar, are legături strânse cu domeniile de cercetare conexe, precum și de activitate practică sau prestare de servicii. Bibliometria este legată în mod tradițional cu biblioteconomia, științele informării, recuperarea informației și sociologia științei, iar pe de altă parte, rezultatele cercetării și tehnologiile bibliomerice sunt aplicate în calitate de servicii biblioteconomice, de informare științifică și de politică științifică.

Tabelul 1. Aplicarea subdomeniilor bibliometriei

Sursa: W. Glänzel [5].

În calitate de surse de date pentru cercetările bibliometrice sunt utilizate bibliografiile și bazele de date bibliografice. Analizele bibliometrice pot fi efectuate pe baza oricărei liste de publicații suficient de mari, compilate și emise, de exemplu, de o instituție științifică. Cu toate acestea, cele mai fiabile surse sunt bazele de date specializate sau multidisciplinare care au fost oferite inițial în formă tipărită, dar mai târziu și în formă electronică. Pentru studii bibliometrice pot fi folosite baze de date specializate, de exemplu: Medline (științele vieții), Chemical Abstracts (chimie), Inspec (științe fizice și inginerie) și Mathematical Reviews (matematică) etc.

Totuși, bazele de date ale Institutul pentru Informaţii Ştiintifice (ISI, Philadelphia, PA, SUA), în prezent ale companiei Clarivate Analytics, în primul rând, Web of Science (WoS) au devenit surse de bază și cele mai general acceptate pentru analizele bibliometrice. Deși există anumite obiecții în ceea ce privește acoperirea revistelor și politica de prelucrare a datelor, caracteristicile unice ale WoS servesc ca bază pentru analize bibliometrice.

În prezent, pentru analize bibliometrice pe larg se folosește și baza de date Scopus care este poziționată de către compania Elsevier ca cea mai mare bază de date bibliografică universală cu capacitatea de a urmări citările științifice ale publicațiilor. Deși, WoS are anumite avantajele în comparație cu Scopus, cum ar fi adâncimea de acoperire, baza de date WoS include publicații din anul 1945, iar Scopus include publicații din anul 1966, ambele baze de date se completează reciproc, deoarece nicio resursă nu este exclusivă și exhaustivă.

În prezent, multe țări din întreaga lume recunosc importanța evaluării performanței cercetării științifice. Date despre productivitatea cercetării științifice îi ajută pe factorii de decizie să elaboreze planuri strategice pe termen lung, să răspundă la întrebările privind direcțiile de cercetare care ar trebui să fie explorate în viitor sau ce activități de cercetare ar trebui sprijinite în conformitate cu obiectivele economice și politice ale unei țări. Indicatorii bibliometrici sunt aplicați din ce în ce mai mult de către guverne și diverse organizații de finanțare, în special datorită aplicabilității lor la scară largă, a costurilor și a timpului redus, precum și a obiectivității lor. Scopul utilizării acestor indicatori este de a optimiza alocările pentru cercetare și de a face finanțarea mai eficientă și mai efectivă [7; 14]. Mai mult, astfel de analize bibliometrice sunt necesare pentru a înțelege poziția țării în raport cu standardele globale și interne ale calității și producției științifice. Din acest punct de vedere, este clar de ce o astfel de analiză se realizează nu numai în țările dezvoltate economic, dar și în multe țări în curs de dezvoltare, precum și în țări cu economie în tranziție. Într-adevăr, finanțarea guvernamentală a cercetării în țările cu provocări sociale, economice sau politice și cantitate restrânsă a resurselor disponibile ar trebui să fie foarte eficientă, ceea ce nu poate fi realizat fără analize bibliometrice corecte.

Există câteva avantaje în implementarea analizei bibliometrice care o face adecvată pentru evaluarea cercetării: (1) oferă o evaluare a producției științifice într-o anumită zonă de cercetare pe o perioadă de timp, folosind indicatori de evaluare a performanței cercetării [4]; (2) analizează datele cu privire la esența activității științifice; (3) datele bibliometrice pot fi identificate și evaluate cu ușurință pentru un spectru larg de discipline care utilizează baze de date reprezentate [2]; (4) analizează știința ca un sistem de generare a cunoștințelor [13]; (5) rezultatele bibliometriei se corelează bine cu alți indicatori privind calitatea cercetării [3]; (6) este posibilă sintetizarea unor cantități mari de informații și stabilirea unor caracteristici esențiale privind peisajul cercetării; (7) permite comparații între diferite discipline științifice, precum și între diferite țări [10].

Metodele bibliometrice sunt aplicabile la diferite niveluri ale activităților de cercetare, cum ar fi indivizi, grupuri de cercetare, instituții și țări. Dificultatea obținerii datelor și precizia analizei diferă în funcție de nivel, prin urmare, există diferențe considerabile între metodele de analiză utilizate în fiecare nivel. O analiză bibliometrică se poate face la nivel macro, mezo sau micro [8, p. 735]. Și anume, la nivel macro poate fi făcută evaluarea tuturor domeniilor de cercetare în ansamblu, teme specifice sau a regiunilor geopolitice, precum și evaluarea performanței unei țări în diverse domenii științifice. La nivel național, datele și indicatorii care rezultă sugerează modalități de a compara impactul, producția și productivitatea științifică cu alte țări și de a justifica cheltuielile pentru cercetarea științifică. De asemenea, activitatea de cercetare trebuie să fie analizată în mod sistematic la nivelul mezo (intermediar), cum ar fi instituțiile mari, de exemplu, universități, facultăți, departamente și instituții de cercetare. Astăzi, bibliometria este un instrument primordial pentru organizații, cum ar fi universitățile și
organismele guvernamentale, de măsurare a performanței cercetării.

La nivel micro analiza poate fi limitată la nivelul practicii individuale de cercetare sau grupuri mici de cercetare. Totuși, numărul de lucrări științifice publicate de un cercetător nu este suficient pentru a obține date statistice semnificative în evaluarea bibliometrică a unei comunități științifice care includ grupuri de cercetare, departamente universitare, instituții, corporații, societăți, țări, regiuni geopolitice, domenii științifice sau subdomenii [11, p. 107].

Analizele bibliometrice se bazează pe informații relevante despre publicațiile științifice care pot fi preluate din sursele de date menționate mai sus. Cele mai importante informații utilizate în bibliometrie sunt, de obicei, organizate în câmpuri de căutare corespunzătoare [5].

Informații relevante din bazele de date bibliografice privind publicațiile științifice:

- Identificarea sursei (Titlul revistei, anul editării, volumul, numărul, paginile)
- Numele autorilor
- Afilierea autorului (Adresele instituțiilor, țara, oraș)
- Referințe
- Tipul documentului
- Limba de editare a documentului
- Titlu, termeni controlați, cuvinte-cheie, rezumate, rubrici pe subiecte
- Informații privind finanțarea, grant, proiect etc.

Rigoarea și acuratețea unei analize bibliometrice va depinde, în primul rând, de rezultatele căutării bibliografice în bazele de date. Dacă scopul este de a analiza productivitatea științifică într-un domeniu de cercetare, trebuie să fim siguri că această zonă este bine reprezentată în baza de date pe care se bazează căutarea bibliografică. De fapt, atunci când se alege bază de date pentru un studiu bibliometric, trebuie luate în considerare două aspecte principale: acoperirea acesteia și precizia datelor sale. Acoperirea se referă la măsura în care sursele procesate de o bază de date acoperă literatura de specialitate publicată într-un domeniu. Ca atare, acoperirea nu trebuie să fie părtinitoare față de anumite țări, limbi sau editori [9]. În ceea ce privește exactitatea datelor, aceasta se referă la absența unor neconcordanțe și ortografii eronate ale numelor autorilor sau la lipsă standardizării în ceea ce privește titlurile și afilierile revistelor [1].

Pentru analize bibliometrice pe lângă bazele de date internaționale sunt folosite bazele de date naţionale, cum ar fi Russian Science Citation Index (Rusia), Serbian Citation Index (Serbia) sau Indian Citation Index (India). În Republica Moldova, de asemenea, există o sursă pentru evaluările bibliometrice la nivel național – Instrumentul Bibliometric Național (IBN), dezvoltat de Institutul de Dezvoltare a Societății Informaționale (IDSI).

În anul 2018, în baza resursei deschise stiu.md, IDSI a realizate câteva studii bibliometrice utilizând datele oferite de IBN.

1. Vizibilitatea publicațiilor științifice – parte integrantă a societății cunoașterii. Analiză bibliometrică și altmetrică în baza unui repozitoriu bibliometric național

2. „Creşterea economică” prin prisma Instrumentului Bibliometric Naţional

3. Filologia din Republica Moldova (2000-2018). O privire (în baza datelor de pe platforma ȘTIU.md)

4. Evaluarea bibliometrică a cercetărilor în domeniul energeticii: studiu de caz - Republica Moldova

5. Analiza bibliometrică a domeniului nanotehnologiilor în Republica Moldova

6. Măsurarea vizibilității producției științifice a USM: Analiza bibliometrică și altmetrică

7. Cercetarea în domeniul TIC în Republica Moldova: evaluare bibliometrică

8. Analiza bibliometrică a publicațiilor științifice în domeniul securității cibernetice din Europa de Est: studiu de caz - Republica Moldova

Scopul studiilor bibliometrice pe care le realizează IDSI, care acoperă diferite domenii științifice la nivel național, este de a oferi persoanelor implicate în managementul cercetării, precum și oamenilor de știință, indicatori obiectivi care descriu domeniile sau instituțiile analizate. Este de așteptat ca rezultatele analizelor bibliometrice să poată fi utilizate ca instrumente de gestionare pentru o distribuție consecventă a granturilor de cercetare și o mai bună dotare a locurilor de cercetare și a nevoilor de infrastructură.

Referințe bibliografice:

1. ANDRES, Ana. Measuring Academic Research. Oxford: Chandos Publishing, 2009. eISBN: 978-1780630182.

2. BORNMANN, Lutz; LEYDESDORFF, Loet. Scientometrics in a changing research landscape: Bibliometrics has become an integral part of research quality evaluation and has been changing the practice of research. In: EMBO Rep. 2014, vol. 15, no. 12, pp. 1228-1232. eISSN: 1469-3178. Disponibil: DOI: 10.15252/embr.201439608.

3. DIEKMANN, Andreas; NÄF, Matthias; SCHUBIGER, Manuel. Die Rezeption (Thyssen-) preisgekrönter Artikel in der „Scientific Community. [The impact of (Thyssen)-awarded articles in the scientific community]. In: KZfSS Kölner Zeitschrift für Soziologie und Sozialpsychologie. 2012, vol. 64, no. 3, pp. 563-581. eISSN: 1861-891X. Disponibil: DOI: 10.1007/s11577-012-0175-4.

4. GARFIELD, E. Is citation analysis a legitimate evaluation tool? In: Scientometrics. 1979, vol. 1, no. 4, pp. 359-375. Disponibil: DOI: 10.1007/BF02019306.

5. GLÄNZEL, Wolfgang. Bibliometrics as a Research Field. A Course on Theory and Application of Bibliometric Indicators [online]. Course handouts, 2003. Disponibil: https://bit.ly/2tpD9TN

6. MAY, Robert M. The scientific wealth of nations. In: Science. 1997, vol. 275, no. 5301, pp. 793–796. ISSN: 1095-9203. Disponibil: DOI: 10.1126/science.275.5301.793.

7. MOED, Henk F. Citation Analysis in Research Evaluation. Dordrecht: Springer, 2005. eISBN: 978-1-4020-3714-6. Disponibil: DOI: 10.1007/1-4020-3714-7.

8. MOED, Henk F.; GLÄNZEL, Wolfgang; SCHMOCH Ulrich (eds). Handbook of Quantitative Science and Technology Research: The Use of Publication and Patent Statistics in Studies of S&T Systems. New York: Springer Science & Business Media, 2005. eISBN: 978-1-4020-2755-0. Disponibil: 10.1007/1-4020-2755-9.

9. NEUHAUS, C.; DANIEL, H.D. Data sources for performing citation analysis: an overview. In: Journal of Documentation. 2008, vol. 64, no. 2, pp. 193-210. ISSN: 0022-0418. Disponibil: DOI: 10.1108/00220410810858010.

10. POURIS, Anastassios. A bibliometric assessment of energy research in South Africa. In: South African Journal of Science. 2016, vol. 112, no 11/12, pp. 1-8. eISSN: 1996-7489. Disponibil: DOI: 10.17159/sajs.2016/20160054.

11. REPANOVICI, Angela. Measuring the visibility of the university's scientific production through scientometric methods: An exploratory study at the Transilvania University of Brasov, Romania. In: Performance Measurement and Metrics. 2011, vol. 12, no. 2, pp. 106-117. ISSN: 1467-8047. Disponibil: DOI: 10.1108/14678041111149345.

12. SCHNEIDER, M., KANE, C.M., RAINWATER, J., et al. Feasibility of common bibliometrics in evaluating translational science. In: Journal of clinical and translational science. 2017, vol. 1(1), pp. 45-52. eISSN: 2059-8661. Disponibil: DOI: 10.1017/cts.2016.8.

13. VAN RAAN, Anthony F.J. For your citations only? Hot topics in bibliometric analysis. In: Measurement: Interdisciplinary Research and Perspectives. 2005, vol. 3, no. 1, pp. 50-62. eISSN: 1536-6359. Disponibil: DOI: 10.1207/s15366359mea0301_7.

14. WEINGART, P. Impact of bibliometrics upon the science system: Inadvertent consequences? In: Scientometrics. 2005, vol. 62, no. 1, pp. 117-131. ISSN: 0138-9130. Disponibil: DOI: 10.1007/s11192-005-0007-7.

15. WILSON, Concepcion S. Informetrics. In: Annual Review of Information Science and Technology [online]. 1999, vol. 34, pp. 107-247. ISSN: 0066-4200. Disponibil: https://www.learntechlib.org/p/92547/

16. WOLFRAM, Dietmar. Applied Informetrics for Information Retrieval. Westport, CT: Libraries Unlimited, 2003. ISBN: 978-0313319709