Sidans innehåll

Att mäta vetenskapligt genomslag

Var och hur mycket en forskare publicerar och i vilken utsträckning publikationerna citeras har kommit att bli allt viktigare under de senaste tjugo åren, både för den enskilda forskarens karriär och i vissa fall även för forskarens arbetsgivare.

Mäta publikationer och citeringar

Mått för att mäta genomslag i termer av citeringar har funnits länge men nya mått tas fram löpande. Citeringsbaserade mått används i forskares CV, i viss medelstilldelning till lärosäten och institutioner, och i de världsomspännande universitetsrankingar som publiceras årligen.

Altmetrics, att mäta uppmärksamhet eller genomslag också i andra kanaler än vetenskapliga publikationer, har dykt upp under de senaste åren. Exakt hur altmetriska mått ska användas råder det fortfarande delade meningar om.

Ytterligare ett sätt att mäta genomslag är att se om vetenskapliga publikationer citeras i policys och riktlinjer. Overton är en databas som samlar in policydokument och länkar dem till forskning.

Till databasen Overton

Citeringens varierande funktion

Citeringsbaserade mått, till exempel Journal Impact Factor (JIF) och h-index, används ofta för att mäta forskningens genomslag. Ibland likställs detta med kvalitet i forskningen. En anledning till att olika former av bibliometriska mått har fått en allt viktigare funktion i bedömning av forskning och forskare är den ökade mängden publikationer.

Det uppfattas helt enkelt som mer effektivt att räkna publikationer och citeringar än att kvalitativt bedöma publikationernas bidrag till forskningen. Det finns ett antal välkända problem med att endast utgå från citeringsmått. Dessa är bra att känna till när den egna forskningen bedöms eller vid bedömning av andras forskning. De är också en anledning till att det är svårt att jämföra olika ämnesområden baserat på citeringsmått.

Citeringsmåtten tas fram utifrån databaser som har bättre täckning inom vissa ämnesområden än andra. Ämnesområden där publicering i hög grad sker i andra genrer än tidskriftsartiklar och på andra språk än engelska representeras generellt dåligt i bibliometriska studier.
Citeringspraktikerna ser olika ut i olika ämnesområden. Texter förväntas referera till andra texter i olika utsträckning. Citeringens funktion kan också skilja sig åt. I vissa ämnen kan en citering indikera hög kvalitet hos den citerade texten eftersom en text av låg kvalitet inte skulle citeras. I andra ämnen kan en citering ske eftersom den citerade texten ifrågasätts eller motbevisas.

Som en konsekvens kan citeringar sägas mäta genomslag och synlighet i viss grad och i olika utsträckning inom olika ämnesområden; de mäter inte (eller inte nödvändigtvis) kvalitet.

Det finns en internationell diskussion kring citeringsmått och flera tunga aktörer har framfört att de bör användas med försiktighet (t ex i deklarationen DORA som undertecknats av Forte, Formas, RJ och andra organisationer). Samtidigt är det ett omfattande informations- och attitydarbete att ändra forskares, sakkunnigas och akademiska ledares syn på vikten av sådana mått som JIF, så måtten kommer förmodligen att fortsatt ha stor betydelse inom många delar av det vetenskapliga systemet.

Vad du kan göra

Som individ kan du vara uppmärksam på hur måtten tas fram och används. Jämför de siffror du får fram i olika databaser och fundera över varför siffrorna blir olika. Var tydlig med källa och datum när du anger något mått. Sätt dig in i de begränsningar som finns med måtten så att du både kan återge dem på ett sätt som inte missgynnar dig och är ansvarsfull när du använder mått för att bedöma andra. Inte minst gäller det att fundera över hur publicerings- och citeringspraktiker ser ut inom ämnesområdet.

Publikationsnivå

Antalet citeringar som en specifik publikation har fått (hur många gånger den förekommer i andra vetenskapliga publikationers referenslistor) är inte bara en potentiellt tillfredsställande uppgift för publikationens författare utan kan också säga något om publikationens genomslag.

Citeringsdatabaser, som Web of Science och Scopus, samlar systematiskt in och skapar statistik baserat på citeringar. Även Google Scholar identifierar citeringar på algoritmisk väg. Citeringarna mäts på olika vis och länkar upprättas mellan den citerade och de citerande publikationerna. Allt fler andra databaser inkluderar också citeringar, men inte alltid lika uttömmande.

Under senare år har även alternativa mått på genomslag och synlighet börjat användas, både i särskilda databaser och på tidskrifters webbplatser. Exempelvis anger förlaget PLoS på artikelsidorna antalet sidbesök, nedladdningar och delningar av artikeln som gjorts från sidan. Läs mer om detta under rubriken Altmetrics.

Tidskriftsnivå

Det mest kända och mest använda bibliometriska måttet på tidskriftsnivå är Journal Impact Factor (JIF) som beräknas utifrån uppgifter i databasen Web of Science. JIF används ofta som ett mått på en tidskrifts värde och har i allt högre grad kommit att smitta av sig på de enskilda artiklarna och deras författare, så att en forskares produktion ibland värderas utifrån JIF på de tidskrifter där hen är publicerad, inte på den enskilda artikelns värde eller genomslag.

Av samma skäl som angivits ovan bör JIF inte betraktas som ett mått på kvalitet, inte för tidskriften och definitivt inte för den enskilda artikeln, utan som ett mått på genomslag eller synlighet.

Vad är JIF?

JIF beräknas utifrån det genomsnittliga antalet citeringar till artiklarna i en tidskrift inom två år efter publiceringsåret (det så kallade citeringsfönstret).

Formel för tidskrifts påverkningsfaktor 2022 baserad på citeringar 2020–2021.

Inom vissa ämnesområden är ett tvåårigt citeringsfönster väldigt kort, eftersom citeringarna till en artikel ofta sprids ut över en mycket längre period. Uppgifter om tidskrifter i Web of Science och hur de rankas i relation till varandra finns i underdatabasen InCites Journal Citation Reports. Tidskrifter inom humaniora omfattas inte av JIF.

Vad är CiteScore?

Databasen Scopus motsvarighet till JIF heter CiteScore. Den är i grunden väldigt lik, men använder ett citeringsfönster på fyra år i stället för två. Tidskrifter kan sökas genom fliken Sources i Scopus.

Kritik mot JIF och CiteScore

En kritik som har riktats mot JIF och CiteScore är att det inte går att jämföra indikatorn mellan olika ämnesområden. Det som är en mycket hög JIF inom ett ämne är en högst ordinär JIF inom ett annat, på grund av olika citeringspraktiker. Exempelvis har topprankade tidskrifter i matematik en JIF runt 4 medan siffran är över 30 i cellbiologi (Leiden Manifesto och InCite JCR). Som svar på detta har fältnormaliserade citeringsindikatorer (som utgår från vad som är ett förväntat normalvärde inom ett visst ämne) tagits fram, exempelvis Journal Citation Indicator (JCI) i Web of Science och Source Normalized Impact per Paper (SNIP) i Scopus. Dessa möjliggör alltså jämförelse av tidskrifter över ämnesgränserna, vilket ändå bör göras med försiktighet.

Ett annat sätt att jämföra tidskrifter inom olika ämnen är att titta på inom vilken percentil de ingår i sin ämneskategori (t ex bland de 10 procent eller 25 procent högst rankade). Det finns en mängd andra indikatorer som också föreslagits under senare år, exempelvis Eigenfactor Score och SCImago Journal Rank, som båda bygger på en logik liknande Googles PageRank-algoritm.

JIF och CiteScore är två enkla mått som lockar till ranking av tidskrifter och till att försöka bli publicerad i en högt rankad tidskrift. Dessa mått har dock kritiserats, bland annat för att:

fokus riktas mot var en artikel publiceras (tidskriften), inte artikelns kvalitet
ett högt JIF/CiteScore-mått kan bero på att ett litet antal artiklar fått väldigt många citeringar medan majoriteten av artiklarna i tidskriften har ett mycket lägre antal eller inga citeringar alls
citeringsfönstret för en del ämnen blir för kort för att fånga in huvuddelen av citeringarna
tidskrifterna kan på olika vis kan påverka resultaten (t ex genom att systematiskt uppmuntra citeringar till artiklar i den egna tidskriften eller att publicera artiklar som förväntas få många citeringar tidigt under året för att så många citeringar som möjligt ska hamna inom citeringsfönstret)

(Sugimoto & Larivière, 2018, s. 94)

Det finns också flera initiativ för att motarbeta att mått på tidskriftsnivå används som ett mått på den enskilda artikelns kvalitet, genomslag eller prestige, se till exempel DORA-deklarationen.

Något liknande citeringsbaserade mått för tidskrifter finns av naturliga skäl inte för böcker och bokkapitel, även om framför allt Scopus också mäter citeringar på dokumentnivå.

Mer läsning

Personlig bibliometri (H-index)

H-index är ett mått som är framtaget för att försöka jämföra forskare utifrån mötet mellan produktivitet (antalet publikationer) och uppmärksamhet (antal citeringar).

För att få fram ett h-index listas författarens publikationer i ordning från den med högst antal citeringar till den med lägst antal (eller inga) citeringar. H-index är den siffra där antalet citeringar är lika med eller högre än publikationens plats i listan. Om du till exempel har tio publikationer med minst tio citeringar till varje men färre citeringar än elva till den elfte publikationen i listan så är ditt h-index 10.

Tabell visar H-index 10; tio publikationer har minst tio citeringar.

H-index tas fram utifrån en databas som registrerar citeringar. Vanliga databaser att utgå ifrån är Web of Science, Scopus eller sökmotorn Google Scholar. Dessa databaser skiljer sig i kontroll över vad som inkluderas i databaserna men också i vilka genrer som tas med. Det gör att det inte är lämpligt att jämföra h-index som tagits fram i olika databaser. Google Scholar kommer till exempel i stort sett alltid att ge ett högre h-index än de andra två databaserna och publikationerna som citeringarna kommer från i Google Scholar kan inkludera till exempel studentuppsatser.

Det är också viktigt att inte jämföra h-index mellan olika ämnesområden eftersom publicerings- och citeringspraktikerna kan skilja sig mycket åt. Det som är att betrakta som ett högt h-index i ett ämnesområde är det inte nödvändigtvis i en annan. Det finns förslag på att ta fram fältnormaliserade h-index, som sätter index i förhållande till vad som är medelvärden inom ett visst ämne, men det är inte något som har slagit igenom.

Om du förväntas ange ditt eget h-index kan det vara bra att skapa en profil i den databas som h-index ska hämtas från och se till så att alla dina publikationer (som är indexerade i databasen) är kopplade till profilen och att listan inte innehåller publikationer som inte är dina.

Inom vissa ämnesområden, exempelvis inom ämnen där det är vanligt att publicera sig nationellt, kan det vara så att Web of Science och Scopus innehåller väldigt få av en forskares publikationer. Då kan det finnas skäl att ange h-index från Google Scholar tillsammans med h-index från till exempel Web of Science och argumentera för varför publikationer och citeringar i Google Scholar säger mer.

Fördelar med h-index

det mäter citeringar till författarens publikationer och inte till den tidskrift som en artikel är publicerad i (citeringar till tidskriften säger inte något om den enskilda artikelns genomslag)
måttet är inte så känsligt för enskilda väldigt högt citerade publikationer
det gynnar inte heller författare som har publicerat väldigt mycket men som inte har fått några citeringar

Nackdelar med h-index

det tar inte hänsyn till i vilken utsträckning författaren har bidragit till en samskriven publikation, utan alla författare räknas som jämbördiga
det är ett mått som gynnar mer seniora forskare eftersom antalet publikationer begränsar vilket h-index det är möjligt att uppnå

Altmetrics

Den ökade elektroniska publiceringen och användandet av unika identifikatorer såsom DOI har öppnat möjligheter att utöver de klassiska citeringsbaserade analyserna mäta genomslag på ett bredare och alternativt sätt. Dessa praktiker kallas ofta altmetrik eller altmetrics (alternative metrics). I stället för att vara begränsat till regelrätta citeringar i andra vetenskapliga verk tas här även hänsyn till omnämningar på platser såsom policydokument, nyheter, sociala nätverk och olika sorters hemsidor.

En möjlig konsekvens av detta är att genomslaget generellt syns fortare med altmetrics, då omnämnandet i vissa fall sker direkt utan att en publikation som citerar verket ska skrivas och därefter gå igenom en gransknings- och publiceringsprocess.

Det finns två huvudsakliga leverantörer av altmetrik, Altmetric och förlaget Elseviers verktyg PlumX (en del av PlumX metrik är tillgänglig via Scopus). Om du själv vill se Altmetrics siffror för en specifik publikation kan du ladda ner deras plug-in Altmetric Bookmarklet.