Artikkeli perustuu esitelmään, jonka pidin Turussa kansainvälisessä konferenssissa Human Faces of Power, X Conference in Methodologies and Theories in History, 10.–12.9.2009.

Kollegojen suorittama käsikirjoituksen ennakkoarviointi on tieteellisen kritiikin ja akateemisen julkaisumaailman olennainen osa. Sen tarkoitus on taata tutkimuksen tasokkuus sekä estää väärinkäytöksiä, siis tieteellistä vilppiä, plagiointia ja petoksia. Monet uskovat näin myös tapahtuvan ja pitävät arviointia reilujen julkaisupäätösten edellytyksenä. Toisaalta on väitetty, että vertaisarviointi on hidas, työläs, puolueellinen, salainen, sattumanvarainen, subjektiivinen, väärinkäytöksille altis ja kallis – vaikkei siitä arvioijille maksetakaan. On myös sanottu, ettei se hevin löydä suoranaisia virheitä eikä väärennöksiä, eivätkä sen tulokset ole varmoja.¹

Vertaisarvioinnista² on keskusteltu paljon 1970–1980-luvulta lähtien varsinkin biolääketieteiden piirissä. Esimerkiksi Journal of the American Medical Association (JAMA) ja British Medical Journal Publishing Group (BMJ) ovat järjestäneet aiheesta kansainvälisiä konferensseja vuodesta 1989 lähtien. Arviointia käytetään nykyisin myös humanistisissa ja yhteiskuntatieteissä, ja tieteen portin vartioinnista on niissäkin alettu keskustella. Tarkastelen tässä artikkelissa vertaisarviointia vallan ja auktoriteetin³ välineenä akateemisissa aikakauslehdissä. Taustaksi esittelen arvioinnin tehtäviä ja arviointiohjeita.

Arvioinnin tehtävät

Kiivas kilpailu vaatii tutkijoita tuottamaan jatkuvasti mahdollisimman paljon julkaisuja. Siksi käsikirjoitusten tulva – Kari Raivion sanoin tsunami – sisältää paljon triviaalia ja heikkotasoista.⁴ Vertaisarvioinnin tehtävä onkin auttaa julkaisujen toimittajia päättämään, mitkä kirjoitukset ovat tieteellisesti tärkeitä ja julkaisemisen arvoisia ja mitkä eivät.⁵

Käytännössä toimittaja pyytää kahta, joskus useampaa tunnustettua tutkijaa arvioimaan toisistaan riippumatta tarjotun käsikirjoituksen tieteellisen merkittävyyden, relevanssin, uutuuden ja hyödyllisyyden sekä lausumaan puolueettoman käsityksensä siitä. Lisäksi heidän odotetaan sanovan, voidaanko teksti julkaista sellaisenaan tai korjausten jälkeen vai eikö sitä voida julkaista lainkaan kyseisessä lehdessä.⁶

Koko tiedeyhteisö hyötyy, jos arviointi onnistuu ohjaamaan tutkimukset juuri sopiviin julkaisuihin sekä takaamaan julkaisujen korkean tason ja sen, että tekstit ovat hyvin kirjoitettuja, luettavia ja sisältävät uutta, luotettavaa tietoa. Monet uskovat oikeutetun ja rakentavan kritiikin voivan ohjata tutkijoita tekemään parempaa tiedettä ja kirjoittamaan paremmin – tai ainakin ymmärrettävämmin.⁷ Eräät epäilevät silti, parantaako arviointi julkaisujen laatua.⁸ Jos lopullinen teksti on parempi kuin alkuperäinen, ei aina voi erottaa arvioijan, toimittajan ja kirjoittajan ratkaisujen osuutta. Silti esimerkiksi Fletcher & Fletcher arvelevat, että arviointi (ehkä) ja toimittaminen (varmasti) tuottavat parempia tutkimusraportteja.⁹

Kritiikin laatiminen hyödyttää arvioijia, sillä käsikirjoituksia lukemalla he pysyvät uusimman tutkimuksen tasalla. Arvioiminen myös auttaa heitä kehittämään omia kirjoitus- ja arvioimistaitojaan sekä tieteellistä ajatteluaan. Toisten tekstien kommentoijaksi pääseminen imartelee, varsinkin jos aikakauslehti julkistaa arvioijien nimet. Lehden ilmainen vuosikerta voi myös olla mieluisa kiitos. Arvioimalla kollegojen töitä tieteentekijä voi maksaa omien tekstiensä kommentoinnin synnyttämää kiitollisuudenvelkaa.¹⁰ Järjestelmä hyödyttää myös lukijoita. Kun huonoja kirjoituksia ei julkaista, tutkijoiden kallista aikaa ei tuhlaannu niiden lukemiseen. Sitä paitsi on mukavampaa lukea hyvin kirjoitettua kuin tylsää tekstiä, vaikka faktat olisivat samat.¹¹

Kiintoisaa tietoa eri alojen kansainvälisten aikakausjulkaisujen artikkelien vertaisarvioinnista löytyy selvityksestä, jonka teetti vuonna 2007 Publishing Research Consortium¹². Tämä kustannusyhdistysten ja kustantamojen muodostama ryhmä pyrkii nimenomaan edistämään akateemista tiedonvälitystä koskevaa tutkimusta. Laaja selvitys perustuu kaikkiaan 3040 kirjoittajan, 2165 vertaisarvioijan ja 632 toimittajan vastauksiin.¹³ Waren laatiman raportin mukaan noin puolet (49 %) tieteellisille aikakauslehdille tarjotuista käsikirjoituksista hylätään. Toimittaja hylkää heti noin 20 % kirjoituksista, koska niiden taso on huono tai ne eivät kuulu julkaisun alaan. Arvioinnin jälkeen hylätään vielä 30 %. Vain 8 % kaikista artikkeleista hyväksytään sellaisinaan ja 41 % korjausten jälkeen. Humanistisilla ja yhteiskunnallisilla aloilla hylkäysosuus on suurempi kuin fysikaalisilla ja teknisillä aloilla.¹⁴ Esimerkiksi Historiallinen Aikakauskirja hyväksyy tuskin yhtään artikkelia sellaisenaan; noin kolmasosa tarjotuista kirjoituksista hylätään heti tai arvioinnin jälkeen.¹⁵ Yhdysvaltalaisen Gender & Societyn toimittajat puolestaan seulovat heti pois peräti puolet teksteistä, koska ne eivät sovellu tieteelliseen julkaisuun tai sisällöltään juuri kyseiseen lehteen.¹⁶

Hojat & al. toteavat, että American Psychological Associationiin kuuluvat 25 aikakauslehteä hyväksyvät keskimäärin 27 % ja JAMA vain 9 % tarjotuista teksteistä. Kaikki yhdysvaltalaiset lääketieteelliset julkaisut hyväksyvät 15–30 % niille lähetetyistä artikkeleista.¹⁷ Arvostetut, laaja-alaiset lehdet hyväksyvät korkeintaan 10–15 %, mutta eräät hyvin erikoistuneet julkaisut jopa 98 % kaikista tarjouksista.¹⁸ Nature, kansainvälinen viikoittain ilmestyvä tiedelehti hylkää käsikirjoituksista 60 % heti ja pyytää arviot 40 %:sta. Lopulta noin 7 % kirjoituksista painetaan.¹⁹ – On lohdullista tietää, että suuri osa kerran hylätyistä artikkeleista hyväksytään varsin pian johonkin toiseen julkaisuun.²⁰

Neljä arviointitapaa

Vertaisarviointeja tehdään neljällä tavalla. Yleisin on yksipuolinen sokkoarviointi (single-blind review), jossa arvioija saa tietää kirjoittajan nimen, mutta kirjoittajalle ei paljasteta arvioijaa. Menettelyä sanotaan myös suljetuksi arvioinniksi.²¹ Waren selvityksessä 72 % toimittajissa käytti sitä ja 85 %:lla kirjoittajista oli siitä kokemuksia.²²

Toinen arviointitapa on kaksoissokkoarvio (double-blind), jossa kumpikaan osapuoli ei saa tietää toisen identiteettiä. Salaamisen oletetaan ja väitetään mahdollistavan tekstien kommentoinnin puolueettomasti ja seurauksia pelkäämättä.²³ Waren mukaan kaksoissokkoarviointi on yleisin tapa humanistisilla ja yhteiskuntatieteellisillä aloilla, ja myös suomalaisissa julkaisuissa se on tavallinen. Kaikkien alojen toimittajista 22 % käytti täydellistä anonymiteettiä ja 45 % kirjoittajista odotti sitä.²⁴ Menetelmää on myös moitittu, koska nimettömyys jää usein teoreettiseksi; varsinkin erityisaloilla ja pienissä maissa osapuolet arvaavat toisensa ja ainakin arvioija tunnistaa tekijän viitteistä, sisällöstä tai tyylistä.²⁵

Waren mukaan yli puolet tutkijoista (56 %) piti kaksoissokkojärjestelmää parhaimpana, mutta neljännes (25 %) kannatti yksipuolista järjestelmää. Suuri enemmistö (71 %) piti täyttä anonymiteettiä toimivana, mutta vain noin puolet (52 %) katsoi yksipuolisen anonymiteetin tehokkaaksi.²⁶ Eräät muut tutkijat ovat todenneet, etteivät monet ole nähneet nimettömyyden vaikuttavan lainkaan, mutta toiset ovat olettaneet sen parantavan tutkimuksen laatua.²⁷

Kolmas, uudempi menetelmä on avoin vertaisarviointi (open peer review), jossa osapuolet saavat tietää toistensa henkilöllisyyden ja arvioijien nimet julkaistaan artikkelin yhteydessä. Waren mukaan vain 3 % toimittajista käytti tätä tapaa ja 23 % kirjoittajista oli kokenut sen. Avoimen arvioinnin kannattajat pitivät menetelmää reilumpana kuin muita ja katsoivat, ettei niin tärkeää asiaa kuin toisten töiden arviointia saisi tehdä salassa. He myös väittivät, että avoimet arvioinnit ovat vastuullisempia ja kohteliaampia.²⁸

Sähköinen julkaiseminen on mahdollistanut toisenkin avoimen menetelmän, julkaisemisen jälkeisen kritiikin (post-publication review), jossa kaikki lukijat saavat kommentoida artikkelia ja arvioida sitä numeroin. Tämä tapa on vielä harvinainen. Waren mukaan vain 1 % toimittajista ja 8 % kirjoittajista tunsi sen. Menetelmään voi kuulua myös tavallinen ennakkoarviointi. Laajaa arvioijajoukkoa ja prosessin vireyttä pidetään menetelmän etuna.²⁹ Esimerkiksi Nature-lehden vuonna 2006 tekemän kokeilun mukaan vain harvat arvioijat – varsinkaan tutkijat – esittivät painavia huomautuksia.³⁰ Toisaalta BMJ, joka alkoi kokeilla avointa arviointia vuonna 1999, on saanut hyviä kokemuksia: lukijat ovat reagoineet nopeasti ja vilkkaasti, ja monet artikkelit ovat saaneet satoja kommentteja.³¹

Ohjeita vertaisarvioijille

Arviointiohjeet vaihtelevat, ja useimmat lehdet esittelevät ne verkkosivuillaan. On julkaisuja, jotka pyytävät vain puolueetonta arviointia, ja on julkaisuja, jotka antavat yksityiskohtaiset ohjeet ja luettelon huomioitavista asioista. On sellaisiakin julkaisuja, joilla on vakiolomake, johon on merkittävä huomiot käsikirjoituksen sisällöstä, rakenteesta, lähteistä tai aineistosta, metodeista, teorioista, käsitteistä, perusteluista, omaperäisyydestä, merkityksestä, luotettavuudesta sekä kielestä ja tyylistä.³² Mitä tarkemmat ohjeet ovat, sitä huolellisempia ja perustellumpia kommentteja arvioijalta odotetaan.

Monet julkaisut vaativat aina myös mahdollisten sitoumusten ja eturistiriitojen (conflicts of interest) paljastamista.³³ Esimerkiksi Scandinavian Journal of History (SJH) pyytää sekä arvioijilta että toimittajilta ja kirjoittajilta tällaisen selvityksen. Haitallisia sitoumuksia tai ristiriitoja voivat aiheuttaa esim. asianosaisten henkilöiden alainen–esimies- tai oppilas–opettaja-suhde, sukulaisuus, poliittiset tai uskonnolliset yhteydet, kilpailuasetelma sekä taloudelliset kytkökset.³⁴

Arvion tekoon annettu aika vaihtelee parista viikosta muutamaan kuukauteen. Esim. Lähikuva ja Media & Viestintä antavat arvioijille kaksi viikkoa.³⁵ SJH ei määrittele päiviä tai viikkoja, vaan pyytää arvioimaan kirjoituksen “with reasonable speed and efficiency”.³⁶

Vallan väärinkäyttöä

Vertaisarviointi mahdollistaa tieteellisen auktoriteetin myönteisen tai kielteisen käytön. Arviointeja voivat kierouttaa niin arvioijan oma eettinen näkemys ja arviointitapa kuin julkaisun antamat ohjeet. Varsinkin yksipuolisen sokkoarvioinnin sanotaan salassapidon varjolla sallivan puolueellisuuden ja vastuuttomuuden.³⁷ Nimettömyyden takana arvioija voi hylätä käsikirjoituksia tieteen ulkopuolisin perustein ja kirjoittaa huolimattomia ja kielteisiä, jopa ilkeitä arvioita.³⁸ Puhe ja kieli antaa hyvän yleisohjeen: ”mitä ystävällisempi ja rakentavampi arviosi sävy on, sitä todennäköisempää on, että kirjoittajat hyväksyvät ohjeesi”.³⁹

Vaikka monet julkaisut kehottavat arvioimaan käsikirjoituksen sen tieteellisten ansioiden perusteella ja tuomitsevat kritiikin rodun/etnisyyden, kansallisuuden, sukupuolen, uskonnon, virkaiän tai työpaikan perusteella,⁴⁰ arvioijat voivat tieten tai tarkoittamattaan suosia tai syrjiä tietyn ryhmän jäseniä.⁴¹ Muitakin vinoumia esiintyy. Eräät arvioijat vastustavat kaikkea uutta ja epätavallista suositellen vain yleisesti hyväksyttyjen teorioiden mukaisia tekstejä. Toiset taas ehdottavat hylättäviksi artikkelit, joissa esitetään ”poliittisesti epäkorrekteja” tai kiistanalaisia aineistoja tai omien lujien uskomustensa vastaisia mielipiteitä. Joku suosittelee hylkäämistä, jos artikkelin ajatukset ovat hänen omiensa vastaisia tai kirjoittaja ei viittaa hänen julkaisuihinsa tai koska kirjoittaja edustaa “väärää” ideologiaa tai teoreettista suuntausta tai on arvioijan kilpailija. Yleisesti suositaan tutkimuksia, joiden tulokset ovat myönteisiä ja hylätään ne, joiden tulokset ovat kielteisiä.⁴²

Tiedetään, että arvioijat suosivat tunnettuja kirjoittajia ja arvostettujen laitosten väkeä riippumatta tekstien tieteellisistä ja teknisistä ansioista. Myös maantieteellisiä ja kielellisiä vääristymiä esiintyy. Sukupuolikin on kriittinen tekijä: useat tutkijat ovat havainneet niin miesten kuin naistenkin arvostavan enemmän miesten kirjoittamia artikkeleita.⁴³ Myös eturistiriidat saattavat aiheuttaa eettisiä ongelmia. Ne voivat vaikuttaa asiattomasti tutkijoiden rehellisyyteen ja puolueettomuuteen tai toimittajien ja arvioijien riippumattomuuteen. Siksi arvioijien tulisi tarvittaessa todeta itse jääviytensä ja kieltäytyä arvioinnista.⁴⁴

Vaikka arvioinnit oletetaan salaisiksi, eivät kaikki arvioijat noudata luottamuksellisuutta. Eräät ovat kertoneet kollegoilleen kirjoituksen sisällöstä ja ideoista ennen julkaisemista, ja jotkut ovat jopa plagioineet arvioimaansa artikkelia. Myös ajalla on keinoteltu. Arvioija voi viivytellä niin, että hän itse ehtii julkaista samantapaisen artikkelin aikaisemmin. Näin hän voi estää kirjoittajaa saamasta julkaisun tuottamaa meriittiä esimerkiksi apurahan tai viran haussa.⁴⁵ On selvää, että hylkääminen voi masentaa tekijää pahasti ja jopa haudata hyvän idean.

Arvioijat voivat siis käyttää valtaansa väärin monella tavalla ja vahingoittaa sekä tutkijoita että tiedettä alentavilla tai törkeillä kommenteillaan. Mutta he voivat myös kritikoida kollegojensa töitä rakentavasti. Halutessaan he voivat suosia ja rohkaista innovatiivisia, kiistanalaisia ja valtavirrasta poikkeavia ideoita.⁴⁶

Mitä tehdä?

Vertaisarvioinnin tulevaisuudesta on esitetty erilaisia oletuksia.⁴⁷ Vaikka eräät pitävät arvioinnin vaikutuksia epävarmoina, Fletcher & Fletcher uskovat, että se aiheuttaa enemmän hyvää kuin pahaa.⁴⁸ Kun vaihtoehtoja ei näytä olevan, on menettelyä koetettava parantaa järjestelmällisesti. Tavoitteiden määrittely olisi hyvä alku.⁴⁹ Parannuksiin uskovat ehdottavat subjektiivisuuden ja vinoumien minimoimiseksi vakiomenettelyä, jossa käytettäisiin standardoituja tarkistuslistoja ja arviointipöytäkirjaa sekä kaikkien osapuolten koulutusta.⁵⁰

Myös avoin keskustelu järjestelmästä ja sen vääristymistä voisi olla hyödyllistä, jotta tutkijat eivät unohtaisi, että arvioinnin tavoite on parantaa tarjottuja kirjoituksia, ei hylätä niitä.⁵¹ Koulutusta on myös ehdotettu opetusyritysten laihoista tuloksista huolimatta.⁵² Pitkäkään tiedeura ei näytä takaavan laadukkaita arvioita. Lääketieteellisten lehtien toimittajien mukaan alansa kuuluisimmat ja tunnustetuimmat tutkijat kirjoittavat usein huolimattomia ja pinnallisia arvioita.⁵³

Vertaisarvioinnit voivat epäilemättä vaikuttaa tulevan tutkimuksen luonteeseen ja suuntaan, sillä vaikkeivät arvioijat teekään käsikirjoitusten lopullisia julkaisemis- tai hylkäämispäätöksiä, aikakausjulkaisujen toimittajat nojautuvat paljolti asiantuntijoiden lausuntoihin. Kommentoijan valta on suurimmillaan, kun yksikään toimittaja ei tunne artikkelin alaa.⁵⁴ Arviointiohjeiden ei välttämättä tarvitse olla standardoituja, mutta niiden on oltava yksityiskohtaiset, jotta niiden mukaan annetut lausunnot olisivat asiallisia, puolueettomia ja kattavia. Niin kauan kuin jonkinlaista vertaisarviointijärjestelmää käytetään, arvioijien on tunnettava eettinen vastuunsa tieteelle, kollegoille ja lukijoille. Entistä avoimempaan arviointiin siirtyminen näyttääkin merkitsevän aikaisempaa vastuullisempaa kommentointia. Mutta käytetäänpä jompaakumpaa, suljettua tai avointa arviointimenetelmää, kannattaa aina noudattaa Marjukka Ollilaisen ohjetta: ”Kehuja ja rohkaisua saa jakaa runsaasti, silloin kun siihen on syytä.”⁵⁵

Lähteet

ALLARDT, ERIK (1998). "Utvärdering – en både inom- och utomvetenskaplig verksamhet." L. Åberg (toim.), Utvärdering – ett medel för att säkra eller utveckla kvalitet. Stockholm: Forskningsrådsnämnden, 24–25.

ALLARDT, ERIK (2002). "Tiedeyhteisö ja vallankäyttö." Sakari Karjalainen & Veikko Launis & Risto Pelkonen & Juhani Pietarinen (toim.), Tutkijan eettiset valinnat. Helsinki: Gaudeamus, 299–315.

BLACK, N.; VAN ROOYEN, S.; GOLDLEE, F.; SMITH, R.; EVANS, S. (1998). "What makes a good reviewer and a good review for a general medical journal?" Journal of American Medical Association 280, 231–3.

BMJ peer reviewers: resources (2009). http://resources.bmj.com/bmj/reviewers. [30.1.2011]

CLARKEBURN, HENRIIKKA & MUSTAJOKI, ARTO (2007). Tutkijan arkipäivän etiikka. Tampere: Vastapaino.

CONFLICT OF INTEREST IN PEER-REVIEWED MEDICAL JOURNALS (2009). Prepared by the WAME Editorial Policy and Publications Ethics Committees. Posted March 27, 2009. http://www.wame.org/conflict-of-interest-in-peer-reviewed-medical-journals. [2.7.2009]

DONOVAN, BERNARD (1998). "The truth about peer review." Learned Publishing 11, 179–184.

FLETCHER ROBERT H. & FLETCHER, SUSAN W. (2003). "The effectiveness of editorial peer review." Peer review in health sciences. F. Godlee & T. Jefferson (toim.). Second edition. London, BMJ Books, 62–75.

Guidance for peer reviewers – BMJ resources (2011). http://resources.bmj.com/bmj/reviewers/peer-reviewers-guidance. [30.1.2011]

Guidelines for Contributors (2005). Environmental History. Revised 07/ 2005. http://www.foresthistory.org/Publications/EH/ehguide.html. [27.7.2009]

"Guidelines on the Ethics of Journal Publishing." Taylor & Francis Journals: Ethics and Integrity. http://www.tandf.co.uk/journals/ethics.asp. [2.7.2009]

HOJAT, MOHAMMADREZA & GONNELLA, JOSEPH S. & CAELLEIGH, ADDEANE S. (2003). "Impartial Judgment by the “Gatekeepers” of Science: Fallibility and Accountability in the Peer Review Process." Advances in Health Sciences Education 8, 75–96.

HYNYNEN, MARKKU (2003). "Vertaisarviointi arvioitavana. Pääkirjoitus." FINNANEST 36 (2), 125–126. http://www.fimnet.fi/finnanest/lehdet/2003/no_2/p_hynynen.pdf. [9.7.2009]

ISOHANNI, MATTI & KOTIRANTA, HENNA & MIETTUNEN, JOUKO & NIEMINEN, PENTTI & TIENARI, PEKKA (2006). "Vertaisarviointi – Käyttökelpoinen laadun parantaja ja ylläpitäjä tieteellisessä tutkimuksessa." Duodecim 122, 8, 913–917.

JEFFERSON, TOM & ALDERSON, PHILIP & WAGER, ELIZABETH & DAVIDOFF, FRANK (2002a). "Effects of editorial peer review: a systematic review." Journal of the American Medical Association 287, 2784–2786.

JEFFERSON, TOM & WAGER, ELIZABETH & DAVIDOFF, FRANK (2002b). "Measuring the Quality of Editorial Peer Review." Journal of the American Medical Association 287, 2786–2790.

KORPIJAAKKO-HUUHKA, ANNA-MAIJA (2004). PUHE JA KIELI/TAL OCH SPRÅK – käsikirjoitusten arviointiohjeet. Muutettu viimeksi 17.8.2004, http://www.puhejakieli.fi/pk/refereeohjeet.html. [28.1.2011]

KOVANEN, PETRI & SAARELMA, OSMO (2002). "Tiedejulkaisun toimittajan moraalinen vastuu." Sakari Karjalainen & Veikko Launis & Risto Pelkonen & Juhani Pietarinen (toim.), Tutkijan eettiset valinnat. Helsinki: Gaudeamus, 276–298.

LOCK, STEPHEN (1994). "Does Editorial Peer Review Work?" Annals of Internal Medicine, 1 July, 121, 60–61. http://www.annals.org/cgi/content/full/121/1/60. [9.7.2009]

Nature editors/publishers. "Overview: Nature’s peer review trial." Nature (2006)| doi:10.1038/ nature05535. http://nature.com/nature/peerreview/debate/nature05535.html. [2.7.2009]

"Ohjeita refereelle." LÄHIKUVA: audiovisuaalisen kulttuurin tieteellinen aikakauslehti. http://lahikuva.org/ohjeita-refereelle. [30.1.2011]

"Ohjeet refereille" (2009). Media & viestintä. http://www.mediaviestinta.fi/refereille.html. [30.1.2011]

OLLILAINEN, MARJUKKA (2008). "Artikkeliksi arvioiminen." Tutkijan kirja. Kirsti Lempiäinen; Olli Löytty & Merja Kinnunen (toim.). Tampere: Vastapaino, 108–112.

"Puhe ja kieli: Artikkelin kirjoitusohjeet." Puhe ja kieli/Tal och språk. Muutettu viimeksi 22.2.2008. http://www.puhejakieli.fi/pk/artikkeli.html. [28.1.2011]

Pirjo Markkolan sähköposti Leena Rossille 31.8.2009.

RAIVIO, KARI (2004). "Tuhoaako impaktiluku vertaisarvioinnin?" Duodecim 120 (19):1195–1196.

RAIVIO, KARI (2006). "Vertaisarviointi tieteellisessä julkaisutoiminnassa." Tieteessä Tapahtuu 7, 15–19.

SAXÉN, LAURI (2002). "Tieteellinen julkaisu ja sen tekijät." Sakari Karjalainen & Veikko Launis & Risto Pelkonen & Juhani Pietarinen (toim.), Tutkijan eettiset valinnat. Helsinki: Gaudeamus, 263–275.

SMITH, RICHARD (1999). "Opening up BMJ peer review: A beginning that should lead to complete transparency." British Medical Journal January 2, 318 (7175), 4–5.

SMITH, RICHARD (2006). "Peer review: a flawed process at the heart of science and journals." Journal of the Royal Society of Medicine April, 99 (4), 178–182.

TEMPEST, DAVID (2008). "Reviewers may not always agree, but that’s not necessarily a bad thing..." http://www.elsevier.com/wps/find/reviewershome.reviewers/ [30.1.2011]

WARE, MARK (2008). Peer review: benefits, perceptions and alternatives. London: Publishing research consortium.

WARE, MARK & MONKMAN, MIKE (2008). Peer review in scholarly journals: Perspective of the scholarly community – an international study. Bristol: Mark Ware Consulting Ltd.

WILLIAMSON, ALEX (2003). "What will happen to peer review?" Learned Publishing 16, 15–20.

VAN ROOYEN, SUSAN (2001). "The evaluation of peer-review quality." Learned Publishing 14, 85–91.