Tiederahoitus ja radikaalin avoimuuden idea

Tiederahoituksen ongelmista on tällä kertaa kirjoitettu Tiede-lehden blogissa. Tuomas Aivelo kritisoi Helsingin yliopiston uutta life sciences -instituutin rahoitusmekanismia, joka ilmeisesti käyttää eksplisiittisesti julkaisufoorumin tasoluokittelua osana rahoituskriteerejään. Vaikka tasoluokittelussa puolestaan eksplisiittisesti sanotaan että näin ei tulisi toimia, niin tietysti toimitaan, koska julkaisutoimintaa halutaan mitata ja parempia mittareita ei juuri ole. Huolimatta siitä että kompleksisten tuotosten mittaaminen päätöksentekoa varten tyypillisesti huonontaa sitä minkä parantamiseen mittaamisella on pyritty, hallinnossa ei haluta mittaamisesta luopua. Selvää tietysti on, että kun jollakin perusteella päätökset pitää tehdä, ja kun suoraa korruptiota tai tieteellistä nepotismia ei (onneksi) haluta harrastaa, mutta toisaalta tasainen* tai satunnainen jakaminen tuntuu liian radikaalilta, niin määrällinen mittari antaa riittävän objektiivisuuden ja vastuullisuuden tunteen (siitä huolimatta että nykyinen järjestelmä on varsin tehotonta ja melko satunnaista).

Olen itse miettinyt asiaa viime syksyn rahoituspäätösten jälkeen. Vaikka tällä kertaa rahoitus sattui osumaan kohdalleni, aikaisemmin vastaavasta ilmoituksesta tuntemani ilo happani nopeasti kun katselin laskelmia (joita nyt tähän hätään en enää löytänyt), joiden mukaan rahoituksen hakuprosesseihin laitettiin selvästi enemmän työtä kuin paljonko sitä rahoitettiin (esim. EU-rahoitusta myönnetään tyyliin 2% hakijoista, ja suomalaisilla säätiöilläkin luku on monessa tapauksessa pudonnut alle 10%:n). Kokonaistuloksena siis itse tieteen tekemiseen laitettu työmäärä pieneni. (Todellisuudessa asia ei varmasti ole näin yksinkertaista, koska ainakin alkuvaiheen tutkijat luultavasti tekevät hakemuksia vapaa-ajallaan, jolloin aikaa otetaan tieteen sijaan harrasteista ja rentoutumisesta sekä lisäksi mm. perheiltä. Siitä, onko tämä sen tarkoituksenmukaisempaa, en ole juuri nähnyt keskustelua.) Arvonnan voittamisesta voi tietysti olla henkilökohtaisesti iloinen, mutta tieteentekijän on vaikea kannattaa järjestelmää jonka hyödyistä ei ole näyttöä ja haitasta on suuria epäilyksiä.

Yksi mahdollisuus tuli mieleen seurattuani psykologiassa vaikuttavaa replikaatiokriisiksi kutsuttua keskusteluaihetta. Aihetta tuntemattomille kerrottakoon, että vaikka yliopistoissa ja oppikirjoissa opetetaan tieteentekoa tietyllä tavalla, käytännössä se ei useinkaan toteudu: tilastomenetelmiä käytetään kyseenalaisin tavoin (koska julkaisupaine on kova ja julkaisun rajaksi on päässyt muodostumaan melko mielivaltainen tietyn tilastollisen suureen arvo, p < .05), toistokokeita eli replikaatioita ei juurikaan tehdä (koska sitä ei arvosteta samalla tavoin kuin uusia ja seksikkäitä tuloksia), ja tutkimusten laatu vaihtelee rajusti (koska oikeasti laadukas on hidasta, kallista ja vaikeaa, koska vähemmälläkin pärjää, ja koska kaikki muutkin tekevät huonoa ja ovat aina tehneet). Kun replikaatioita vihdoin suuressa skaalssa tehtiin, huomattiin että suuri osa vanhoista hyväksytyistä tuloksista ei toistunut. Kyse ei ole psykologian tutkijoiden epärehellisyydestä – samoja ongelmia on muuallakin, ja tutkijoiden kannustimet ovat pahasti pielessä. Tämä on oma aiheensa, mutta ideani siis oli, että miksi emme suoraan rahoituksessa kannustaisi hyviä tutkimuskäytäntöjä ja rankaisisi huonoista?

Nähdäkseni tieteen laadun parantaminen on huomattavasti relevantimpaa kuin impaktin tai jufo-luokitusten ognelmallisten meriittien palkitseminen. Ja siinä missä todellisen vaikuttavuuden arviointi on vaikeaa, ellei mahdotonta, hyvät tutkimuskäytännöt ovat helpommin määriteltävissä ja verifioitavissa. Vaikka replikaatiokriisistä on paljon keskustelua ja monet ovat sitä mieltä että mitään kriisiä ei olekaan, hekin yleensä myöntävät että paljon huonoa tutkimusta on, ja tiettyjä guidelineja seuraamalla tämä voitaisiin välttää. Tarkoitus olisi, että rahoitusjärjestelmä asettaisi tietyt vähimmäisvaatimukset tutkimuksen laadulle. Tämän lisäksi voisi sitten olla muita mittareita karsimaan hakijoita siinä vaiheessa kun hyvälaatuista tutkimusta on tarpeeksi.

Yksinkertaisuudessaan yksittäinen rahoittaja voisi ottaa suoraan käyttöön olemassaolevien käytäntöjen tutkimuksia (esim. Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies) ja arvioida hakijoita niiden perusteella. En kuitenkaan malttanut olla kuvittelematta millainen koko rahoitusjärjestelmä olisi jos se huomioisi tutkimuksen laadun, mistä syntyi allaoleva kuvitelma.

Idea on ajateltu kvantitatiivisen/kokeellisen psykologian rahoitukseen, mutta se sopisi joillekin muillekin aloille joita ainakin Suomessa rahoitetaan yksityisten säätiöiden ja Akatemian kaltaisten tahoilta. Idea on varsin utopistinen radikaalin avoimuuden maailmanlaajuinen mullistus, eikä ole tarkoitus että yksittäinen taho voisi ottaa sen sellaisenaan käyttöön; ennemminkin tämä on keskustelunavaus, voisiko jokin tällainen toimia jossain muodossaan, ja mitä siihen vaadittaisiin.

Q-FIRST (quality in fields reliant on statistical testing)

Ongelma on nähdäkseni pitkälti siinä, että huonot käytännöt ovat sosiaalisesti hyväksyttäviä, vaikka niitä teorian tasolla pidetäänkin huonoina. Ratkaisu on siis a) tehdä niistä eksplisiittisesti ei-hyväksyttäviä, ja samalla b) rohkaista siihen, että ihmiset tunnustavat omat huonot käytäntönsä ja siirtyvät hyviin käytäntöihin menettämättä kasvojaan.

Q-FIRSTissä:

• Rahoittaja esittää listan huonoista käytännöistä. Saadakseen rahoitusta tutkijan on rastittava listasta ne käytännöt joita itse on aiemmin käyttänyt. Jos huonoja käytäntöjä on käytetty (jonkun rajan mukaan) liikaa, rahoitus hylätään automaattisesti ELLEI tutkija tee julkista huonojen käytäntöjen raporttia. Jos tekee, näistä ei rangaista millään tavalla.
• Julkinen huonojen käytäntöjen raportti olisi jonkin virallisen tahon (esim. tutkimuseettisen neuvottelukunnan tapaisen kansainvälisen elimen?) keskitetyllä sivustolla julkaistava (tai ehkä hajautettu kirjanpito jonkun bitcoinin tapaan? en tunne näitä) rekisteri siitä, mitä huonoja käytäntöjä minkäkin aikaisemman julkaistun tutkimuksen kohdalla on käytetty. Tällä käytännöllä saataisiin arvokasta tietoa siitä, mitkä tulokset mahtavat olla luotettavia ja mitkä luultavasti eivät. Tässä tunnustetaan että kaikki (tai ainakin suuri osa) tutkijoista on käyttänyt joitain huonoja käytäntöjä, mutta nyt on aika muuttua. Rekisteröityminen järjestelmään pitäisi nähdä positiivisena käänteenä parempaan, ei negatiivisena menneen penkomisena. Tässä auttaa se, että rahoittajat auktoriteettitahona nimenomaan myöntävät rahoitusta virheensä myöntäjille, ei ne peittäville.
• (Joskus on tietysti niin että tietyn tutkimuksen kohdalla kaikkia ihanteita ei ole ollut mahdollista käyttää, joten rastin kohdalla on syytä olla mahdollisuus perustella valintansa. Näitä valintoja voi sitten muut käyttäjät äänestää uskottaviksi tai epäuskottaviksi.)
• Kustakin tekemästään raportista (joka ei ole saanut epäilyttävyysmerkintää) tutkija parantaa avoimuusindeksiään, joka on epäilyksettä raportoitujen suhteellinen osuus niistä julkaisuista joita hän käyttää CV:ssään (samalla saadaan virallinen lista julkaisuista, jolloin julkaisujaan ei voi myöskään valehdella). Avoimuusindeksiä rahoittajat käyttävät osakriteerinä rahoituksen myöntämisessä.
• Samalla tavoin kaikki artikkelien kirjoittajat sekä ketkä tahansa muut prosessissa mukana olleet voivat rekisteröityä järjestelmään ja täyttää saman huonojen käytäntöjen listan eri artikkelien kohdalla. On todennäköistä että jotkut valehtelevat (tai eivät halua myöntää tai tiedostamattaan eivät tajua tehneensä virheitä), mutta on paljon epätodennäköisempää että kaikki tutkimukseen osallistuneet tekisivät niin. Suurin osa ihmisistä kuitenkin haluaa tehdä oikein jos heillä on siihen mahdollisuus, ja jos heitä palkitaan siitä, tarpeeksi moni tekee sen varsin todennäköisesti, jolloin todellinen kuva paljastuu. Kun jonkin artikkelin kohdalla on toisistaan poikkeavia raportteja, se merkitään epäilyttäväksi, jolloin tiedeyhteisö voi ottaa selville mistä on kyse.
• (Tarvitaan myös jonkinlainen avoin sovittelujärjestelmä jota käytetään riitatilanteissa sekä silloin kun asia on selvitetty ja päätetään oliko huonojen käytäntöjen piilottelua vai ei. Tätä en ole miettinyt.)
• Artikkeleita itseään voi äänestää uskottaviksi tai epäuskottaviksi (ja tulokset esitetään ehkä alan tutkijoiden ja muiden alojen tutkijoiden äänten keskiarvoille erikseen), mikä antaa eksplisiittisen mittarin tiedeyhteisön hyväksynnälle.
• Metatieteen tutkijat voivat tehdä järjestelmään kaikkien nähtäville omia analyysejään sekä artikkelien tulosten että raporttien uskottavuuksista, epäilyttävistä piilotteluista kertovista yhteyksistä ja uskottavuusäänestyksien säännönmukaisuuksista. Näitä analyysejä metatieteen tutkijat voivat käyttää julkaisuina, joita äänestetään erikseen uskottaviksi tai epäuskottaviksi (mutta alaksi hyväksytään tutkittujen alojen tutkijat metatieteen lisäksi).

Ongelmia:

• radikaali ja massiivinen, koko maailman tiedeyhteisön pitäisi olla mukana – eli poliittisesti mahdoton.
• miten varmistetaan että asenteet järjestelmää kohtaan eivät pilaisi sen käyttöä? (järjestelmä romahtaa jos tarpeeksi moni ei käytä sitä kuten tarkoitettu – esim. jos raporttia omista huonoista käytännöistä pidetään negatiivisena)
• soveltuu vain huonon tutkimuksen karsimiseen: ei auta, jos päästäisiin siihen vaiheeseen että hyvää tutkimusta on niin paljon että kaikkea sitä ei voi rahoittaa.
• pääsevätkö tutkijat yhteisymmärrykseen hyvien/huonojen käytäntöjen listasta?
• onko eri aloille löydettävissä vastaavia listoja?

*) Suoraa tasaista jakoakin on jossain ehdotettu, mutta kiinnostava variaatio oli sellainen, jossa tasaisen jaon jälkeen tutkijat on velvoitettu antamaan osa saamastaan rahoituksesta muille tutkijoille oman arvionsa perusteella (ja intressiristiriitojen kontrolloinnin jälkeen).