Valittujen vs. ei-valittujen arvovertailua Ylen vaalikoneen perusteella

May 5, 2017 ~ randommonitor ~ 1 Comment

Edellisen postauksen jatkoksi halusin vielä katsoa kuntavaalikoneen vastauksia siitä näkökulmasta, eroavatko valituksi tulleet ehdokkaat valitsematta jääneistä ehdokkaista. (Muut osat: puoluevertailu, taustamuuttujien vertailu.)

Datasta piti lisäksi poistaa pienpuolueet, koska kuten alkuperäisessä kommentoin, yksittäisten henkilöiden vertailussa ei tällaisen aineiston pohjalta ole järkeä, ja pienpuolueilla tuli valituksi (alempi rivi) vain yksittäisiä henkilöitä:

valittu Fem Its KD  Kesk Kok  Lib muu Pir PS   RKP SDP  SKP Vas  Vihr
ei      35  28  741 2213 2300 42  319 103 1033 459 1878 109 1248 1375
kyllä   1   2   230 1697 1104 5   169 2   441  304 1059 1   435  502

(Huomaa että nämä numerot ovat vaalikoneeseen vastanneista, ei kaikista vaaleihin osallistuneista.*)

Jäljelle jäi siis vain kahdeksan eduskuntapuoluetta sekä “muut”, joka on – kuten yhdessä kommentissakin huomautettiin – hyvin sekalainen porukka äärikansallismielisistä eläinoikeuspuolueeseen ja kaikenlaisiin kuntakohtaisiin paikallislistoihin. Kokonaisuudessaan valittujen määrähän oli melko tarkalleen kolmannes.

Olen järjestänyt puolueet siten, että kaikkien puolueiden yhteenlaskettu osuus (KAIKKI) on ylimpänä, ja puolueet sen alla samanmielisyysjärjestyksessä. Valituksi tulleet ja valitsematta jääneet ovat alekkain, jotta niitä on helppo vertailla puolueittain.

Valitut edustavat puolueen ehdokkaita kokonaisuudessaan varsin hyvin, suuria eroja valittujen ja valitsematta jääneiden välillä ei ole oikeastaan minkään kysymyksen kohdalla. Joitain pieniä kiinnostavia eroja (luokkaa alle 10 %-yksikköä) tiettyjen puolueiden kohdalla kuitenkin on.

plot_Ennen_(ei)valitut

“Ennen ei ollut paremmin” -kysymyksen kohdalla selkein ero on muiden puolueiden ryhmässä, jossa valituksi tulleet ovat vähän enemmän ja selvästi vahvemmin eri mieltä kuin valitsematta jääneet. Voidaan siis sanoa että muut-ryhmässä vanhoihin aikoihin kaipaavat konservatiivit ovat menestyneet hieman paremmin.

Kiinnostavasti Vihreissä järjestys on sama: valitut ovat olleet vähän vähemmän liberaalimpia kuin valitsematta jääneet (ero 7 %-yks). Perussuomalaisissa taas järjestys on päinvastainen, kun valituksi tulleet ovat olleet vähän vähemmän konservatiivisia (4 %-yks erolla) kuin valitsematta jääneet. Kun puolueet kokonaisuudessaan ovat koko joukon ylin ja alin, voidaanko tulkita että molemmat laitimmaiset puolueet houkuttelevat ehdokkaikseen myös hieman äärimmäisempiä näkemyksiä, mutta ne eivät menesty aivan niin hyvin kuin maltillisemmat?

—

plot_Lasten_(ei)valitut

Lähinnä konservatiivisuuteen liittyvä sovinnaisuus käyttäytyy jossain määrin samansuuntaisesti kuin edellinen kysymys (ylimpänä ja alimpana olevilla valitut näyttäisivät olevan maltillisempia kuin valitsematta jääneet), mutta erot ovat enimmäkseen mitättömiä – paitsi Perussuomalaisissa, joissa valituksi tulleet ovat lähes 9 %-yksikön verran vähemmän sovinnaisia. Sen sijaan keskellä sijaitsevissa RKP:ssä (6 %-yks) ja Kokoomuksessa (alle 4 %-yks) valitut ovat hieman enemmän sovinnaisia.

—

plot_Johtaj_(ei)valitut

Johtajuuskysymyksessä selvin ero on taas Perussuomalaisissa, mutta eri suuntaan kuin edellisissä kysymyksessä: valitut ovat (n. 8 %-yksikköä) enemmän vahvan johtajuuden kannalla verrattuna valitsematta jääneisiin. Myös demareissa ja vihreissä valitut kannattavat vahvaa johtajuutta enemmän, mutta ero on 4 %-yksikön tienoilla.

—

plot_TasArv_(ei)valitut

Huomattavin ero tasa-arvokysymyksen suhteen on Kristillisdemokraateilla, joista valituksi tulleet ovat selvästi useammin (41 % vs 27.1 %) täysin samaa mieltä siitä että enempi tasa-arvo vähentäisi ongelmia. Toinen ero on (taas) Perussuomalaisissa, missä valitsematta jääneissä eri mieltä olevien osuus on lähes 8 %-yksikköä suurempi – eli valitut ovat enemmän tasa-arvon kannalla, minkä voi katsoa olevan linjassa ylempänä tehdyn tulkinnan maltillisten suuremmasta menestyksestä. Kokoomuksen sisällä järjestys on päinvastainen (mutta pienempi, vain n. 4 %-yks): valitut ovat useammin eri mieltä tasa-arvon ongelmia vähentävästä vaikutuksesta.

—

plot_Kilpail_(ei)valitut

“Resurssi- ja valtakilpailu” -kysymyksessä suurin ero ei ole Perussuomalaisten sisällä (missä valitut ovat n. 5 %-yksikköä maltillisempia) vaan RKP:n, missä valitut näkevät elämän selvästi harvemmin (yli 8 %-yks) taistelua vaativana kilpailuna kuin valitsematta jääneet. RKP:n ero on siitä kiinnostava, että kysymys oli enemmän yhteydessä konservatiivisuuteen (vaikka toki siihenkin melko heikosti).

—

plot_YhtMahd_(ei)valitut

Myös “Yhtäläiset mahdollisuudet” -kysymyksessä suurin ero on RKP:n sisällä: valitut ovat enemmän (6 %-yks) sitä mieltä että yhtäläiset mahdollisuudet ovat jo todellisuutta (mikä on yhteydessä sekä teoreettisesti että empiirisesti oikeistolaisuuteen ja hyväosaisuuteen). Muut erot ovat KD:n, PS:n ja SDP:n sisällä (kussakin n. 4 %-yks), joista Perussuomalaisissa valitut ovat vähemmän positiivisia yhtäläisten mahdollisuuksien suhteen, mutta KD:ssa ja SDP:ssä enemmän.

—

Kaiken kaikkiaan lähes kaikissa kysymyksissä suurimmat erot valittujen ja valitsematta jääneiden välillä olivat PS:ssä, joka ainoana vaalitappion kärsineenä hallituspuolueena ja puheenjohtajavaihdossa suuntaansa etsivänä protestipuolueena on luultavasti jakanut eniten mielipiteitä puolueen kannattajien keskuudessa. Perussuomalaisista valitut ovat valitsematta jääneitä maltillisempia sekä menneiden haikailussa, sovinnaisuudessa, tasa-arvon vastustamisessa että elämän näkemisessä perimmiltään kilpailuna, mutta äärimmäisempiä johtajuuskysymyksessä. Näiden vertailujen perusteella voisi spekuloida, että (kuntatasolla) nimenomaan äärimmäisemmät ovat pettyneet puolueeseen enemmän mikä on jättänyt asenteiltaan maltillisemmille paremmat menestymisen mahdollisuudet. Johtajuuskysymys on tässä yhtälössä kuitenkin omituinen poikkeus – miksi muuten maltillisemmat ovat selvästi enemmän vahvan johtajuuden kannalla?

Muita eroja löytyi lähinnä RKP:ssa, ja jossain määrin KD:ssa ja Vihreissä. PS ja RKP ovat tietysti siitä kiinnostava yhteensattuma, että ne ovat myös puolueet jotka erosivat edellisessä vertailussani konservatiivisuusarvioissa eniten suhteessa vuoden 2015 aineistooni.

Aineistot ja huomautus

Ylen data (sama kuin edellisessä postauksessa), päivätty 11.4., ilmeisesti ei sisällä tarkastuslaskennan aiheuttamia muutoksia. Aineisto ei siis täysin vastaa lopullista tulosta, mutta nämä pienet muutokset eivät liene tämän tarkastelun kannalta merkittäviä.

R-skripti.

*) Ihmettelin hetken miten Liberaalipuolueen viidestä valitusta en ole huomannut mitään uutisia, kun se näyttäisi olevan selvästi enemmän kuin muista pienpuolueista, mutta puolueen oman tiedotteen mukaan neljä näistä on Parikkalassa listalta läpi menneitä sitoutumattomia ehdokkaita.

Kuntavaalikoneiden (Yle & HS) arvokysymysten vertailua

May 5, 2017 ~ randommonitor ~ 2 Comments

Yhden deadlinen mentyä oli aikaa viimein katsoa vaalikonedataa vielä hieman. Alkuperäisessä puoluevertailussa käytin Ylen vaalikoneeseen yhteistyössä kehittämiäni arvokysymyksiä. Helsingin Sanomien vaalikoneessa oli poliittiseen suuntautumiseen liittyviä kysymyksiä, jotka on kehitetty yhteistyössä Helsingin yliopiston tutkijoiden Tuomas Ylä-Anttilan ja Teemu Kemppaisen kanssa. Ilmeisesti alkuperäinen lähde on World Values Survey, josta on otettu neljä kysymystä oikeisto-vasemmisto -suuntautumiseen ja toiset neljä (arvo)konservatiivi-liberaali -suuntautumiseen* (sekä kaksi vihreyden, mutta tässä en ole kiinnostunut niistä). Koska vastaajajoukot ovat osittain samat, on tietysti kiinnostavaa nähdä kuinka arvokysymykseni ovat yhteydessä näihin poliittisen suuntautumisen mittareihin.

HS:n arvokysymykset

HS:n kysymyksiä on viimeksi käytetty lehden arvokoneessa, ja ne ovat:

Konservatiivi-liberaali:

Homo- ja lesbopareilla pitää olla samat avioliitto- ja adoptio-oikeudet kuin heteropareilla.

Jos valtio tarjoaa turvapaikanhakijoiden vastaanottokeskuksen perustamista kotikuntaani, tarjous pitää hyväksyä.

Kouluissa kohdellaan koululaisia liian lepsusti. Tiukempi kuri tekisi kouluista parempia.

Perinteiset arvot – kuten koti, uskonto ja isänmaa – muodostavat hyvän arvopohjan politiikalle.

Oikeisto-vasemmisto:

Julkisia palveluita tulisi ulkoistaa entistä enemmän yksityisten yritysten tuotettavaksi.

Jos tulee eteen tilanne, jossa on välttämätöntä joko leikata julkisia palveluita ja sosiaalietuuksia tai korottaa veroja, veronkorotukset ovat parempi vaihtoehto.

Suuret tuloerot ovat hyväksyttäviä, jotta erot ihmisten lahjakkuudessa ja ahkeruudessa voidaan palkita.

Nykyisen kaltaiset palvelut ja sosiaalietuudet ovat pitemmän päälle liian raskaita julkiselle taloudelle.

HS:n datassa puolueiden ehdokkaiden keskiarvot **:

puolue   kons   sd               puolue   oik   sd
Fem      1.20   0.29             Fem      1.26  0.35
Vihr     1.84   0.61             Vas      1.46  0.48
Pir      1.86   0.72             SDP      1.96  0.60
Vas      1.97   0.82             muu      1.99  0.97
Lib      2.20   0.65             Vihr     2.15  0.66
RKP      2.25   0.74             Pir      2.50  0.94
muu      2.49   1.15             KD       2.67  0.75
SDP      2.50   0.83             PS       2.83  0.87
Kok      3.04   0.76             RKP      2.84  0.82
Kesk     3.12   0.77             Kesk     2.89  0.70
KD       3.78   0.56             Kok      3.67  0.74
PS       4.15   0.64             Lib      4.19  0.68

Keskiarvot vastaavat suunnilleen yleisiä käsityksiä puolueiden orientaatioeroista.

Vertailu vuoden 2015 dataan

Eduskuntapuolueiden osalta minulla on tarkempaa dataa eduskuntavaalien 2015 alla kerätystä otokseltaan väestöä edustavasta kyselystäni. Kun siis vertaillaan tuolta äänestäjäjoukolta eksplisiittisesti kysyttyä itseidentifioitumista (“mihin kohtaan sijoittaisit itsesi vas-oik / kons-lib -ulottuuvuudella”***) HS:n vaalikonedatan ehdokkaiden yllä esitettyjen kysymysten perusteella arvioituun poliittiseen orientaatioon, yhteneväisyys on konservatiivisuus-liberaalisuus -akselilla suorastaan hämmästyttävän korkea: plotHS_MF

Ainoastaan PS, ja hieman vähäisemmässä määrin RKP, eroavat tällä akselilla näiden kahden aineiston osalta. Vasemmisto-oikeisto -akselilla eroavaisuudet ovat vähän suuremmat, mutta niissäkin kaikissa toki samansuuntaiset. (Onko kyse ehdokkaiden ja äänestäjien välisestä erosta, vai onko poliittinen tilanne muuttunut kahdessa vuodessa lähinnä vas-oik -akselilla enemmän vasemmistolaiseksi, ja PS:stä tullut kahdessa vuodessa konservatiivisempi ja RKP:stä liberaalimpi?) Voidaan siis tältä osin todeta, että (vuoden 2015) äänestäjien itseidentifioituminen on varsin lähellä nyt kuntavaaleissa HS:n käyttämien WVS-kysymyksien pohjalta tehtyä orientaatioarviota.

Vuoden 2015 dataan liittyy olennaisesti myös Moral Foundations -kysely, joka arvioi sitä mihin asioihin (tarkempaa infoa silloisesta postauksestani) ihmisten moraalikäsitykset – tai tässä tapauksessa puolueiden kannattajien moraalikäsitykset keskimäärin – perustuvat. Tänä vuonna julkaistavassa tutkimuksessani (ei vielä saatavilla, koska tyhmästi valitsin lehden jonka open access -käytännöt on kehnoja) esitetään havainto, että näistä vahingon välttäminen (harm) ja reiluus (fairness) yhdistyy usein vas-oik -akseliin ja lojaalisuus, auktoriteettiin luottaminen sekä puhtaus (loyalty, authority, purity) yhdistyvät konservatiivisuuteen. Kun HS-orientaatioarvioita vertaa näihin, moraaliperustat ovat lähes yhtä lähellä näitä oletettuja yhteyksiä kuin 2015-itseidentifioitumisia. (Paitsi että kiinnostavasti ja aikaisempien löytöjen mukaisesti harm-fairness on orientaatioarvioita matalammalla vasemmistolaisempien puolueiden kohdalla, mutta korkeammalla oikeistolaisempien kohdalla. Tämä liittyy siihen, että nämä moraaliperustat ovat yhteydessä myös konservatiivisuuteen, vaikka heikommin kuin vasemmistolaisuuteen.) Merkittävä ero on lähinnä Perussuomalaisten konservatiivisuuden ja purityn välillä, mikä viitannee siihen että PS:n konservatiivisuus ei ensisijaisesti ole uskonnollista.

plotHS_MF

Ylen arvokysymykset ja HS:n orientaatioarviot****

Haluan siis tietää kuinka kukin kuudesta arvokysymyksestä suhtautuu kons-lib ja vas-oik -mittareihin. Arvokysymyksien ja orientaatioarvioiden yhteyttä voi tarkastella järjestyskorrelaatiolla*****. Valitettavasti en tunne suositeltuja visualisointimenetelmiä järjestyskorrelaatiolle, joten nämä ovat vain rumasti numeroina (eikä cor.test edes anna taulle luottamusväliä). Taulukossa on Kendallin tau konservatiivisuudelle ja oikeistolaisuudelle jokaista arvokysymystä kohden, sekä vieressä käytännön tulkinta: prosenttiosuus vastauksista joissa (arvokysymyksen ja orientaatiomittarin välillä) on positiivinen yhteys (kumpikin korkeita tai matalia). Ylellä olleiden arvokysymystenhän ei ollut kaikkien tarkoituskaan olla suoraan orientaation mittareita, mutta sanamuodon perusteella ennakoitujen yhteyksien suunta on merkitty kunkin kysymyksen jälkeen (+) tai (-).

arvokys	tau_kons	pros_kons	tau_oik	pros_oik
Ennen (-)	-0.26	0.37	0.022	0.51
Johtajuus (+)	0.337	0.67	0.285	0.64
Lasten (-)	-0.265	0.37	-0.101	0.45
Kilpailu (+)	0.257	0.63	0.144	0.57
Tasa-arvo (-)	-0.355	0.32	-0.389	0.31
Yhtäläiset mahd (+)	0.195	0.6	0.392	0.7

“Ennen ei ollut paremmin” -kysymys, joka selvimmin haki juurikin tietynlaista konservatiivisuutta, korreloi negatiivisesti konservatiivisuuden orientaatioarvion kanssa, ja käytännössä ei lainkaan oikeistolaisuuden arvion kanssa. Pidän tätä melko onnistuneena, vaikka -.26 korrelaatio ei ole kovin korkea (Kendallin tau antaa yleensä matalampia arvoja kuin Pearson tai Spearman). “Lasten ominaisuudet” -kysymys liittyi samaten konservatiivisuuden tiettyyn tyyppiin, sovinnaisuuteen, mutta sen yhteys konservatiivisuusarvioon on heikko – heikompi kuin monilla muilla joiden ei ollut teoreettisesti tarkoitus suoraan konservatiivisuuteen liittyä. Lisäksi teoreettisesti kysymys “Pohjimmiltaan elämässä vallitsee kilpailu”, jonka teoreettinen yhteys kilpailuhenkisyyteen ja sitä kautta tiettyyn oikeistolaisuuden alalajiin on melko hyvin pohjustettu, oli vahvemmin yhteydessä konservatiivisuuteen kuin oikeistolaisuuteen, eikä kumpaankaan kovin vahvasti.

“Suomessa kaikilla on yhtäläiset mahdollisuudet” -kysymys, joka teoreettisesti liittyy lähinnä hyväosaisuuteen ja haluttomuuteen muuttaa järjestelmää, on ennakoidusti eniten yhteydessä oikeistolaisuuden arvioon, mutta myös jonkin verran konservatiivisuuden.

“Tarvitsemme vahvaa johtajuutta” oli tarkoitettu tietynlaisen populistisen kompromissivastaisuuden tavoittamiseen. Se liittyy Yhdysvalloissa erityisesti trumpilaiseen tai alt-right -konservatiivisuuteen, mutta kuten alkuperäisessä postauksessani mainitsin, sikäläisessä poliittisessa kulttuurissa käyttämämme kaksi akselia sekoittuvat paljon enemmän kuin meillä. Vaalikoneaineistoissa kysymyksellä oli aika lailla samankokoinen yhteys sekä konservatiivisuuteen että oikeistolaisuuteen. (Aiemmin on myös havaittu, että moraaliperustoista oikeistolaisuus on Ruotsissa varsin vahvasti yhteydessä luottamukseen auktoriteetteihin, joka puolestaan on konseptuaalisesti lähellä vahvan johtajuuden kaipuun takana olevaa autoritaarisuutta.)

“Tasa-arvo vähentäisi ongelmia” -kysymyksestä ehdokkaat olivat lähes yksimielisesti samaa mieltä, mutta yhteydet orientaatioarvioihin ovat silti verrattain suuret: alkuperäisessä kaaviossa näkyvät suhteelliset erot puolueiden välillä lienevät myös tässä esillä. Mielipidettä, että tasa-arvo on mennyt jo liian pitkälle, ei kuitenkaan näköjään voi (ainakaan näillä orientaation mittareilla) palauttaa kumpaankaan poliittiseen ulottuvuuteen suoraan, vaan se liittyy sekä oikeistolaisuuteen että konservatiivisuuteen – liittyy ehkä kysymyksen epämääräiseen muotoiluun, jolloin erilaisten tasa-arvon muotojen vastustajat voivat molemmat vastata kysymykseen samoin. Teoreettisestihan kysymys on yhteydessä enemmän kovaan oikeistolaisuuteen, mutta tässä saattaa taas olla yhdysvaltalainen bias.

Yhteenveto

Tämän vertailun perusteella voidaan todeta, että A) suoraan WVS:stä otetut kysymykset näyttävät melko hyviltä poliittisen orientaation mittareilta, mutta että B) Ylen vaalikoneessa olleet arvokysymykseni eivät palaudu poliittisiin orientaatioihin (vaikka niillä näihin selviä yhteyksiä onkin). Lisäksi vertailussa selviää, että C) alkuperäisessä graafisessa vertailussa tekemäni havainnot ristiriidoista teoreettisten yhteyksien kanssa näyttävät yhteneväisiltä HS:n vaalikoneen poliittisen orientaation arvioiden kanssa.

Tiedostot ja huomautuksia

Ylen data, päivätty 11.4., ilmeisesti ei sisällä tarkastuslaskennan aiheuttamia muutoksia. Aineisto ei siis täysin vastaa lopullista tulosta, mutta nämä pienet muutokset eivät liene tämän tarkastelun kannalta merkittäviä.

HS-data.

R-skripti.

*) En tiedä miten kysymykset on WVS:ään laadittu, mutta kysymysten sanamuotojen perusteella näyttäisi siltä, että kysymykset vastaavat empiiristä erottelua ihmisten välillä joita yleisesti kutsutaan näillä nimityksillä – erotuksena filosofisesta erottelusta, jossa pyritään esim. liberaalisuuden määrittelemiseen koherentisti periaatteista käsin.

**) Joukossa ei ole itsenäisyyspuoluetta, josta vain muutama oli vastannut HS:n vaalikoneeseen, eikä SKP:tä, kun HS-data tunnisti vain Kommunistisen Työväenpuolueen, jonka kai pitäisi olla eri puolue kuin SKP. Don’t know what’s up with that.

***) Data on muunnettu samaan skaalaan sopivaksi, alun perin 1-11.

****) Lähtiessäni yhdistämään Ylen ja HS:n datoja, yllätyin siitä kuinka vähän ehdokkaat ovat vastanneet molempiin vaalikoneisiin – odotin täydellisempää päällekkäisyyttä, koska onhan kuitenkin ehdokkaan etu löytyä ainakin näistä kahdesta suurimmasta vaalikoneesta. Ylen vaalikoneessa on (arvokysymyksiin) vastanneita ehdokkaita selvästi enemmän kuin HS:lla (17 835 vs 11 871), ja yhteensä molempiin vastanneita on vain 6711. Jos tässä on tapahtunut jotain valikoitumista niin se on tietysti ongelma tulosten tulkinnalle, mutta en nyt suoraan keksinyt mitä se voisi olla tai onko tällä väliä. Tämä kun vaihtelee myös puolueiden välillä niin mietin että onko tässä joku puoluebias, tyyliin oikeistolaisemmat käyttää mieluummin yksityistä, mutta pikaisen taulukoinnin jälkeen ei erityisesti näytä siltä:

puolue	kokonaismäärä	vainHS	vainYle	molemmat	vainHS %	vainYle %	molemmat %
Fem	49	13	11	25	26.5	22.4	51
Vas	2252	543	1045	664	24.1	46.4	29.5
SDP	3969	975	1947	1047	24.6	49.1	26.4
muu	673	180	401	92	26.7	59.6	13.7
Vihr	2734	800	822	1112	29.3	30.1	40.7
Pir	149	43	47	59	28.9	31.5	39.6
KD	1228	242	673	313	19.7	54.8	25.5
PS	2066	570	923	573	27.6	44.7	27.7
RKP	882	105	554	223	11.9	62.8	25.3
Kesk	4857	908	2890	1059	18.7	59.5	21.8
Kok	4587	1116	1956	1515	24.3	42.6	33
Lib	63	14	20	29	22.2	31.7	46

Näyttää lähinnä, että pienemmät puolueet sekä vihreät (ehkä nuoremmat ehdokkaat?) ovat vastanneet molempiin ahkerammin kuin loput, mutta koska enimmäkseen analyyseissä käytän eduskuntapuolueita, oletan että tällä ei ole väliä.

*****) Tavallista Pearsonin korrelaatiota ei suositella, kun arvokysymyksissä on vain 4 tasoa. Jossain luki peukalosääntönä että järjestysasteikollisia voi käsitellä jatkuvana jos diskreettejä pisteitä on vähintään 11. Kendallia suositumpi on Spearman, mutta useimmat lähteet ovat sitä mieltä että Kendall on lähes kaikissa tapauksissa parempi – Spearman lie käytössä lähinnä historiallisista syistä (tätä kun on perinteisesti käytetty), ja alun perin lie valittu siksi että se on helpompi laskea kuin Kendall. Taulla on kuitenkin vielä sellainen hieno ominaisuus, että sen voi tulkita suoraan prosenttiosuutena niistä pareista, joissa korrelaatio on positiivinen.

Tiederahoitus ja radikaalin avoimuuden idea

April 13, 2017 ~ randommonitor ~ Leave a comment

Tiederahoituksen ongelmista on tällä kertaa kirjoitettu Tiede-lehden blogissa. Tuomas Aivelo kritisoi Helsingin yliopiston uutta life sciences -instituutin rahoitusmekanismia, joka ilmeisesti käyttää eksplisiittisesti julkaisufoorumin tasoluokittelua osana rahoituskriteerejään. Vaikka tasoluokittelussa puolestaan eksplisiittisesti sanotaan että näin ei tulisi toimia, niin tietysti toimitaan, koska julkaisutoimintaa halutaan mitata ja parempia mittareita ei juuri ole. Huolimatta siitä että kompleksisten tuotosten mittaaminen päätöksentekoa varten tyypillisesti huonontaa sitä minkä parantamiseen mittaamisella on pyritty, hallinnossa ei haluta mittaamisesta luopua. Selvää tietysti on, että kun jollakin perusteella päätökset pitää tehdä, ja kun suoraa korruptiota tai tieteellistä nepotismia ei (onneksi) haluta harrastaa, mutta toisaalta tasainen* tai satunnainen jakaminen tuntuu liian radikaalilta, niin määrällinen mittari antaa riittävän objektiivisuuden ja vastuullisuuden tunteen (siitä huolimatta että nykyinen järjestelmä on varsin tehotonta ja melko satunnaista).

Olen itse miettinyt asiaa viime syksyn rahoituspäätösten jälkeen. Vaikka tällä kertaa rahoitus sattui osumaan kohdalleni, aikaisemmin vastaavasta ilmoituksesta tuntemani ilo happani nopeasti kun katselin laskelmia (joita nyt tähän hätään en enää löytänyt), joiden mukaan rahoituksen hakuprosesseihin laitettiin selvästi enemmän työtä kuin paljonko sitä rahoitettiin (esim. EU-rahoitusta myönnetään tyyliin 2% hakijoista, ja suomalaisilla säätiöilläkin luku on monessa tapauksessa pudonnut alle 10%:n). Kokonaistuloksena siis itse tieteen tekemiseen laitettu työmäärä pieneni. (Todellisuudessa asia ei varmasti ole näin yksinkertaista, koska ainakin alkuvaiheen tutkijat luultavasti tekevät hakemuksia vapaa-ajallaan, jolloin aikaa otetaan tieteen sijaan harrasteista ja rentoutumisesta sekä lisäksi mm. perheiltä. Siitä, onko tämä sen tarkoituksenmukaisempaa, en ole juuri nähnyt keskustelua.) Arvonnan voittamisesta voi tietysti olla henkilökohtaisesti iloinen, mutta tieteentekijän on vaikea kannattaa järjestelmää jonka hyödyistä ei ole näyttöä ja haitasta on suuria epäilyksiä.

Yksi mahdollisuus tuli mieleen seurattuani psykologiassa vaikuttavaa replikaatiokriisiksi kutsuttua keskusteluaihetta. Aihetta tuntemattomille kerrottakoon, että vaikka yliopistoissa ja oppikirjoissa opetetaan tieteentekoa tietyllä tavalla, käytännössä se ei useinkaan toteudu: tilastomenetelmiä käytetään kyseenalaisin tavoin (koska julkaisupaine on kova ja julkaisun rajaksi on päässyt muodostumaan melko mielivaltainen tietyn tilastollisen suureen arvo, p < .05), toistokokeita eli replikaatioita ei juurikaan tehdä (koska sitä ei arvosteta samalla tavoin kuin uusia ja seksikkäitä tuloksia), ja tutkimusten laatu vaihtelee rajusti (koska oikeasti laadukas on hidasta, kallista ja vaikeaa, koska vähemmälläkin pärjää, ja koska kaikki muutkin tekevät huonoa ja ovat aina tehneet). Kun replikaatioita vihdoin suuressa skaalssa tehtiin, huomattiin että suuri osa vanhoista hyväksytyistä tuloksista ei toistunut. Kyse ei ole psykologian tutkijoiden epärehellisyydestä – samoja ongelmia on muuallakin, ja tutkijoiden kannustimet ovat pahasti pielessä. Tämä on oma aiheensa, mutta ideani siis oli, että miksi emme suoraan rahoituksessa kannustaisi hyviä tutkimuskäytäntöjä ja rankaisisi huonoista?

Nähdäkseni tieteen laadun parantaminen on huomattavasti relevantimpaa kuin impaktin tai jufo-luokitusten ognelmallisten meriittien palkitseminen. Ja siinä missä todellisen vaikuttavuuden arviointi on vaikeaa, ellei mahdotonta, hyvät tutkimuskäytännöt ovat helpommin määriteltävissä ja verifioitavissa. Vaikka replikaatiokriisistä on paljon keskustelua ja monet ovat sitä mieltä että mitään kriisiä ei olekaan, hekin yleensä myöntävät että paljon huonoa tutkimusta on, ja tiettyjä guidelineja seuraamalla tämä voitaisiin välttää. Tarkoitus olisi, että rahoitusjärjestelmä asettaisi tietyt vähimmäisvaatimukset tutkimuksen laadulle. Tämän lisäksi voisi sitten olla muita mittareita karsimaan hakijoita siinä vaiheessa kun hyvälaatuista tutkimusta on tarpeeksi.

Yksinkertaisuudessaan yksittäinen rahoittaja voisi ottaa suoraan käyttöön olemassaolevien käytäntöjen tutkimuksia (esim. Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies) ja arvioida hakijoita niiden perusteella. En kuitenkaan malttanut olla kuvittelematta millainen koko rahoitusjärjestelmä olisi jos se huomioisi tutkimuksen laadun, mistä syntyi allaoleva kuvitelma.

Idea on ajateltu kvantitatiivisen/kokeellisen psykologian rahoitukseen, mutta se sopisi joillekin muillekin aloille joita ainakin Suomessa rahoitetaan yksityisten säätiöiden ja Akatemian kaltaisten tahoilta. Idea on varsin utopistinen radikaalin avoimuuden maailmanlaajuinen mullistus, eikä ole tarkoitus että yksittäinen taho voisi ottaa sen sellaisenaan käyttöön; ennemminkin tämä on keskustelunavaus, voisiko jokin tällainen toimia jossain muodossaan, ja mitä siihen vaadittaisiin.

Q-FIRST (quality in fields reliant on statistical testing)

Ongelma on nähdäkseni pitkälti siinä, että huonot käytännöt ovat sosiaalisesti hyväksyttäviä, vaikka niitä teorian tasolla pidetäänkin huonoina. Ratkaisu on siis a) tehdä niistä eksplisiittisesti ei-hyväksyttäviä, ja samalla b) rohkaista siihen, että ihmiset tunnustavat omat huonot käytäntönsä ja siirtyvät hyviin käytäntöihin menettämättä kasvojaan.

Q-FIRSTissä:

Rahoittaja esittää listan huonoista käytännöistä. Saadakseen rahoitusta tutkijan on rastittava listasta ne käytännöt joita itse on aiemmin käyttänyt. Jos huonoja käytäntöjä on käytetty (jonkun rajan mukaan) liikaa, rahoitus hylätään automaattisesti ELLEI tutkija tee julkista huonojen käytäntöjen raporttia. Jos tekee, näistä ei rangaista millään tavalla.
Julkinen huonojen käytäntöjen raportti olisi jonkin virallisen tahon (esim. tutkimuseettisen neuvottelukunnan tapaisen kansainvälisen elimen?) keskitetyllä sivustolla julkaistava (tai ehkä hajautettu kirjanpito jonkun bitcoinin tapaan? en tunne näitä) rekisteri siitä, mitä huonoja käytäntöjä minkäkin aikaisemman julkaistun tutkimuksen kohdalla on käytetty. Tällä käytännöllä saataisiin arvokasta tietoa siitä, mitkä tulokset mahtavat olla luotettavia ja mitkä luultavasti eivät. Tässä tunnustetaan että kaikki (tai ainakin suuri osa) tutkijoista on käyttänyt joitain huonoja käytäntöjä, mutta nyt on aika muuttua. Rekisteröityminen järjestelmään pitäisi nähdä positiivisena käänteenä parempaan, ei negatiivisena menneen penkomisena. Tässä auttaa se, että rahoittajat auktoriteettitahona nimenomaan myöntävät rahoitusta virheensä myöntäjille, ei ne peittäville.
(Joskus on tietysti niin että tietyn tutkimuksen kohdalla kaikkia ihanteita ei ole ollut mahdollista käyttää, joten rastin kohdalla on syytä olla mahdollisuus perustella valintansa. Näitä valintoja voi sitten muut käyttäjät äänestää uskottaviksi tai epäuskottaviksi.)
Kustakin tekemästään raportista (joka ei ole saanut epäilyttävyysmerkintää) tutkija parantaa avoimuusindeksiään, joka on epäilyksettä raportoitujen suhteellinen osuus niistä julkaisuista joita hän käyttää CV:ssään (samalla saadaan virallinen lista julkaisuista, jolloin julkaisujaan ei voi myöskään valehdella). Avoimuusindeksiä rahoittajat käyttävät osakriteerinä rahoituksen myöntämisessä.
Samalla tavoin kaikki artikkelien kirjoittajat sekä ketkä tahansa muut prosessissa mukana olleet voivat rekisteröityä järjestelmään ja täyttää saman huonojen käytäntöjen listan eri artikkelien kohdalla. On todennäköistä että jotkut valehtelevat (tai eivät halua myöntää tai tiedostamattaan eivät tajua tehneensä virheitä), mutta on paljon epätodennäköisempää että kaikki tutkimukseen osallistuneet tekisivät niin. Suurin osa ihmisistä kuitenkin haluaa tehdä oikein jos heillä on siihen mahdollisuus, ja jos heitä palkitaan siitä, tarpeeksi moni tekee sen varsin todennäköisesti, jolloin todellinen kuva paljastuu. Kun jonkin artikkelin kohdalla on toisistaan poikkeavia raportteja, se merkitään epäilyttäväksi, jolloin tiedeyhteisö voi ottaa selville mistä on kyse.
(Tarvitaan myös jonkinlainen avoin sovittelujärjestelmä jota käytetään riitatilanteissa sekä silloin kun asia on selvitetty ja päätetään oliko huonojen käytäntöjen piilottelua vai ei. Tätä en ole miettinyt.)
Artikkeleita itseään voi äänestää uskottaviksi tai epäuskottaviksi (ja tulokset esitetään ehkä alan tutkijoiden ja muiden alojen tutkijoiden äänten keskiarvoille erikseen), mikä antaa eksplisiittisen mittarin tiedeyhteisön hyväksynnälle.
Metatieteen tutkijat voivat tehdä järjestelmään kaikkien nähtäville omia analyysejään sekä artikkelien tulosten että raporttien uskottavuuksista, epäilyttävistä piilotteluista kertovista yhteyksistä ja uskottavuusäänestyksien säännönmukaisuuksista. Näitä analyysejä metatieteen tutkijat voivat käyttää julkaisuina, joita äänestetään erikseen uskottaviksi tai epäuskottaviksi (mutta alaksi hyväksytään tutkittujen alojen tutkijat metatieteen lisäksi).

Ongelmia:

radikaali ja massiivinen, koko maailman tiedeyhteisön pitäisi olla mukana – eli poliittisesti mahdoton.
miten varmistetaan että asenteet järjestelmää kohtaan eivät pilaisi sen käyttöä? (järjestelmä romahtaa jos tarpeeksi moni ei käytä sitä kuten tarkoitettu – esim. jos raporttia omista huonoista käytännöistä pidetään negatiivisena)
soveltuu vain huonon tutkimuksen karsimiseen: ei auta, jos päästäisiin siihen vaiheeseen että hyvää tutkimusta on niin paljon että kaikkea sitä ei voi rahoittaa.
pääsevätkö tutkijat yhteisymmärrykseen hyvien/huonojen käytäntöjen listasta?
onko eri aloille löydettävissä vastaavia listoja?

*) Suoraa tasaista jakoakin on jossain ehdotettu, mutta kiinnostava variaatio oli sellainen, jossa tasaisen jaon jälkeen tutkijat on velvoitettu antamaan osa saamastaan rahoituksesta muille tutkijoille oman arvionsa perusteella (ja intressiristiriitojen kontrolloinnin jälkeen).