Tiederahoitus ja radikaalin avoimuuden idea

April 13, 2017 ~ randommonitor ~ Leave a comment

Tiederahoituksen ongelmista on tällä kertaa kirjoitettu Tiede-lehden blogissa. Tuomas Aivelo kritisoi Helsingin yliopiston uutta life sciences -instituutin rahoitusmekanismia, joka ilmeisesti käyttää eksplisiittisesti julkaisufoorumin tasoluokittelua osana rahoituskriteerejään. Vaikka tasoluokittelussa puolestaan eksplisiittisesti sanotaan että näin ei tulisi toimia, niin tietysti toimitaan, koska julkaisutoimintaa halutaan mitata ja parempia mittareita ei juuri ole. Huolimatta siitä että kompleksisten tuotosten mittaaminen päätöksentekoa varten tyypillisesti huonontaa sitä minkä parantamiseen mittaamisella on pyritty, hallinnossa ei haluta mittaamisesta luopua. Selvää tietysti on, että kun jollakin perusteella päätökset pitää tehdä, ja kun suoraa korruptiota tai tieteellistä nepotismia ei (onneksi) haluta harrastaa, mutta toisaalta tasainen* tai satunnainen jakaminen tuntuu liian radikaalilta, niin määrällinen mittari antaa riittävän objektiivisuuden ja vastuullisuuden tunteen (siitä huolimatta että nykyinen järjestelmä on varsin tehotonta ja melko satunnaista).

Olen itse miettinyt asiaa viime syksyn rahoituspäätösten jälkeen. Vaikka tällä kertaa rahoitus sattui osumaan kohdalleni, aikaisemmin vastaavasta ilmoituksesta tuntemani ilo happani nopeasti kun katselin laskelmia (joita nyt tähän hätään en enää löytänyt), joiden mukaan rahoituksen hakuprosesseihin laitettiin selvästi enemmän työtä kuin paljonko sitä rahoitettiin (esim. EU-rahoitusta myönnetään tyyliin 2% hakijoista, ja suomalaisilla säätiöilläkin luku on monessa tapauksessa pudonnut alle 10%:n). Kokonaistuloksena siis itse tieteen tekemiseen laitettu työmäärä pieneni. (Todellisuudessa asia ei varmasti ole näin yksinkertaista, koska ainakin alkuvaiheen tutkijat luultavasti tekevät hakemuksia vapaa-ajallaan, jolloin aikaa otetaan tieteen sijaan harrasteista ja rentoutumisesta sekä lisäksi mm. perheiltä. Siitä, onko tämä sen tarkoituksenmukaisempaa, en ole juuri nähnyt keskustelua.) Arvonnan voittamisesta voi tietysti olla henkilökohtaisesti iloinen, mutta tieteentekijän on vaikea kannattaa järjestelmää jonka hyödyistä ei ole näyttöä ja haitasta on suuria epäilyksiä.

Yksi mahdollisuus tuli mieleen seurattuani psykologiassa vaikuttavaa replikaatiokriisiksi kutsuttua keskusteluaihetta. Aihetta tuntemattomille kerrottakoon, että vaikka yliopistoissa ja oppikirjoissa opetetaan tieteentekoa tietyllä tavalla, käytännössä se ei useinkaan toteudu: tilastomenetelmiä käytetään kyseenalaisin tavoin (koska julkaisupaine on kova ja julkaisun rajaksi on päässyt muodostumaan melko mielivaltainen tietyn tilastollisen suureen arvo, p < .05), toistokokeita eli replikaatioita ei juurikaan tehdä (koska sitä ei arvosteta samalla tavoin kuin uusia ja seksikkäitä tuloksia), ja tutkimusten laatu vaihtelee rajusti (koska oikeasti laadukas on hidasta, kallista ja vaikeaa, koska vähemmälläkin pärjää, ja koska kaikki muutkin tekevät huonoa ja ovat aina tehneet). Kun replikaatioita vihdoin suuressa skaalssa tehtiin, huomattiin että suuri osa vanhoista hyväksytyistä tuloksista ei toistunut. Kyse ei ole psykologian tutkijoiden epärehellisyydestä – samoja ongelmia on muuallakin, ja tutkijoiden kannustimet ovat pahasti pielessä. Tämä on oma aiheensa, mutta ideani siis oli, että miksi emme suoraan rahoituksessa kannustaisi hyviä tutkimuskäytäntöjä ja rankaisisi huonoista?

Nähdäkseni tieteen laadun parantaminen on huomattavasti relevantimpaa kuin impaktin tai jufo-luokitusten ognelmallisten meriittien palkitseminen. Ja siinä missä todellisen vaikuttavuuden arviointi on vaikeaa, ellei mahdotonta, hyvät tutkimuskäytännöt ovat helpommin määriteltävissä ja verifioitavissa. Vaikka replikaatiokriisistä on paljon keskustelua ja monet ovat sitä mieltä että mitään kriisiä ei olekaan, hekin yleensä myöntävät että paljon huonoa tutkimusta on, ja tiettyjä guidelineja seuraamalla tämä voitaisiin välttää. Tarkoitus olisi, että rahoitusjärjestelmä asettaisi tietyt vähimmäisvaatimukset tutkimuksen laadulle. Tämän lisäksi voisi sitten olla muita mittareita karsimaan hakijoita siinä vaiheessa kun hyvälaatuista tutkimusta on tarpeeksi.

Yksinkertaisuudessaan yksittäinen rahoittaja voisi ottaa suoraan käyttöön olemassaolevien käytäntöjen tutkimuksia (esim. Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies) ja arvioida hakijoita niiden perusteella. En kuitenkaan malttanut olla kuvittelematta millainen koko rahoitusjärjestelmä olisi jos se huomioisi tutkimuksen laadun, mistä syntyi allaoleva kuvitelma.

Idea on ajateltu kvantitatiivisen/kokeellisen psykologian rahoitukseen, mutta se sopisi joillekin muillekin aloille joita ainakin Suomessa rahoitetaan yksityisten säätiöiden ja Akatemian kaltaisten tahoilta. Idea on varsin utopistinen radikaalin avoimuuden maailmanlaajuinen mullistus, eikä ole tarkoitus että yksittäinen taho voisi ottaa sen sellaisenaan käyttöön; ennemminkin tämä on keskustelunavaus, voisiko jokin tällainen toimia jossain muodossaan, ja mitä siihen vaadittaisiin.

Q-FIRST (quality in fields reliant on statistical testing)

Ongelma on nähdäkseni pitkälti siinä, että huonot käytännöt ovat sosiaalisesti hyväksyttäviä, vaikka niitä teorian tasolla pidetäänkin huonoina. Ratkaisu on siis a) tehdä niistä eksplisiittisesti ei-hyväksyttäviä, ja samalla b) rohkaista siihen, että ihmiset tunnustavat omat huonot käytäntönsä ja siirtyvät hyviin käytäntöihin menettämättä kasvojaan.

Q-FIRSTissä:

Rahoittaja esittää listan huonoista käytännöistä. Saadakseen rahoitusta tutkijan on rastittava listasta ne käytännöt joita itse on aiemmin käyttänyt. Jos huonoja käytäntöjä on käytetty (jonkun rajan mukaan) liikaa, rahoitus hylätään automaattisesti ELLEI tutkija tee julkista huonojen käytäntöjen raporttia. Jos tekee, näistä ei rangaista millään tavalla.
Julkinen huonojen käytäntöjen raportti olisi jonkin virallisen tahon (esim. tutkimuseettisen neuvottelukunnan tapaisen kansainvälisen elimen?) keskitetyllä sivustolla julkaistava (tai ehkä hajautettu kirjanpito jonkun bitcoinin tapaan? en tunne näitä) rekisteri siitä, mitä huonoja käytäntöjä minkäkin aikaisemman julkaistun tutkimuksen kohdalla on käytetty. Tällä käytännöllä saataisiin arvokasta tietoa siitä, mitkä tulokset mahtavat olla luotettavia ja mitkä luultavasti eivät. Tässä tunnustetaan että kaikki (tai ainakin suuri osa) tutkijoista on käyttänyt joitain huonoja käytäntöjä, mutta nyt on aika muuttua. Rekisteröityminen järjestelmään pitäisi nähdä positiivisena käänteenä parempaan, ei negatiivisena menneen penkomisena. Tässä auttaa se, että rahoittajat auktoriteettitahona nimenomaan myöntävät rahoitusta virheensä myöntäjille, ei ne peittäville.
(Joskus on tietysti niin että tietyn tutkimuksen kohdalla kaikkia ihanteita ei ole ollut mahdollista käyttää, joten rastin kohdalla on syytä olla mahdollisuus perustella valintansa. Näitä valintoja voi sitten muut käyttäjät äänestää uskottaviksi tai epäuskottaviksi.)
Kustakin tekemästään raportista (joka ei ole saanut epäilyttävyysmerkintää) tutkija parantaa avoimuusindeksiään, joka on epäilyksettä raportoitujen suhteellinen osuus niistä julkaisuista joita hän käyttää CV:ssään (samalla saadaan virallinen lista julkaisuista, jolloin julkaisujaan ei voi myöskään valehdella). Avoimuusindeksiä rahoittajat käyttävät osakriteerinä rahoituksen myöntämisessä.
Samalla tavoin kaikki artikkelien kirjoittajat sekä ketkä tahansa muut prosessissa mukana olleet voivat rekisteröityä järjestelmään ja täyttää saman huonojen käytäntöjen listan eri artikkelien kohdalla. On todennäköistä että jotkut valehtelevat (tai eivät halua myöntää tai tiedostamattaan eivät tajua tehneensä virheitä), mutta on paljon epätodennäköisempää että kaikki tutkimukseen osallistuneet tekisivät niin. Suurin osa ihmisistä kuitenkin haluaa tehdä oikein jos heillä on siihen mahdollisuus, ja jos heitä palkitaan siitä, tarpeeksi moni tekee sen varsin todennäköisesti, jolloin todellinen kuva paljastuu. Kun jonkin artikkelin kohdalla on toisistaan poikkeavia raportteja, se merkitään epäilyttäväksi, jolloin tiedeyhteisö voi ottaa selville mistä on kyse.
(Tarvitaan myös jonkinlainen avoin sovittelujärjestelmä jota käytetään riitatilanteissa sekä silloin kun asia on selvitetty ja päätetään oliko huonojen käytäntöjen piilottelua vai ei. Tätä en ole miettinyt.)
Artikkeleita itseään voi äänestää uskottaviksi tai epäuskottaviksi (ja tulokset esitetään ehkä alan tutkijoiden ja muiden alojen tutkijoiden äänten keskiarvoille erikseen), mikä antaa eksplisiittisen mittarin tiedeyhteisön hyväksynnälle.
Metatieteen tutkijat voivat tehdä järjestelmään kaikkien nähtäville omia analyysejään sekä artikkelien tulosten että raporttien uskottavuuksista, epäilyttävistä piilotteluista kertovista yhteyksistä ja uskottavuusäänestyksien säännönmukaisuuksista. Näitä analyysejä metatieteen tutkijat voivat käyttää julkaisuina, joita äänestetään erikseen uskottaviksi tai epäuskottaviksi (mutta alaksi hyväksytään tutkittujen alojen tutkijat metatieteen lisäksi).

Ongelmia:

radikaali ja massiivinen, koko maailman tiedeyhteisön pitäisi olla mukana – eli poliittisesti mahdoton.
miten varmistetaan että asenteet järjestelmää kohtaan eivät pilaisi sen käyttöä? (järjestelmä romahtaa jos tarpeeksi moni ei käytä sitä kuten tarkoitettu – esim. jos raporttia omista huonoista käytännöistä pidetään negatiivisena)
soveltuu vain huonon tutkimuksen karsimiseen: ei auta, jos päästäisiin siihen vaiheeseen että hyvää tutkimusta on niin paljon että kaikkea sitä ei voi rahoittaa.
pääsevätkö tutkijat yhteisymmärrykseen hyvien/huonojen käytäntöjen listasta?
onko eri aloille löydettävissä vastaavia listoja?

*) Suoraa tasaista jakoakin on jossain ehdotettu, mutta kiinnostava variaatio oli sellainen, jossa tasaisen jaon jälkeen tutkijat on velvoitettu antamaan osa saamastaan rahoituksesta muille tutkijoille oman arvionsa perusteella (ja intressiristiriitojen kontrolloinnin jälkeen).

Taustamuuttujien arvovertailu Ylen vaalikoneen perusteella

April 7, 2017April 7, 2017 ~ randommonitor ~ 3 Comments

Jatkoa edelliseen vertailuun. Data on sama, arvokysymykset ovat samat, skriptit kirjoitin osin uusiksi jotta sain vertailuun puolueiden sijaan taustamuuttujat: sukupuoli, ikä, koulutus, tulot, kuntatyyppi, poliittinen kokemus, uskonto ja työnantajatyyppi (ks. tarkemmat luokittelut alhaalla). En käy kaikkia läpi, koska 6 arvokysymystä * 8 taustamuuttujaa on vähän liikaa, mutta nostan esiin muutamia kiinnostavia havaintoja. Liitän mukaan kaikki kuvat, niin voitte itse katsella niitä kuvia joita en ole käsitellyt.

(Moni saattaa kaivata vastaavia analyysejä puolueittain: onko puolueiden sisällä eroa taustamuuttujien suhteen? Itsekin näen kysymyksen kiinnostavana, mutta kun vaalit ovat sunnuntaina, en olisi ehtinyt tehdä tällaisia analyysejä edes eduskuntapuolueiden suhteen 6*8*8=384:stä kuvasta.)

Yleisenä huomiona, erot taustamuuttujien suhteen ovat pienempiä kuin puolueiden suhteen, mikä on tietysti järkevää kun puolueiden muodostumisperusta on nimenomaan arvoissa ja maailmankuvassa. Lähden näissäkin tulkinnoissa niistä tutkimuksellisista oletuksista kysymysten takana mitä selvitin edellisessä vertailussa. Huomattakoon myös, että moni ehdokas ei ollut vastannut taustakysymyksiin, joten esimerkiksi tuloista puuttuu yli 5000 ehdokasta verrattuna puolueista tekemääni vertailuun. Tämä saattaa vääristää tuloksia, jos jotkut ryhmät ovat jättäneet vastaamatta enemmän kuin toiset.

Ikä

Kysymyksessä 1 (ennen ei ollut paremmin) nuoret (18-24 v) haikailevat hieman vähemmän entiseen kuin muut. Vaikka tämä saattaa tuntua triviaalilta, ei minulla ainakaan – ilman tutkimustietoa asiasta – ollut selvää ennakkokäsitystä erojen suuruudesta. Kaipuulla menneeseen kun poliittisen psykologian mielessä on tekijänsä sekä synnynnäisissä eroissa liberaali-konservatiivi -akselilla että myöhemmin muodostuneissa poliittisessa kannassa ja yleisessä elämänkokemuksessa. Nuoressa ikäluokassa on vähemmän vaikutusta kahdella jälkimmäisellä, vaikka toki kodin poliittinen ilmapiiri on tärkeimpiä poliittisen orientaation tekijöitä. Erot eri ikäryhmien välillä ovat joka tapauksessa varsin pieniä (n. 5-10 %-yksikön luokkaa suurimman ja pienimmän välillä), mikä kertonee enemmän eri-ikäisten suomalaisten suhteellisen yhtenäisestä elinpiiristä.

Vain kysymyksessä 6 (yhtäläiset mahdollisuudet) erot ovat selviä: ikäryhmät ovat sitä vähemmän samaa mieltä kaikkien yhtäläisistä mahdollisuuksista mitä vanhempia he ovat. Mutta ajattelevatko vanhukset omia mahdollisuuksiaan joita heillä ei ollut nuorempina, nykyisten nuorten mahdollisuuksia nyky-Suomessa joita pitävät huonompina kuin omiaan aikoinaan, vai nykyisiä omia mahdollisuuksiaan maassa jossa vanhuksilla on (omasta mielestään) yhä huonompi olla?

Koulutus

Koulutuksessa erot ovat selkeämpiä, ja menevät kauttaaltaan suunnilleen koulutuksen määrän suuntaisesti (lähinnä toisen asteen koulutustasot, ammattitutkinto ja ylioppilas, vaihtavat keskenään paikkaa). Koulutetummat kaipaavat vähemmän menneeseen ja vahvaa johtajuutta, pitävät elämää vähemmän taisteluna ja lapsilla tärkeämpinä uteliaisuutta ja itsenäisyyttä, ja ovat enemmän sitä mieltä että Suomessa kaikilla on yhtäläiset mahdollisuudet. Vain tasa-arvon suhteen vastausosuudet ovat käytännössä samat. Yhdysvalloissa, missä eroa liberaali-konservatiivi ja vasemmisto-oikeisto -akselien välillä ei usein tehdä vaan liberaalia pidetään yleensä myös vasemmistolaisena, yliopistokoulutus on tyypillisesti yhteydessä liberaaliuteen/vasemmistolaisuuteen. Tässä datassa kuitenkin samaa yhteyttä vasemmistolaisuuteen ei voida suoraan havaita, kun katsotaan kysymyksiä tasa-arvosta ja yhtäläisistä mahdollisuuksista ja verrataan puolueiden vastausosuuksiin.

Tulot

Suurimmat erot ovat kysymyksissä 1 ja 6 (ennen ei ollut paremmin ja yhtäläiset mahdollisuudet), joissa ehdokkaiden vastaukset asettuivat suoraan tulojärjestykseen. Suurempien tulojen ehdokkaat kaipaavat vähemmän entiseen ja ovat paljon enemmän (tämän vertailun suurin ero, yli 30 %-yksikköä) sitä mieltä että Suomessa kaikilla on yhtäläiset mahdollisuudet. Jälkimmäinen havainto tukee tutkimustuloksia ulkomailta, missä rikkaammat tyypillisesti eivät osaa nähdä köyhien lailla niitä rakenteellisia ongelmia joiden takia kaikilla ei ole samanlaisia mahdollisuuksia elämässään.

Työnantaja

Työnantajalla – julkinen, yksityinen, vai ei töissä – oli merkitystä erityisesti vahvan johtajuuden ja yhtäläisten mahdollisuuksien kohdalla. Työttömät ehdokkaat ovat ymmärrettävästi harvimmin sitä mieltä, että kaikilla olisi samat mahdollisuudet, yksityisten ollessa enemmän samaa mieltä (julkinen näiden välissä). Yksityisen sektorin työntekijöiden mielestä myös vahva johtajuus on enemmän tarpeen verrattuna julkisen sektorin työntekijöihin (työttömät näiden välissä). Elämän kilpailullisuudessa vain julkisen puolen työntekijäehdokkaat ovat enemmän eri mieltä kuin samaa mieltä, työttömät ja yksityiset hieman enemmän samaa mieltä (tosin ero on pieni).

Herää kysymys missä määrin työnantajasektori muokkaa työntekijöiden näkemyksiä vs. missä määrin ihmiset hakeutuvat töihin näkemyksiensä mukaan. Itse olisin ilman parempaa tietoa taipuvainen veikkaamaan jälkimmäistä, koska uskon näiden näkemysten taustalla vaikuttavan vahvasti (oma tutkimusaiheeni) erilaiset automaattiset tunnepohjaiset arvostelmat, mutta tunteeko tutkimusta aiheesta?

Kuntatyyppi

Jaoin kunnat suuriin, keskikokoisiin ja pieniin, sillä taka-ajatuksella että saisinko näkyviin Trumpin ja Brexitin yhteydessä esitetyn eron suurten kaupunkien, kuihtuvien teollisuuskaupunkien ja maaseudun välillä. Kuntatyyppien erot ovatkin näkyvillä (n. 10 %-yksikköä) lähinnä kysymyksissä johtajuudesta, lasten ominaisuuksista ja elämän kilpailullisuudesta, joista kaksi ensimmäistä on yhdistetty muualla populistisiin liikkeisiin, ja joista jälkimmäinen oli edellisessä vertailussani vahvasti Perussuomalaiset erottavin kysymys.

Ehdokkaiden kokemus

Ehdokkaiden kokemus on erityisen kiinnostava siksi, että sitä voi pitää (jonkinlaisena) mittarina “tavallisen ihmisen” ja “poliittisen eliitin” välillä. Niiden joilla ei ole aiempaa poliittista kokemusta voi ajatella olevan lähempänä tavallista äänestäjää – vaikka toki selvää onkin, että lähteäkseen ehdolle täytyy jonkinlaista kiinnostusta politiikkaan jo olla, joten eivät he tietysti politiikkaa seuraamatonta äänestäjää vastaa. Jonkinlaista suuntaa tästä voinee kuitenkin nähdä.

Ja valtakunnalliset poliitikot (kansanedustaja- tai meppikokemusta) ovatkin eniten erillään muista. He ovat liberaalimpia (vähemmän kaipuuta entiseen), vähemmän populistisia (enemmän eri mieltä vahvasta johtajasta ja elämän kilpailullisuudesta kuin muut – lasten ominaisuuksien kohdalla tosin ero on pienempi), ja pitävät tasa-arvon lisäämistä useammin hyvänä asiana. Yhtäläisten mahdollisuuksien suhteen kokonaisosuudet eri ja samaa mieltä olevien välillä eivät eroa, mutta valtakunnallisista poliitikoista harvempi on selvästi eri mieltä.

Uskonto

Uskonnossa on havaittavissa kaksi eri jakolinjaa: uskonnottomien ja uskonnollisiin yhteisöihin kuuluvien välillä, sekä valtavirran (evlut ja ei uskontoa) ja muiden (muut kristilliset ja ei-kristilliset yhteisöt kuten herätysliikkeet, ortodoksit ja muslimit) välillä. Valtavirta ei kaipaa entiseen niin paljon kuin muiden uskonnollisten yhteisöjen ehdokkaat, uskonnottomista taas harvemmat kaipaavat vahvaa johtajuutta kuin uskonnollisiin yhteisöihin kuuluvat.

Suurin ero uskonnon suhteen on kuitenkin lasten ominaisuuksien kohdalla, mikä onkin tutkimuskirjallisuudessa ollut yhteydessä konservatiiviseen sovinnaisuuteen sekä populistisiin liikkeisiin. Uskonnottomien mielestä lasten on tärkeämpää olla uteliaita ja itsenäisiä, evankelisluterilaisten mielestä vähemmän, ja muiden mielestä hyvä käytös ja tottelevaisuus ovat useammin tärkeämpiä. Myös yhtäläisten mahdollisuuksien suhteen on eroa: uskonnottomat ovat eniten eri mieltä.

Sukupuoli

Sukupuolista odotin, että naisehdokkaat olisivat selvemmin tasa-arvon lisäämisen kannalla, mutta erot ovat melko mitättömiä. Sen sijaan miesehdokkaat kaipaavat selvästi enemmän vahvaa johtajaa sekä pitävät elämää taisteluna ja Suomea yhtäläisten mahdollisuuksien maana. Maailmalla miehet ovat olleet enemmän populististen liikkeiden kannalla, mikä sopii johtajuuskysymykseen. Yhtäläisten mahdollisuuksien kohdalla taitaa näkyä sukupuoliero työnantajasektorien suhteen.

Merkintöjä metodeista

Skriptit datan käsittelyyn ja kuvaajien rakentamiseen.

Kunnat on luokiteltu siten, että seitsemän suurinta kaupunkia on luokiteltu suuriksi, näihin kuulumattomat yliopistokaupungit (tämän uutisen perusteella) keskikokoisiksi, ja loput pieniksi.

lisotkunnat <- c(“Helsinki”, “Espoo”, “Vantaa”, “Tampere”, “Oulu”, “Turku”, “Jyväskylä”)
lkeskikunnat <- c(“Vaasa”, “Joensuu”, “Pori”, “Lappeenranta”, “Rovaniemi”, “Kuopio”, “Seinäjoki”, “Savonlinna”)

Työnantajat tulevat suoraan Ylen datasta, en ole tehnyt niille mitään.

Tuloissa ei ole huomioitu sijoitusomaisuutta, joka joillain ehdokkailla oli huomattava (yli 200 000 €). Isompia sijoituksia omistavien määrä oli kuitenkin sen verran pieni, etten halunnut alkaa keksimään koodausta jolla se saataisiin tulojen kanssa yhteen. Luultavimmin kuitenkin suuremmilla tuloilla on myös suuremmat sijoitukset. Lisäksi yhdistin suurimmat tuloluokat yhteen, koska vastaajia oli niin vähän.

Myös uskonnollisten yhteisöjen jäsenyyksistä yhdistin pienimmät, eli “muu kristillinen kirkko”, “ortodoksinen kirkko” ja “muu uskonnollinen yhteisö”.

Koulutuksesta poistin vaihtoehdon “joku muu”, jonka sisällöstä minulla ei ole tietoa.

Poliittisen kokemuksen luokittelin sen perusteella, mikä oli korkein kokemus mitä ehdokkaalla oli. Yhdistin “kuntayhtymä tai maakuntahallinto” ja “kunnan- tai kaupunginvaltuusto” -kokemukset kuntatasoksi ja kansanedustajat ja Euroopan parlamentin edustajat valtakunnalliseksi tasoksi.

Tutkimus: poliittinen polarisaatio ei ole internetin ja somen syytä?

April 4, 2017April 4, 2017 ~ randommonitor ~ Leave a comment

Sain facebookissa linkin (kiitos Mikko Särelä!) oletettavasti ekonomistien tekemään tutkimukseen (työpaperi, eli ei käynyt vielä vertaisarviota läpi), joka tekee datan perusteella oikein kiinnostavan väitteen: poliittinen polarisaatio ei ole internetin ja somen kaikukammioiden syytä. Somen kaikukammioita on syytetty poliittisen polarisaation lisäämisestä niin satunnaisissa nettikeskusteluissa kuin tieteellisissä tutkimuksissakin (joihin paperissa viitataan), joten argumentti on kutkuttava. (Toki se varsinainen väite on nimenomaan somesta eikä internetistä sinänsä, vaikka netin salaliittosivustot ja valemediat yms. sitten kuuluu siihen mukaan. Kirjoittajat taisivat vain ottaa netin yleisesti tuohon koska some olisi ollut vielä vaikeammin mitattavissa.) Tutkimus on demografinen ja metodologia melko vierasta, mutta pohdiskelen paperia vähän – toivottavasti joku paremmin asioista tietävä voi kertoa enemmän.

Perusargumentti kuuluu: jos internet ja/tai some aiheuttaa merkittävästi polarisaatiota, sen pitäisi näkyä mittareissa näiden suosion noustessa*. Tutkimukseen on otettu yhdeksän ilmeisesti politiikan tutkimuksessa tyypillistä polarisaation mittaria – en osaa sanoa ovatko mittarit valideja (vaikuttavat päällisin puolin aika tavanomaisilta kyselyiltä identifioitumisesta, poliittisista mielipiteistä ja äänestyskäytöksestä) tai ovatko valitut mittarit hyvä ja riittävä setti, mutta oletetaan nyt että ovat. Toisaalta on katsottu internetin käyttöasteita eri demografisissa ryhmissä, ja päädytty vertailemaan polarisaatiomittareita erityisesti 18-39 -vuotiailla verrattuna yli 75-vuotiaisiin. “Internet and social media usage rates are far higher among the young than the old—with less than 20 percent of those aged 75 years and older using social media in 2012, as compared to 80 percent of those aged 18–39.” Koska nuorempien internetin käyttö on yleistynyt nopeammin, tämän ryhmän pitäisi myös polarisoitua enemmän ajan myötä. Kirjoittajien mukaan näin ei ole:

We find that the increase in polarization is largest among the groups least likely to use the internet and social media. […] Polarization increases more for the old than the young in eight of the nine individual measures. […] These findings argue against the hypothesis that the internet in general or social media in particular are the main drivers of increasing polarization.

Toistan jo yllä sanotun toisin sanoin: tässä ei ole tutkittu samoja henkilöitä joilta olisi mitattu polarisaatiota ja internetin/somen käyttöä (saati että olisi kokeellisesti lisätty käyttöä), vaan on verrattu eri aineistoista samojen demografisten ihmisryhmien keskimääräisiä arvoja. Tavanomaisessa korralaatiotutkimuksessakin ilmeneviä edustavuusongelmia siis voi pahentaa se, jos eri aineistojen samaan demografiaan liitetyt arvot ovat eri metodologioista johtuen eri tavoin vääristyneitä (en tunne aineistoja ja otoskokoja ei kerrota, mutta en lähtenyt enempää selvittämään). Tästä huolimatta perusargumentti on nähdäkseni pätevä: jos ilmiö olisi suuri, sen pitäisi hyvillä mittareilla näkyä.

Ensimmäisenä havaintona polarisaatio on lisääntynyt useimmilla mittareilla jo vuodesta 1972 lähtien (josta mittarit näytetään alkavan – en tiedä onko käytetty luovaa aika-akseliin leikkausta, kun joitain mittareita on ilmeisesti käytetty jo vuodesta 1948), eikä internetin jälkeinen aika näytä ainakaan silmämääräisesti erilaiselta edeltävään nähden. Jo tämä puhuu sitä vastaan että internet olisi suurin tai erityisen suuri tekijä.

Toiseksi, tutkimuksessa puhutaan vain polarisaation lisääntymisestä, ei absoluuttisista arvoista. Jos ryhmä on alun perinkin enemmän polarisoitunut, voi tulla vastaan jonkinlainen kattoefekti, niin että polarisaatiolla on “tilaa” kasvaa enemmän ryhmässä jossa se on ollut alun perin hyvin pientä (ts. vain maltillisia voi polarisoida). Käyrien perusteella näyttää siltä että ikäryhmissä ei ole tällaista efektiä: päin vastoin, joissain mittareissa vanhemmat ovat alun perin enemmän polarisoituneita kuin nuoremmat. Sen sijaan vertailuissa, jotka on tehty todellisen internetin saatavuuden ja internetin demografioista lasketun arvioidun käytön perusteella, tällainen efekti näyttäisi olevan: useimmissa mittareissa internet-väen absoluuttiset arvot ovat koko ajan korkeammalla. Tätä työpaperissa ei kommentoida lainkaan.

Ovatko ne, jotka ovat internetin hankkineet tai sitä todennäköisimmin käyttävät, jostain syystä lähtökohtaisesti polarisoituneempia (ja polarisoituneisuudessaan pysyvämpiä) kuin internetistä viis veisaavat? Robustness checkeissä lisäksi havaitaan, että kun aineisto rajataan vain (mihin tahansa) puolueeseen vahvasti identifioituviin tai vaaleista kiinnostuneisiin, nuoret ovat selvästi absoluuttisesti polarisoituneempia, vaikka vanhemmilla tosiaan polarisaatio nousee enemmän. Nyt mennään vahvasti hatustavetämisosastolle, mutta voisiko olla niin että erot kertovat lähinnä siitä, että liberaalit – joita nuoret ja internetin käyttäjät keskimäärin enemmän ovat käsittääkseni olleet – ovat olleet polarisoituneempia (konsistentimpia äänestyksissään ja poliittisissa kannoissaan, arvostaneet vastapuolta vähemmän jne.), ja tutkimuksen esiin nostama vanhempien polarisaation kasvu on lähinnä konservatiivisuuden nousua? Tosin viimeinen kuva, jossa indeksi on näytetty vuodesta 1972 asti näyttäisi siltä, että vuosi 1996 on tosiaan just ollut sellainen missä nuorilla on ollut selvä hyppy, jolloin tuosta vuodesta laskien nuorten polarisoituminen on ollut pienempää kuin vanhempien, mutta koko jaksolla käyrät näyttävät käytännössä samoilta. En ihan tajua miksi kirjoittajat eivät ole yksinkertaisesti käyttäneet tätä aikaskaalaa koko ajan – sehän ajaa saman asian perusargumentin kannalta.

Joka tapauksessa näyttää kyllä tämän perusteella siltä, että internetin käytöllä ja polarisoitumisella ei ole ainakaan niin suurta yhteyttä että sen tällä tasolla havaitsisi. Mieleen tulee, että jenkkien järkyttävän polarisoitunut TV tekee suurimman työn, niin some ei siihen paljoa lisää.

Lisäys:

Ilmeisesti tutkitustikin polarisoituminen ei ole tapahtunut symmetrisesti vaan nimenomaan oikeisto on siirtynyt oikeammalle. Sen sijaan viimeisen kymmenen vuoden sisällä somen kaikukammiot ovat saattaneet silti olla vahva mahdollistaja varsinkin tietyissä demografioissa. (Kiitos Simo Järvelä ja Petri Lankoski!)

Lisäys 2:

Tietenkin “polarisaatiolla” saatetaan tarkoittaa eri paikoissa vähän eri asioita. Tässähän se oli aika miedosti määritelty, yksinkertaisesti eri mittareita siitä kuinka konsistentteja D- tai R-kannattajat ovat äänestämään puoluetta, samaa mieltä issueissa, kuinka positiivisesti ajattelee omasta puolueesta suhteessa kilpailijaan etc. Eli periaatteessa aika lähellä puolueuskollisuutta monessa suhteessa, mikä on tietysti vielä hyvin USA-keskeistä.

Muualla sanalla saatetaan kuitenkin tarkoittaa ennemmin radikalisoitumista tai sitä, kuinka kaukana eri aatteiden kannattajat ovat toisistaan: kuinka paljon jaksavat ymmärtää toista puolta, kuinka ehdottomia ovat omissa kannoissaan, kuinka pahoina heitä pitävät, millaisiin toimiin on valmis omien kantojensa puolustamiseksi jne. Tätä tämä tutkimus ei oikeastaan koskettanut ollenkaan, ja kuulostaisi uskottavalta että juuri tämä on paljon enemmän se mihin se some vaikuttaa.

Pienempiä huomioita:

*) Argumentti on analoginen muualla esitetylle “Jos digitaaliset pelit aiheuttaisivat väkivaltaisuutta, sen pitäisi näkyä pelien suosion noustessa nousuna väkivaltarikollisuudessa”. Todellisuudessa väkivaltarikollisuus Yhdysvalloissa on laskenut vuosikymmeniä pelien suosiosta riippumatta.
Mittaukset on tehty neljän vuoden välein vaalien aikaan, joten välille 1996-2012 mahtuu viisi mittauspistettä, mikä ei ole kovin paljon. Kun arvot heittelevät rajusti erityisesti nuoremmalla ikäryhmällä, trendin sovittaminen vaikuttaa minusta vähän epäilyttävältä.
Vaalien aikaan tehdyt mittaukset varmaan näyttävät suurempaa polarisaatiota kuin vaalien välillä tehdyt näyttäisivät. Vaikea sanoa vaikuttaisiko tämä ryhmien välisiin eroihin.