Tutkimus maiden empaattisuuseroista ei kerro maiden empaattisuuseroista (UJ19.10.2016)

Tämä on uudelleenjulkaisu 19.10.2016 kirjoittamastani FB-notesta, jonka halusin säilyttää FB:n ulkopuolella.

Lyhyesti: tutkimuksessa ei yritetty laittaa maita empaattisuusjärjestykseen, eikä näillä tiedoin aineisto siihen lainkaan sovikaan.

Facebookissa ja monissa lehdissäkin on huomioitu tutkimus, jota on meillä otsikoitu raflaavasti mm. Kalevassa: “Tutkimus: Suomalaiset ovat lähes maailman huonoimpia asettumaan toisen ihmisen asemaan” (http://www.kaleva.fi/uutiset/kotima…). Otsikot ja johtopäätökset tutkimuksesta ovat kuitenkin reilusti liioiteltuja.

Kyseessä on Chopik, O’Brien & Konrathin “Differences in empathic concern and perspective taking across 63 countries” lehdessä Journal of Cross-Cultural Psychology (http://jcc.sagepub.com/content/earl…). Vastaajia oli yli 104 000 ja valtioiden vertailussa oli mukana 63 valtiota. Vaikuttavia lukuja. Metodeita tarkemmin* katsellessa huomataan kuitenkin nopeasti, että esitetyt väitteet ovat ylimitoitettuja todistusaineistoon nähden.

Ensinnäkin, artikkelin fokus on muualla. Se käsittelee empatian, kollektivismin, persoonallisuuden ja muiden muuttujien välisiä yhteyksiä eri maissa. Varsinainen maiden välinen “empatia-ranking” ei ole edes artikkelin varsinaisessa tekstissä läsnä lainkaan, vaan on peräisin lisämateriaaleista.

Toiseksi, tutkimusaineisto ei ole kovin vakuuttava maiden välisten vertailujen tekemiseen. Se on peräisin englanninkielisestä nettikyselystä, jonka mittarit näyttävät olevan ihan asiallisia, mutta sitä, kuinka vastaajat on hankittu, ei kerrota. Yli 104 000 vastaajasta 74 % on USA:sta. Vastaajia on ollut useammastakin maasta kuin 63:sta, mutta kaikki joista on ollut alle 20 vastaajaa on hylätty – näitä oli 555, eli yli 27 maata on hylätty tämän perusteella.

Tässä on jo nähtävissä lukuisia ongelmia.

1. Vastaajien minimimäärä. Lähes minkä tahansa kyselyyn pohjautuvan mittarin epätarkkuus on sen verran suuri, että kahdenkymmenen vastaajan joukko ei kerro juuri mitään. Ilman pääsyä lisämateriaaliin, emme tiedä kuinka paljon kustakin maasta (USA:ta lukuunottamatta) vastaajia todella on. Jäljellä oleviin 62 maahan jää n. 26800 vastaajaa, 430 vastaajaa per maa. Tämä olisi periaatteessa siedettävä määrä meta-analyysiin, jollainen tutkimus tavallaan on. Kuitenkin, koska 20 on kerrottu minimiksi, selvästi vastaajien määrä on hyvin epätasainen maittain – luultavasti muista englanninkielisistä maista on paljon vastaajia, ja erityisesti ei-englanninkielisistä huonon koulutustason ja/tai pienistä maista lähemmäs tuota minimiä.
2. Vastaajien rekrytointi. Ilman tietoa rekrytoinnista ei ole tietoa vastaajien edustavuudesta. Edustavan otoksen saaminen yhdestäkin maasta on tarkkaa puuhaa ja sellaisena kallista, joten on selvää että näin ei ole tehty kymmenien maiden suhteen. Oletan, että linkki kyselyyn on laitettu kiertämään mm. Facebookin kautta, jolloin vastaajat hakeutuvat itse vastaamaan, mikä helpottaa tutkijoiden työtä. Tällöin kuitenkin otos vinoutuu radikaalisti sen mukaan ketkä maasta ovat linkanneet tutkimusta eniten. Minimiotoksessa yhtä maata voivat olla periaatteessa edustamassa yksi ihminen FB-kavereineen. Jos vaikkapa Suomesta olisikin muutama sata vastaajaa, he ovat hyvin todennäköisesti valtaosin hyvin koulutettuja, nuoria, toisensa tuntevia asiasta kiinnostuneita opiskelijoita. Tällainen joukko on merkittävästi huonompi kuin perinteinen psykologian tutkimuksen opiskelijaotos, koska se itsevalikoituu vahvasti kiinnostuksen mukaan. Maissa, jossa englantia osataan heikommin, valikoituvuus on vielä suurempaa rikkaisiin ja korkeakoulutetuihin. Vaikka rekrytointi olisi järkevämpääkin (epätodennäköistä, sillä esim. yliopistoihin lähettämisessä on valtava työ etsiä sopivat kohteet, ottaa selvää minne kutsu pitäisi lähettää, mahdollisesti selvittää asiaa ylläpitäjien kanssa…), otos on silti vahvasti vinoutunut.
3. Vastaajien alkuperä. Maiden arvot on saatu vastaajilta, joilta on ainoastaan kysytty tämänhetkinen asuinmaa. Vaikka valehtelua tuskin esiintyy paljon, ei-englanninkielisissä maissa, joissa on merkittävästi ulkomaista työvoimaa (esim. suurten tuloerojen öljymaat?), voi olla suurikin osa ulkomaalaisia.
4. Englanninkieliset kyselyt. Vaikka mittarit olisivat valideja, niitä tuskin on validoitu englanninkielisinä muiden kulttuurien edustajilla. Väittämät on esitetty tietyn kulttuurin näkökulmasta, jolloin ihmiset muista kulttuureista saattavat ymmärtää ne ja vastata niihin eri tavoin – esimerkiksi sen suhteen arvostetaanko muista välittämistä vai toisten asioista erossa pysymistä, tai emotionaalista ekspressiivisyyttä vai rauhallisuutta.

Johtopäätöksenä: tutkimuksessa ei yritetty laittaa maita empaattisuusjärjestykseen, eikä näillä tiedoin aineisto siihen lainkaan sovikaan.

*) Huomautus: tuntematon osa aineistosta ei ollut tätä kirjoitettaessa saatavilla, koska supplementary materials, missä esim. vertailu maittain on esitetty, ei toimi lehden omilla sivuilla, eikä sitä löytynyt myöskään nopeasti etsittynä tutkijoiden omilta sivuilta tai yliopistojen sivuilta. Arvio perustuu siis artikkelin tekstiin, ja siinäkin lähinnä metodien ja diskussion pikaiseen silmäilyyn.

edit: Sain käsiini lisämateriaalit (kiitos Frank Martela), ja myös linkki lehden sivuilla korjattiin. Pikaisesti katsomalla vastaajien rekrytoinnista ei kerrottu lisämateriaaleissa mitään enempää. Tämä jää siis mysteeriksi, joten emme voi olettaa että otokset olisivat lainkaan edustavia – lumipallo-otos somen kautta vaikuttaa todennäköiseltä. Tarkastelin vain taulukkoa 1, jonka perusteella uutisoidut “empatia-rankingit” on tehty.