Konjunktuuriinstituut eksitab jälle

Soomlaste metoodikamuutus ei ole Konjunktuuriinstituudi omaga võrreldav

Eelmisel nädalal avaldas Konjunktuuriinstituudi juht oma vastulause mu välja toodud andmepõhisele kriitikale, et nende mõõdetud tarbijakindluse numbrid ei ole peale tehtud metoodikamuutust 2022. a. mais enam võrreldavad varasemate numbritega ja seetõttu on suurem osa hädaldamisest ennekuulmatult halva tarbijate seisu üle olnud lihtsalt vale.

Üleminek juhuvalimilt küsitlusfirma veebipaneelile toob igal juhul kaasa olukorra, kus numbrid ei ole enam varasemega võrreldavad ja selle muutusega kaasnes ilmselge äkiline numbrite langus küsitluses. Kuna Konjunktuuriinstituudi vastuses jäi kahjuks kõlama publiku eksitamine ja teemast mööda rääkimine, õiendan paar asja ära. Need on faktiküsimused, mitte arvamused ja nagu ma varemgi kirjutasin - Konjunktuuriinstituut peab tõendama, et nende tehtud metoodikamuutus nii sügavat langust kaasa ei toonud nagu ma olemasolevate ja avalike andmete põhjal näitasin. Euroopa Komisjoni kasutataval -100...100 skaalal, millel keskendusin perede majandusliku seisu hinnangule (sest selle kohta on meil endal ja Riigikantseleil võrreldavad andmed olemas), mis moodustab poole tarbijakindluse baromeetrist, on andmete põhjal metoodikamuutuse efekt ise umbes -17 punkti - kaugelt sügavam kui perioodil 2022-2023, kus metoodikamuutus tehti, toimunud tarbijakindluse langus ise ning paistab selgitavat lausa 80% raporteeritud langusest. Sellise efektiga metoodikamuutust ei tohiks mingil juhul teha. Ja ei ole alust arvata, et ka riigi tuleva aasta 12 kuu majanduse hinnangus (baromeetri kolmas komponent) peaks see metoodikamuutuse efekt olema sellest väiksem - on tõenäoline, et metoodikamuutuse mõju sellele komponendile on vähemalt sarnane. Sel juhul said metoodikamuutusest kahjustatud vähemalt 3/4 komponenti tarbijabaromeetrist.

Soomlaste metoodikamuutus tarbijakindluse hindamisel

Üha uuesti lastakse Konjunktuuriinstituudi poolt kõlada väitel, nagu soomlased oleksid teinud sama muutuse ja mitte midagi ei juhtunud: “Soome üleminek telefoniküsitluselt kombineeritud küsitlusviisile (telefon pluss veeb) toimus kolm aastat varem. Stabiilsel ajal, 2019. aasta alguses, mil polnud ühtki mõjurit, mis kindlustunnet tugevasti häirinuks. Kas näitaja läks langusesse? Ei, üleminekul mingit muutust tulemuses aset ei leidnud”.

Vaatasin selle jutu peale eile lähemalt sisse, kuidas soomlased oma numbreid teevad, milles seisnes nende metoodikamuutus ja milline oli selle mõju.

1. Soomes viib küsitlust läbi Soome statistikaamet ja riiklikule statistikaametile omaselt dokumenteerivad nad avalikult väga suure osa oma tegevustest, metoodikatest jne. Väga väärt eeskuju, sama võiks teha ka Konjunktuuriinstituut, et me ei peaks lootma sellise fundamentaalse muutuse teada saamisel, et nad hakkasid kasutama küsitlusfirma veebipaneeli ainult sellele, et keegi juhuslikult valimisse sattunud paneeli liige sellest ise teada annab. Sedasorti küsimused nii fundamentaalsete riigi näitajate juures peaksid olema avalikult väljas ja jääksid hilisemad segadused olemata.

2. Nii enne kui pärast 2019 metoodikamuutust viivad soomlased küsitlust läbi täielikult Statistikaameti hallatava elanikeregistri põhjal, kust võetakse juhuvalim. Meie analoogias tehakse sarnaseid küsitlusi Siseministeeriumi hallatava elanikeregistri põhjal (seda kasutab muide ka Riigikantselei küsitlus, millele eelmises loos viitasin). Nagu ma eelmises artiklis kirjutasin: see on kõige rohkem “päris” juhuvalim üldse, sest registris on kogu populatsioon, kellest võetakse juhuslikult vastajad (st, see on teoreetiliselt parem kui kvooditud telefoni juhuvalim, mille aluseks on juhuslikele numbritele helistamine - aga juhuvalimid on nad mõlemad).
   
   Selline juhuvalim on kõige erinevam asi üldse küsitlusfirmade veebipaneelidest, kuhu inimesed end ise registreerivad, mis toobki kaasa neid sügavaid kaldeid igasugu mõõdikutes, millest kõik praktikud teavad ja mis on fakti staatuses kogu teadusmaailmas ja mille mõju on näidatud väga paljudes parameetrites ja näitajates uuesti ja uuesti (kes soovib, vaatab eelmises loos olnud viidet ühe rahvusvaheliselt tuntuma uuringufirma Pew metoodilisele ülevaatele). Tegelda avalikult debatiga, kuidas “äkki on hoopis küsitlusfirmade veebipaneelid paremad” on kummaline ja see ei tee au ühelegi küsitluste ja statistikaga tegelevale inimesele. Paneelidel on häid omadusi, aga eelkõige on need kõik seotud odavama hinnaga - ja mitte kuidagi ei saa nende kasutamisel mööda sellest, et neid peab kontrollima ja tasakaalustama juhuvalimitega, sest vastasel juhul lihtsalt ei tea, kas nad vastavad aluseks oleva populatsiooni jaotusele, mida püütakse hinnata või lihtsalt küsitlusfirma veebipaneeli aktiivsemate kasutajate jaotusele. Ja nagu juba viidatud ja Pew poolt näidatud: ka veebipaneelid ise ei ole omavahel võrdsed. Nt on nende vastajate arvu suurendamisel tuntud metoodika, mida nimetatakse "lumepallivalimiks", kus palutakse olemasolevatel panelistidel kutsuda oma tuttavaid ja sõpru (analoogiliselt sellele, kuidas lumepall veeredes suuremaks muutub). Arusaadavalt, nagu reaalne sootsium toimib, toob see kaasa veebipaneeli jaotuse nihkumise kutsujate suunas, sest nende kutsutud on tõenäoliselt lähemal kutsujatele kui juhuvalimile populatsioonist ja sellega kannatab ajapikku veebipaneel üha enam. Veebipaneelide kalded ei ole ajas püsivad.
   
   Millegipärast vastas ka Aivar Voog seda küsimust ERRile kommenteerides teemast mööda, et nemadki saavad sarnase suurusjärgu tarbijakindluses nagu Konjunktuuriinstituut. Intervjueerijal jäi aga kõige olulisem küsimata: kuidas siis Emor tarbijakindlust hindab? Nende kodulehelt saab teada, et samuti 100% veebipaneelis. Minu analüüsi mõte ei olnud ju selles, nagu ainult Konjunktuuriinstituut saaks veebis kehvemaid hinnanguid, vaid vastupidi, ka meie saame veebipaneelis oluliselt madalama hinnangu - ja selle põhjal ma näitangi, et veebipaneelidel on toimetuleku hinnangus oluline negatiivne kalle, sest telefoni juhuvalimi pilt samas küsimuses on oluliselt parem ja seda nii metoodikamuutuse ajavahemikus 2022-2023 samas veebipaneelis, mida Konjunktuuriinstituut kasutab kui ka aastal 2025 teise uuringufirma paneelis. Seda metoodikamuutuse efekti ei saa vaiba alla pühkida jutuga sellest, nagu ebastabiilsetes oludes ei saaks seda hinnata - efekti suurus ajas varieerubki, aga on väga sügav terve nende 3 aasta jooksul ja selle tegelik ulatus tulebki lõpuks ära hinnata ka Konjunktuuriinstituudi küsimustiku peal.

3. Soome muutus 2019. a. seisneb selles, et kui enne olid kõik täpselt samasuguse juhuvalimi vaatlused küsitlejate läbi viidud telefoniintervjuud, siis pärast muutust lastakse inimestel endal veebis ankeet ära saata (ligi 30% tehakse jätkuvalt telefoniintervjuudena). Täpne kirjeldus muutusest siin. Nende puhul vastab tõesti tõele, et neil muutus andmekogumise viis, Konjunktuuriinstituudil muutus aga midagi palju fundamentaalsemat: valim ise.

4. Soomlased testisid metoodikamuutuse tegemise ajal mitu kuud paralleelselt uue ja vana metoodikaga tulemusi, kontrollisid, kui suured on muutuse efektid. Ja said ootuspäraselt tulemuseks, et ka kombineeritud vastamisviisile üleminekul on siiski negatiivne efekt vastustele.

   

   “Tarbijakindluse ja tema komponentide väärtused andmekogumise viisi järgi. Sellel põhinevalt, kombineeritud andmekogumise viis annab süstemaatiliselt negatiivsemad numbrid [minu rõhutus - KK] kui telefoniintervjuud.”
   
   Soomlaste hinnatud metoodikamuutuse suurusjärk on muidugi kordades väiksem kui minnes üle kvooditud telefoni juhuvalimilt küsitlusfirma veebipaneelile, mis on nii kaugel registripõhisest juhuvalimist kui üldse olla saab. Seda efekti pehmendab veelgi see, et jätkuvalt ligi 30% küsitlustest viiakse läbi telefoniintervjuudes. Seda muutust ei saa mitte mingil juhul Konjunktuuriinstituudi muutusega võrrelda, sest kõige olulisem asi soomlastel ei muutunud: tegemist on jätkuvalt väga kõrge kvaliteediga juhuvalimiga elanikeregistrist (Põhjamaade kõrge usaldusmääraga demokraatiale iseloomulikult on vastamismäär neil muuseas lausa ~55%).

5. Konjunktuuriinstituudi juhi vastulauses kõlanud väide, nagu ma oleks millestki valesti aru saanud ja et nad ei kasutanudki varem juhuvalimit, vaid hoopis “kvootvalimit”, räägib teemast paraku mööda ja eksitab lugeja terminoloogilisse sohu. Ka kvooditud telefoni juhuvalim, mida teadaolevalt kasutas Konjunktuuriinstituut varem¹, jääb juhuvalimiks kõige olulisemas omaduses: igal populatsiooni liikmel (siin piiratud telefoniomanikega, aga nende katvus on elanikkonnas ülisuur) on ikkagi umbes võrdne tõenäosus valimisse sattuda, aga seda kuni kvoodi täitumiseni (see tähendab päriselus seda, et kõrgharitud vastajad saavad esimesena täis, sest vastavad kõige parema meelega küsitlustele ja neid siis enam küsitlusse vastu ei võeta, nii tehakse iga kvoodiga). Terminoloogiliselt nimetatakse sellist valimit hübriidvalimiks.
   
   Selline valim ei ole päris sama hea kui selline juhuvalim nagu soomlased elanikeregistri põhjal teevad - päris juhuvalimeid saabki ainult täieliku populatsiooni registri põhjal teha. Küll aga on sellised kvooditud telefoni juhuvalimid kaugelt paremate omadustega kui küsitlusfirmade veebipaneelid, sest sama juhuslike vastajate omadus jääb sinna suurel määral alles ja muidugi on see asi, mida on metoodikauuringutes maailmas korduvalt näidatud. Praktilises maailmas, kui mingit populatsiooni registrit kasutada ei saa, ainult nii telefoni juhuvalimeid tehaksegi, sest vastasel juhul ilma kvoote kasutamata läheb lõplik valim väga kaldu ühiskonna teada olevate parameetrite suunas - esmasena kõrgharitud naiste poole, sest nemad on need, kes kõige parema meelega küsitlustele vastavad.
   
   Võibolla kõige lihtsam viis - ja ma annan endale aru, et tegemist ei olegi kaugeltki mingi lihtsa, vaid väga spetsiifilise valdkondliku küsimusega - selgitada veebipaneelide süstemaatilist kallet võrdluses juhuvalimitega ongi see, et kuigi ka veebipaneelid kaalutakse ühiskonna teada olevate parameetrite (rahvuskoosseis, vanusegrupid, sood, haridustasemed, elupiirkonnad jne) suhtes õigeks ehk “esinduslikuks”, nii et tervik vastab lõpuks elanikkonna koosseisule nende parameetrite poolest, ei saa sellega kunagi saavutada seda, et tervik vastaks elanikkonnale muudes parameetrites, mille täpne jaotus ei ole teada või ka täpselt nendes parameetrites, mille jaotust üritataksegi küsitlusega teada saada - näiteks tarbijate hinnang majandusele. Juhuvalim saavutab selle lihtsalt selle matemaatilise omadusega, et võttes tervikust juhuslikult vaatlusi, läheneme suurte numbritega tõenäosuslikult jaotuseni, mis vastabki populatsiooni tervikule.

6. Soomlased revideerisid toimunud muutuste suuruste ja nende kaaludega kogu aegrea aastani 1995, et reas ei oleks sellest metoodikamuutusest tingitud katkestust, et need andmed jääksid võimalikult võrreldavaks. Täpselt nii, nagu iga korralik statistikaasutus teeb, kui andmed peavad olema võrreldavad.
   
   Ja see paariprotsendise muutusega pilt siin üleval on olukord, mille kohta soomlased kohusetundlikult ja rangelt otsustasid “varasemaid tasemeid revideerida aastani 1995, et vältida metoodikamuutuse põhjustatud selget murdumist aegreas. Revisjoni mõõt hinnati 2019 metoodikamuutuse ajal kogutud andmete põhjal.”

Mida selle kohta kokkuvõttes öelda?

Soomlaste muutus on täiesti teist laadi ja kõige olulisem asi, millest rääkisin eelmises artiklis põhjalikult, ei muutunud neil mitte kuidagi: kõrge kvaliteediga juhuvalim jäi täpselt samaks juhuvalimiks, muutus see, et aktiivne intervjueerija kadus umbes 70% juhtudest ja lisandus võimalus ise privaatselt kirjalikult vastata. Aga ka sel juhul tõi kirjalik vastamine kaasa negatiivse efekti, mis ka soomlaste samas metoodikamuutuse mõju kirjeldavas dokumendis antud hinnangul on laialt teada nähe terves maailmas. Soomlased testisid paralleelselt, leidsid metoodikamuutuse efekti suuruse ja hindasid selle pealt kogu varasema aegjoone ümber, et ei toimuks äkilist katkestust ja langust aegreas, et aegrida jääks võrreldavaks. Meie Konjunktuuriinstituut ei teinud neist mitte ühtegi asja ja on tugev alus olemasolevate andmete põhjal hinnata, et meie metoodikamuutuse efekt umbes 4 korda kõrgem kui soomlaste oma. Nii et vale on ka väide, et Soome aegreas muutust ei toimunud - leitud tegeliku muutuse abil hinnati varasem aegrida ümber. Ma ei tea, kas Konjunktuuriinstituudi juht ei vaadanud lähemalt sisse, mida ja kuidas soomlased teevad või jäi sellesse põhjalikult süvenemata, aga igal juhul on tegemist selge avalikkuse eksitamisega.

Ma ei saa garanteerida, et meil toimunud muutuse suurusjärk ongi see -17 punkti, kuna küsitlused erinevad, aga hetkel on see parim olemasolev hinnang nii lähedastelt andmetelt, kui meil samast perioodist võtta on. Ka aastal 2025, nii aasta alguses kui juunis paistab toimetuleku küsimuses efekt olema väga sarnane kahes erinevas küsitlusfirma paneelis. Et tegelik metoodikamuutuse efekt ära hinnata, peab Konjunktuuriinstituut läbi viima täpselt samasuguse protseduuri nagu Soome tegi, mitte paljasõnaliselt väitma, et “mitte midagi ei muutunud” - selleks ei ole mingit alust ja see on selgelt avalikkust eksitav jäme metoodiline viga.

Olemasolevate teadmiste ja võrdlevate maailma andmete pealt on järeldus tegelikult selge ka selles osas, et ühtegi küsitlusfirma veebipaneeli üksi sedasorti andmete kogumisel kasutada ei saagi, sest uuesti ja uuesti on näidatud nende sügavad kalded teatud küsimustes ja nii me lihtsalt ei saa elanikkonnast adekvaatset pilti riigi jaoks väga tähtsates fundamentaalnäitajates. Paneele võib kasutada juhuvalimite täiendamiseks, selleks on metoodikad olemas, kuidas neid tasakaalustada ja siiski ka paneelide andmeid kasutada - aga usaldada saab siiski ainult hinnanguid, mis olulises osas põhinevad juhuvalimitel.

PS. Tõenäoliselt on sama vea allikaga tegemist ka eile palju ärevust põhjustanud küsitluses, mis näitas Tallinnas Keskerakonna ainuvõimu naasmist. Tegemist on 100% veebiküsitlusega ja selle pealt selliste järelduste tegemine on ennatlik, kuni juhuvalimid neid andmeid ei kinnita.

1. Jääb arusaamatuks, miks Komisjoni lehel aastast 2016 dokumendid uuendamata on. Vaevalt, et fiksnumbreid enam 2010ndate lõpus ka kasutati ja kasutati ikka mobiiltelefone, mis on ammu parem viis. Ometi on ka selles metoodikaviites selgelt öeldud, et valimi koostamise viis (Sampling method) on juhuvalim + kvoodid (Random sampling + Quotas), mille omadusi ma varem kirjeldasin. Ja mis omakorda osutab, et vastulauses tekitati segadust sellega, nagu tegemist ei olekski juhuvalimiga.