Ettevaatust, metoodika! Konjunktuuriinstituut eksib

Riigi fundamentaalnäitajate mõõtmisel tehtud statistilised vead lähevad kalliks maksma

Üle-eelmisel nädalal avaldas Delfi Ärileht artikli, kus viidati ühele ammu teada olevale ja aegajalt uuesti üles tõusvale küsimusele, miks Konjunktuuriinstituudi mõõdetud tarbijabaromeetri numbrid nii negatiivsed on ja kuidas need muude näitajatega kokku lähevad. Lihtsalt öeldes on tarbijabaromeeter küsitlusel põhinev igakuine elanike hinnang nende enda viimase ja tuleva aasta ning riigi majanduse seisule, lisaks hinnang lähemal aastal püsikaupade ostmisele. Neid küsimusi on iga kuu järjepidevalt küsitud Eestis juba 33 aastat ja sama küsimustiku alusel viiakse Euroopa Komisjoni tellimusel küsitlust läbi ka teistes Euroopa riikides, muutes need omavahel võrreldavaks. Neist neljast küsimusest pannakse kokku koondbaromeeter, mida nimetataksegi tarbijabaromeetriks.

Õigusega on viidatud, et arvestades majanduse tegelikku seisu, peaks elanikelt küsitud hinnang nende leibkonna finantsseisule olema positiivsem kui Konjunktuuriinstituudi numbrid näitavad, ning otsitud sellele erinevaid põhjuseid.

Õige on, et tegelikult kippusid need tarbijahinnangud Covidile järgnenud kõrge inflatsiooni tingimustes katki minevat igal pool Läänes ja mitmetes majandustes, millel ei läinud sugugi halvasti (mõnel koguni väga hästi, nt USA-l), kippus inimeste meeleolu olema oluliselt pessimistlikum kui majanduse tegelik seis. Ja tipnes see ajalooliselt halvimate valimistulemustega kõigile võimul olevatele erakondadele 2024. a. valimistel demokraatiates üle maailma.

Eriti meie kandis on siin muidugi veel üks ilmne põhjus: Vene sõda Ukraina vastu ja sellele eelnenud, kaasnev ja senimaani kestev energiasõda, mis omakorda inflatsiooni ja tööstuste sügavate raskuste põhjuseks, sõjast tingitud kõigi riikide tarvidus tõsta kiiresti kaitsekulusid, kärpida ja tõsta makse. Vastupidiselt Eestis ja ilmselt ka igal pool mujal laialt levinud arusaamale teevad muide sama kõik meie kandi riigid, aga eks inimestel on kehv ikka just seal, kus nad ise elavad ja parem on alati seal, kus meid pole.

Metoodikamuutus

See kõik on kindlasti tõsi ja struktuurne põhjus halva meeleolu jaoks kogu Läänes viimastel aastatel. Samal ajal on just Konjunktuuriinstituudi numbrites veel üks spetsiifiline asi, millest siin nüüd põhjalikumalt juttu tuleb: 2022. a. mais mindi nende küsitluses telefonikõnede pealt üle veebiküsitlusele ja sellega kaasnes väga sügav langus vastavates numbrites. Nii sügav, et igaüks, kes natukenegi küsitluste ajajoontega kokku on puutunud, kahtlustaks neid numbreid nähes ja tausta mitte teades siin mingit suurt välist šokki maikuus või siis just metoodikamuutuse mõju.

Aga artiklis toodud Konjunktuuriinstituudi juhi Peeter Raudsepa lause, et nad olla teinud hoopis sellega vea, et nimetasid muutuse metoodikamuutuseks, "kuigi muutus ainult andmete kogumise viis", teeb täiesti nõutuks. Andmete kogumise viis ise ongi metoodika osa, mitte mingi metoodika-väline küsimus! Jätkates Raudsepa mõttekäiguga, kuidas nii äkki ongi parem, sest telefonis ei saada noori kätte (mis on tõsi) ja inimesed saavad veidi rohkem mõelda (mis on ka tõsi), ei saa jätta märkimata, et selles on ju loogikaviga: ei saa samal ajal väita, et küsitlusviisi muutus vastuseid ei mõjutanud ning teisest küljest leida, et uuel viisil on hoopis mingid eelised, mida varasem ei pakkunud – ka juhul, kui inimesed nüüd saavad "paremini järele mõelda", teeb see muutus kogu 30-aastase ajalooga võrdlemise võimatuks. Seepärast hoitakse nt korduvates teadusuuringutes aastakümneid ülipedantselt alles ka selgelt ajale jalgu jäänud sõnastusi, sest muidu ei saa tulemusi üksühele varasemaga võrrelda.

Selliste paljasõnaliste väidetega ei saa kuidagi rahule jääda ja Konjunktuuriinstituudil tuleks näidata, et metoodikamuutus tõesti muutusi mõõdetavates numbrites kaasa ei toonud. Seda oleks ülilihtne teha, viies küsitluse läbi paralleelselt kahel viisil: uuel ja vanal ja võrreldes tulemusi – kui tulemused süstemaatiliselt erinevad, on selge, et metoodika vastuseid mõjutab ja sellist muutust niisama teha ei tohi, kui on soov järjepidevust hoida. Sellel andmekogul taotlus järjepidevuseks muidugi on, sest seda mõõdikut kasutataksegi pidevalt hetkeseisu kontrollimiseks mineviku vastu – kas ja kui palju oleme mineviku keskmisest tasemest kehvemas või paremas seisus.

Selleks katseks ei ole kindlasti hilja. Hindamaks, kui suur metoodikamuutuse efekt võis olla, viisin ma aga seni läbi mõned analüüsid teiste avalikult kättesaadavate andmete ja meie enda andmetega.

Riigikantselei aegrida

Riigikantselei viib kord tihedamalt, kord hajusamalt läbi elanikkonna küsitlust, milles küsitakse muuseas alati nende leibkonna toimetulekut 4-palli skaalal. Kui ma võrdlesin seda aegrida 2020-2023 aastatega, kuhu sisse jäi Konjunktuuriinstituudi metoodikamuutus, oli selge, et need andmed on üsna tugevalt korreleeritud ehk teaduskeeles öelduna mõõdavad sama allolevat konstruktsiooni (nt subjektiivne leibkondade heaolu/toimetulek). Kui regresseerida Riigikantselei andmeid koos teadaoleva metoodikamuutusega 2022. a. mais, selgitab selline mudel 92% Konjunktuuriinstituudi tarbijabaromeetri kahest esimesest küsimusest, mis küsivad perekonna viimase 12 kuu ja tuleva 12 kuu majandusseisu hinnangu kohta. Mida aga Riigikantselei hinnangus kuidagi ei ole, on see sügav langus 2022. a. mais.

Selle analüüsi tulemus on ühene – kuigi korrelatsioon peale metoodikamuutust langeb, jääb see siiski üsna tugevaks ja suur langus inimeste antud hinnangus nende leibkondade majandusseisule Konjunktuuriinstituudi aegreas toimus metoodikamuutuse tõttu.

Salga andmed ja veebivalimi kalle

Meie enda aegreas kahjuks enne 2022. a. septembrit vastavat leibkonna toimetuleku hinnangut ei olnud ja selle küsimusega aegrida on lühike, kuni 2023. a. juunini (peale 2023. a. märtsi valimisi jätsime veel aprillis ja mais ka küsitluse tegemata). Küsimus ise on sama mis Riigikantseleil, aga kasutame 5-palli skaalat, kuna esimesed katsed näitasid, et see andis meile infot juurde. Tegime toona seda kuist lainet Norstatiga ja kuna eelmisel pühapäeval sattus üks mu ökonomistist sõber ise Konjunktuuriinstituudi küsitlusse läbi Norstati paneeli, teame nüüd, et ka Konjunktuuriinstituut kasutab Norstati veebipaneeli. Nii et see annab väga väga hea võimaluse uurida, milline oli aastal 2022 veebivalimi efekt majandusliku toimetuleku küsimusele. Ja see efekt on senimaani üks suuremaid, mida veeb vs telefoni juhuvalim meile näidanud on.

Telefoni juhuvalimites vastavate inimeste hinnangud on süstemaatiliselt järjepidevalt positiivsemad kui veebivalimite omadel.¹ Sarnane seos tuleb välja ka Euroopa Komisjoni lehel olevates täpsemates Konjunktuuriinstituudi küsitluse vastuste jaotuses: negatiivsed hinnangud oluliselt suurenevad alates 2022. a. maist, keskmist jääb vähemaks ja positiivset samuti.

Konjunktuuriinstituudi metoodikamuutuse mõju tarbijabaromeetrile

Kui nüüd viia Salga toimetuleku-küsimus samale skaalale, nagu arvutatakse Euroopa Komisjoni küsitavaid ja Konjunktuuriinstituudi koostatavaid saldosid, saame üle 2022-2023 perioodi keskmiseks tulemuseks, et veebivalimis vastavate inimeste hinnang on keskmiselt -16,7 punkti madalam kui telefoni juhuvalimis vastajatel. See on ülisuur erinevus, oluliselt suurem kui sel perioodil toimunud tegelik toimetulekunihe Riigikantselei ja meie oma andmetes.

Konjunktuuriinstituudi raporteeritud sügavast langusest selgelt üle poole on 2022-2023 perioodil tinginud nende 2022. a. mais tehtud metoodikamuutus ja mitte tegelik inimeste elujärje halvenemine.

Kuidas on seis täna? Kuna mul ei ole käepärast sarnaseid pikemaid igakuiseid aegridasid, kus majandusliku toimetuleku küsimus sees, on seda raske öelda, aga on päris kindel, et vahe on jätkuvalt väga suur – seda meil praegu olemasolevad üksikküsitlused senimaani näitavad. Sealjuures on vahe aastal 2025 väga sarnane ka Turu-uuringute veebipaneeli ja telefoni juhuvalimi vahel, nii et see paistab korduvat kõigis veebipaneelides ja kallutab kõiki veebipaneele.² Ja ei saa välistada, et see vahe on täna suurem, kui 2022 metoodikamuutuse ajal. Selliseid küsimusi on veel. Üks huvitav näide suurest kaldest veebipaneelide ja telefoni juhuvalimite vahel, mis on samuti kordunud mitu aastat ja kõigi veebipaneelide juures, on suhtumine tuumaenergiasse: veebipaneelides osalevad inimesed on lausa kuni 10% punkti tuumaenergia-sõbralikumad kui esinduslikus telefoni-juhuvalimis vastajad. Samas ei ole ligilähedaseltki sellist erinevust ühegi teise elektritootmisviisi juures, enamuse puhul pole veebivalimil ja telefoni juhuvalimil mingit vahet.

Veebipaneeli kalde põhjused

Miks need hinnangud nii palju erinevad, kas asi on selles, mida Peeter Raudsepp ütles, et võibolla on inimestel aega rohkem mõelda? Parimal juhul on see ainult osa tõest. Psühholoogilisi efekte küsitlustele vastamisel on pikalt uuritud ja mingi tõde võib olla siinse küsimuse juures selles, et negatiivseid toimetuleku hinnanguid ei taheta telefoni teel nii väga anda, sest helistab päris inimene. Veebis vastates on tunnetatud anonüümsuse määr suurem. Aga meil on ka positiivseid telefonis oluliselt rohkem.

Kõige olulisem on mõista, et mitte ükski kokku pandud (veebi)paneel ei ole tegelikult juhuvalim – ja ainult juhuvalimist saab matemaatiliselt rangelt teha järeldusi kogu elanikkonna kohta. Juhuvalimi definitsioon on, et igal selle aluseks oleval populatsiooni liikmel peaks olema ligikaudu võrdne tõenäosus sinna sattuda. Iga selle loo lugeja, kes juhtumisi ei ole Norstati veebipaneeli liige, omab täpselt tõenäosust 0 sattuda Konjunktuuriinstituudi tarbijabaromeetri küsitlusse. Veebivalimites osalevad inimesed erinevad mingitel viisidel ülejäänud populatsioonist, aga me ei tea täpselt kunagi ette, mis küsimuses ja kuidas – ja mõnes ei erinegi. Veebivalimid on väga head, kohati asendamatud tööriistad, aga nende kasutamisel peab olema ettevaatlik ja saama aru, kus on nende piirid ja neid igal võimalusel telefoni juhuvalimitega tasakaalustama. Seda teeme meie oma küsitlusandmetega ja näeme kurja vaeva, et telefonivalimeid kätte saada. Telefoniküsitluste tegemine on viimastel aastatel läinud ka väga kalliks.

Kui te meid ei taha niisama uskuda, siis minge küsige Aivar Voogilt Emorist või kas või Ühiskonnauuringute Instituudilt, miks me kõik üldse nende telefoniküsitluste eest rasket raha välja käime, kui veebipaneelid on ju ka olemas? Näiteks, me kõik teame, et veebivalimites on olnud aastaid EKRE valijaid märgatavalt rohkem kui telefoni juhuvalimites ja ainult veebiküsitluste pealt usaldusväärset erakondade reitingut teha ei saa, sest need paneelid lihtsalt on populatsiooni suhtes poliitiliste eelistuste osas kaldus.

Kuidas edasi?

Viimastel aastatel ja kuudel on Eestis jutuks tulnud mitu statistilist viga või eksimust, millel on olnud reaalne tagajärg meie kõigi elule. Näiteks, elektrihinna kasvu ülehindamine tõstis kunstlikult kõrgele inflatsiooninäitajad, mis omakorda jõudis tegelikult makstavatesse tasudesse sadades tuhandetes lepingutes, mis seotud tarbijahinnaindeksiga.

Sellel Konjunktuuriinstituudi veal, mis on kestnud kolm aastat, on samuti tõenäoliselt tegelik mõju Eesti elule, sest sellistel hinnangutel on tagasisidestusmehhanism tegelikku ellu. Varsti kaks aastat oleme me kuulnud, kuidas meie toimetulek ja seis on väga palju halvem kui naaberriikides. Kui arvestada metoodikamuutusest tingitud viga, siis on see ilmselt lihtsalt vale. Aga majanduses öeldakse, et tegemist on isetäituva ennustusega, kriisi ootus toobki kaasa kriisi jne. Siinkohal on kahjuks õigus Jürgen Ligil, et me räägime ennast kehvemaks kui me oleme. Täpsemalt on seda teinud paraku Konjunktuuriinstituut.

Osad vead on paratamatud, tegijatel ikka juhtub. Eesti on väga väike riik ja praeguse ajastu vaimus on kõrgel kohal kõikvõimalik kärpimine ja riigi kokku tõmbamine. Aga sedasorti fundamentaalsete majandusnäitajate mõõtmisel tehtud vead on tervele ühiskonnale kaugelt kulukamad kui tagamine, et vastavatel institutsioonidel on tegelikud ressursid neile pandud ülesannete täitmiseks. Ja inimesed, kes saavad aru, mida nad teevad.

1. Kasutan siin järjestatud logistilist regressioonimudelit üle kõige olulisemate toimetulekut ennustavate sotsiaaldemograafiliste parameetrite (vanus, rahvus, sugu, haridustase, regioon, kuine sissetulek), mille mõtte võib lühidalt kokku võtta nii: “kuidas vastaksid sellele küsimusele täpselt samade parameetritega (ja nende kombinatsioonidega) inimesed keskmiselt juhul, kui nad vastaksid veebipaneelis või telefoni juhuvalimis”.

2. Tõelistele nohikutele veel paar sõna veebipaneelidest. Ka veebipaneelid ise ei sünni võrdselt. 2023. a. tegi Pew väga põhjaliku metoodilise ülevaate erinevate veebipaneelide kalletest. Selgelt paremate tulemustega (aga mitte kunagi sama head kui telefoni juhuvalimid - põhjustel, mida ma üleval loodetavasti piisavalt avasin) olid nn probability-based paneelid. Kõige lihtsama näitena on need sellised paneelid, kuhu inimesi on värvatud nt nende samade telefoni juhuvalimite, rangete reeglitega läbi viidud ukselt uksele küsitluste jmt kaudu. Sellistel aastakümneid end tõestanud viisidel paneelidesse vastajaid kogudes tagatakse, et allolev populatsiooni jaotus on võimalikult juhuslik – kuigi ka seal jääb ikkagi alles mingi erinevus nende inimestega, kes siiski pole nõus paneeliga liituma. Paraku on teada, et sugugi kõik küsitlusfirmad ei suurenda oma veebipaneele sellisel viisil, vaid kutsuvad osalema sotsiaalmeedia reklaamides, lasevad olemasolevatel panelistidel kutsuda sõpru jmt. Kõik sellised viisid tähendavad, et paneeli koostis ei ole juhuslik, vaid kuidagi eelselekteeritud ja selle tulemusel paneeli esinduslikkus kannatab.
Küllap aitaks siin kaasa, kui tellijatel oleks rohkem nõudlikkust küsitlusfirmade pakutavate teenuste osas ja knowhow’d, et paneelide omadusi firmadega täpsustada ja hinnata ja vastavalt küsitlusfirmadel siis ka hinnastada. Kahjuks kipub muidugi keskmise tellija teadlikkus piirduma sellega, et "tegime nüüd küll suure valimi ja see on ju esinduslikuks kaalutud!" ja sinna lõksu tundub olevat langenud kahjuks ka Konjunktuuriinstituut. Valimite süstemaatilisi kaldeid ei kõrvalda valimi suurendamisega ja kaalumisega mitte kunagi ja me ei tea kunagi enne küsitluse tegemist, millistes küsimustes täpselt need süstemaatilised kalded avalduvad, kui seda spetsiifiliselt ei testi.