# I osa - veebiloengud, videod, artiklid (4 punkti)

1.  (**3 punkti**) Vaata Johns Hopkinsi andmeanalüüsi kursuse videosid:

-   [The ggplot2 Plotting System - Part 2 (1/3)](https://www.youtube.com/watch?v=zLwrYvH2Hg0&list=PLjTlxb-wKvXPhZ7tQwlROtFjorSj9tUyZ&index=13)
-   [The ggplot2 Plotting System - Part 2 (2/3)](https://www.youtube.com/watch?v=Z3WP_Up8b5I&list=PLjTlxb-wKvXPhZ7tQwlROtFjorSj9tUyZ&index=14)
-   [The ggplot2 Plotting System - Part 2 (3/3)](https://www.youtube.com/watch?v=gU8w0gjSx40&list=PLjTlxb-wKvXPhZ7tQwlROtFjorSj9tUyZ&index=15)

Nimeta kolm kasulikku teadmist, mis videotest teada said. Juhul kui sa kõike juba teadsid, siis nimeta kolm sellist videos mainitud teadmist, mida sa kõige sagedamini kasutad.

**SINU VASTUS:**

2.  (**1 punkt**) Vaata <https://www.youtube.com/watch?v=5Dnw46eC-0o>

Võta selle video idee ühe lausega kokku.

**SINU VASTUS:**

# II osa (10 punkti)

Lahenda praktikumis alustatud [*Growth in a Time of Debt*](https://andmeteadus.github.io/2023/praktikum2_riigivolg/) ülesanded.

# Sissejuhatus

Kati "Makro" Ökonoomika on tavaline Eesti naine, kes saab kõigega hakkama: ta kasvatab üksi last, maksab koguperelaenu ning töötab Euroopa Komisjoni struktuuriüksuses ametnikuna. 2013. aasta alguses andis Olli Rehn, üks toonastest 28-st Euroopa Komisjoni volinikust, talle ülesandeks uurida võlakoorma mõju majanduskasvule.

Kati teadis, et hea uurimus peab põhinema andmetel, mitte ekspertide kõhutundel. Peagi leidis ta artikli [*Growth in a Time of Debt*](http://www.nber.org/papers/w15639), mille põhitulemuseks oli, et kõrgem riigivõlg on seotud madalama majanduskasvuga ning väga probemaatiline on riigivõlg, mis on üle 90% SKP-st. Artikkel tundus usaldusväärne, sest artikli autoriteks on tunnustatud majandusteadlased Harvardist, artiklit oli tsiteeritud sel hetkel juba üle 500 korra ning see põhines 50-aastasel perioodil.

Juba 9. aprillil 2013 kasutas Olli Rehn oma kõnes Rahvusvahelisele Tööorganisatsioonile Kati leitut:

> public debt in Europe is expected to stabilise only by 2014 and to do so at above 90% of GDP. Serious empirical research has shown that at such high levels, public debt acts as a permanent drag on growth.

Kati tundis, et ta oma tööd hästi teinud ja unistas aastalõpu boonusest. Tema sisemine rahulolu jäi aga üürikeseks. Majandusteadlased (Herndon, Ash, Pollin) ülikoolist UMass Amherst avaldasid teadusartikli, kus väitsid, et Reinhart-Rogoffi metoodikas on tõsiseid vigu sees, alustades Exceli arvutusveast, andmete väljajätmisest ja valest kaalumismeetodist. Majandusteemalised ajalehed olid täis kriitilisi kommentaare, sest Exceli viga on ju hoomatav kõigile.

![](https://raw.githubusercontent.com/andmeteadus/2023/main/_praktikum2/riigivolg/reinhart_rogoff_coding_error.png)

Moodustati kriisikomisjon, mida pandi juhtima Kati. Vaja on teha suurele hulgale poliitikutele võimalikult lihtsasti selgeks, mille vastu eksisid Reinhart-Rogoff ja kui palju esialgsed tulemused muutusid.

# Tutvumine andmestikuga

20 arenenud riigi kohta on teada SKP kasvunumber ja võlakoorma-SKP suhe aastatel 1946-2009. Andmestikus on järgnevad tunnused:

-   *riik*: mis riigi kohta näitajad on toodud
-   *aasta*: mis aasta kohta käivad SKP kasv ja võlakoorma-SKP suhe
-   *vola_skp_suhe*: võlakoorma ja SKP suhe protsentides
-   *skp_kasv*: SKP kasvunumber
-   *exceli_viga*: binaarne tunnus, mis näitab, kas andmepunkt jäi RR analüüsist välja Exceli *arvutusvea* tõttu (kui on 1, siis jäi välja)
-   *valikuline*: binaarne tunnus, mis näitab, kas andmepunkt jäi RR analüüsist välja (HAP väitel selekteerimise tõttu, RR väitel, et neid andmeid analüüsi tegemise ajal polnud. Kui on 1, siis jäi RR analüüsist välja.)

Laadi alla andmestik [skp_ja_volg.csv](https://andmeteadus.github.io/2023/data/skp_ja_volg.csv) ja loe töökeskkonda.

### Ülesanne 1 (2 punkti) - RR ja HAP tulemuste reprodutseerimine

Kontrolli, kas suudad reprodutseerida RR ja HAP tulemused. Praktikumis tutvusime paketi *dplyr* [%\>% operaatoriga](https://andmeteadus.github.io/2023/praktikum1_dplyr/). Soovitame seda kasutada selle ülesande lahendamisel.

Juhised:

-   Lisa uus tunnus, mis näitab *vola_skp_suhe* kategooriat (`< 30%`, `30-60%`, `60-90%`, `> 90%`). Näpunäide: kasuks tuleb käsk `cut`.

-   kaalumisviisid\
    HAP kaalub igas kategoorias andmepunkte võrdselt (ehk võtab tavalise aritmeetilise keskmise), RR arvutab igas grupis riikide keskmise ja võtab neist aritmeetilise keskmise.

![](https://raw.githubusercontent.com/andmeteadus/2023/main/_praktikum2/riigivolg/kaalumine.png)

-   RR-i tulemuste reprodutseerimiseks jäta arvutustest välja andmepunktid, mis jäid välja Exceli vea tõttu (vt tunnus *exceli_viga*) ja andmete puudumise tõttu (vt tunnus *valikuline*).

-   RR tegid ka kopeerimisvea: kopeerides riikide keskmisi ühest Exceli tabelist teise, muutus Uus-Meremaa keskmine SKP tõus grupis *"\> 90%"* väärtuselt -7.6 väärtuseks -7.9. (Näpunäide: kasuks tuleb käsk `ifelse`.)

```{r}
# SINU LAHENDUS

```

Peaksid saama sellise tulemuse

```{r, echo=FALSE}
library(knitr)

df = data.frame(group=c("<30%", "30-60%", "60-90%", ">90%"),
                RR_mean=c(4.1, 2.9, 3.4, -0.1),
                RR_median=c(4.2, 3.0, 3.1, 1.6),
                HAP_mean=c(4.2, 3.1, 3.2, 2.2),
                HAP_median=c(4.1, 3.1, 2.9, 2.3))
kable(df)
```

### Ülesanne 2 (1 punkt) - visualiseeri võlakoormuse muutumist ajas

Visualiseeri, kuidas võlakoorem on aastate jooksul muutunud riikide lõikes

```{r}
# SINU LAHENDUS

```

# Kuidas efektiivselt visualiseerida ...

Järgnevalt püüame leida parima viisi, kuidas efektiivselt visualiseerida

1.  millised vaatlused jäid RR analüüsist välja
2.  kuivõrd erinesid RR ja HAP analüüside tulemused
3.  kas võlakoormus suurem kui 90% on maagilise tähtsusega (st kas piir on just täpselt 90%)
4.  milline on seos SKP ja võlakoormuse vahel

### Ülesanne 3 (1 punkt) - millised vaatlused jäid RR analüüsist välja

```{r}
# SINU LAHENDUS

```

### Boonusülesanne 1 (2 punkti) - kuidas erinesid RR ja HAP analüüside tulemused

HAPi raportis kasutati vasakpoolset joonist, et visualiseerida RR ja HAP tulemuste erinevusi. NY times pani samale joonisele aga mediaani ja keskmise (parempoolne joonis)! Paku välja parem visualiseerimise idee, kuidas muuta arusaadavaks tulemuste erinevus.

![](https://raw.githubusercontent.com/andmeteadus/2023/main/_praktikum2/riigivolg/HAP_NYtimes.png)

Vihje:

```{r, eval=FALSE}
df = data.frame(analyys=c("RR", "RR", "HAP", "HAP"),
                mediaan = c(1, 2, 3, 4),
                grupp=c("30", "60", "30", "60"))

ggplot(df, aes(x=grupp, y=mediaan, fill=analyys)) + 
  geom_bar(position="dodge", stat="identity")
```

```{r}
# SINU LAHENDUS

```

### Ülesanne 4 (2 punkti) - kas võlakoormus suurem kui 90% on maagilise tähtsusega

> Our main finding is that across both advanced countries and emerging markets, high debt/GDP levels (90 percent and above) are associated with notably lower growth outcomes.

Selgitage välja, kas täpselt 90% on just see piir, millest suurem võlakoormus on seotud madalama SKP kasvuga, või on see suhteliselt suvaliselt valitud arv?

Üks võimalik lahendusviis: Tekitage uus kategooria, kus võlg jaotatakse 5 gruppi: `< 30%`, `30-60%`, `60-90%`, `90-120%`, `> 120%`). Arvutage iga grupi kohta mediaanid ja keskmised kasutades RR kaalumisviisi. **NB!** Jätta seekord sisse kõik RR vigadest tingitud vaatlused (Exceli viga) ja kaasake subjektiivsest valikust välja jäetud riigid.

```{r}
# SINU LAHENDUS

```

### Ülesanne 5 (4 punkti) - Kuidas visuaalselt uurida, milline on seos SKP ja võlakoormuse vahel?

Kõigepealt, tehke joonis, kus oleks näha seos SKP kasvu ja võlakoormuse-SKP suhte vahel. Seose iseloomustamiseks võite kasutada `stat_smooth()` abil leitavat joont.

Näinud seost andmestikus, tekib küsimus, ega see seos ei ole lihtsalt juhuslik. Ehk kas vaadeldud seos erineb oluliselt seostest sellistes andmestikes, kus tegelikult SKP kasvu ja võlakoormuse-SKP suhte vahel mingisugust seost ei eksisteeri.

Selle visuaalseks kontrollimiseks võime kasutada järgmist skeemi. See põhineb permutatsioonitestil, mille kohta vaadake esmalt [kodutöö osa I](https://andmeteadus.github.io/2023/praktikum2_kodutoo/) videot <https://www.youtube.com/watch?v=5Dnw46eC-0o>

Skeem:

-   Nullhüpotees on, et võlakoorma-SKP suhte ja SKP kasvu vahel seos puudub.
-   Genereerime meie andmetest permuteerimise teel sellise andmestiku, mis vastab nullhüpoteesile. Näiteks võib fikseerida SKP kasvu väärtused ning neile vastavusse seatavad võlakoorma-SKP suhte väärtused permuteerida. (Näpunäide: permuteerimisel on kasuks funktsioon `sample`.) Järgneval joonisel on näidatud tegelik andmestik ning permuteeritud andmestik (permuteeritud andmestik on saadud, kui on fikseeritud x-tunnus, aga y-tunnused on segamini aetud.)

![](https://raw.githubusercontent.com/andmeteadus/2023/main/_praktikum2/riigivolg/permuteeritud_vs_tegelik_andmestik.png)

-   Leidke eelmises punktis genereeritud andmestikul `stat_smooth` hinnang.
-   Korrake eelnevat näiteks 100 korral ning kandke leitud 100 joont joonisele. Võrdluseks lisage esialgsetel andmetel leitud joon teise värviga. Lõpptulemus võiks tulla sarnane järgmise joonisega:

![](https://raw.githubusercontent.com/andmeteadus/2023/main/_praktikum2/riigivolg/permuteerimine_tulemus.png)

```{r}
# SINU LAHENDUS

```

# III osa (11 punkti)

Lahenda [pettuse tuvastamise ülesanded](https://andmeteadus.github.io/2023/praktikum2_pettus/).

## Sissejuhatus

Markus "Märul" Veekahuri isa on politseinik, ema on politseinik, mõlemad vanaemad on politseinikud ja õde on politseinik. Algul vaadati viltuselt Markuse soovile ülikooli statistikat õppima minna, kuid pärast kahte kuud vaikimist vahetati telefoni teel esimene "tere" ning lepiti uuesti ära.

Kuid nagu elus ikka, ei kuku käbi kännust kaugele. Markus läks tööle Politsei- ja Piirivalveametisse ning tema igapäevatööks sai pettuste tuvastamine, kasutades statistilisi meetodeid. Tema ametirelvaks on Benfordi seadus.

Benfordi seadus (sageli nimetatud kui esimese numbri seadus) kirjeldab arvu esimese numbri sagedust. Paljudes reaalsetes andmetes esineb number 1 esinumbrina umbes 30% juhtudest ning iga järgneva numbri sagedus kahaneb monotoonselt.

![](https://raw.githubusercontent.com/andmeteadus/2023/main/_praktikum2/pettus/benfordi_seadus.png)

Empiiriliselt on näidatud, et Benfordi seadus kehtib näiteks aktsiahindade, jõgede pikkuse, riikide rahvaarvu andmetel. Järgneval joonisel on toodud kaks näidet Benfordi seaduse *kehtimisest*.

```{r, include=FALSE}
library(ggplot2)
library(gridExtra)
library(dplyr)
```

```{r, echo=FALSE}
df1 = data.frame(x=factor(c(1:9)),
                y=c(32.62, 16.66, 11.8, 9.26, 7.63, 6.55, 5.76, 5.14, 4.56))
p1 = ggplot(df1, aes(x=x, weight=y)) + geom_bar() + ggtitle("Twitteri kasutajaid jälgijate arvu lõikes \n") +
  scale_x_discrete("Esimene number") + scale_y_continuous("") + theme(text = element_text(size=11))

df1 = data.frame(x=factor(c(1:9)),
                y=c(31.57, 18.12, 11.88, 9.35, 7.84, 6.09, 5.78, 4.83, 4.53))
p2 = ggplot(df1, aes(x=x, weight=y)) + geom_bar() + ggtitle("Riikide SKP suurus \n") + 
  scale_x_discrete("Esimene number") + scale_y_continuous("") + theme(text = element_text(size=11))

grid.arrange(p1, p2, nrow=1)
```

Markuse ametivennad on järeldanud Benfordi seadusest kõrvalekaldumisest, et Kreeka on võltsinud makromajanduslikke näitajaid või et Iraani valimised olid ebaausad. Benfordi seadusest saad täpsemalt lugeda [Vikipeediast.](http://en.wikipedia.org/wiki/Benford%27s_law)

Selles kodutöös on sinu ülesandeks uurida:

-   kas Benfordi seaduse põhjal võib väita, et FIE-d on võltsinud maksunäitajaid,
-   kas Benfordi seaduse põhjal võib väita, et 2017. aasta kohaliku omavalitsuse volikogu valimistel toimus pettus.

Kuna ülesannetes on vaja teha *ggplot2* abil jooniseid, soovitame esmalt vaadata ära osa I videod *ggplot2* kohta.

## Maksude andmestik

Loe sisse Maksu- ja Tolliameti 2014. aasta [maksude andmestik](https://andmeteadus.github.io/2023/data/maksude_andmestik.csv) ja tutvu andmetega. Andmestikus on järgnevad tunnused:

-   *registrikood*: juriidilise isiku registrikood
-   *nimi*: juriidilise isiku nimi
-   *liik*: kas tegemist on äriühingu, MTÜ, FIE vms
-   *kaibemaksukohuslane*: kas juriidiline isik on käibemaksukohuslane
-   *maakond*: millises maakonnas on juriidiline isik registreeritud
-   *riiklikud_maksud*: käibemaks, tollimaks jne
-   *toojoumaksud_ja_maksed*: sotsiaalmaks, töötuskindlustusmakse jne

### Ülesanne 1 (2 punkti)

Tee 3 joonist, mis iseloomustavad hästi seda andmestikku. Iga joonise juurde kirjuta üks lause, mida see joonis sinu arvates näitab.

```{r}
# SINU LAHENDUS

```

### Ülesanne 2 (2 punkti)

Kontrolli visuaalselt Benfordi seaduse kehtimist tunnustel *riiklikud_maksud* ja *toojoumaksud_ja_maksed*. Selleks tekita esinumbrite histogramm. Nulliga võrduvad väärtused jäta kõrvale. Tee vastav joonis ka FIE-de, äriühingute jne lõikes (vt tunnus *liik*).

Näpunäide: esimest numbrit aitab eraldada näiteks funktsioon `substr`.

```{r}
# SINU LAHENDUS


```

Kommenteeri tulemusi.

Kas sellest võib järeldada, et FIE-d jahmerdavad maksudega?

## 2017 KOV valimiste hääletustulemuste andmestik

Loe sisse [andmestik](https://andmeteadus.github.io/2023/data/KOV_valimised_2017.csv) ja tutvu andmetega. Andmestikus on järgnevad tunnused:

-   *nimi* - kandidaadi nimi
-   *nr* - kandidaadi number
-   *Maakond*
-   *Omavalitsus*
-   *Kood* - omavalitsuse kood
-   *nimekiri* - partei või valimisliit, kuhu kandidaat kuulub
-   *paberhaali* - kandidaadi poolt saadud paberhäälte arv
-   *ehaali* - kandidaadi poolt saadud e-häälte arv
-   *valitud* - kas kandidaat osutus valituks (*true*) või mitte (*false*)

### Ülesanne 3 (2 punkti)

-   Esmalt tee juurde tunnus, mis näitab kandidaadile antud koguhäälte arvu (paberhäälte ja e-häälte summa).
-   Seejärel tekita tunnus, mille väärtusteks on *Eesti Keskerakond*, *Eesti Reformierakond*, *Sotsiaaldemokraatlik Erakond*, *Erakond Isamaa ja Res Publica Liit*, *Eesti Konservatiivne Rahvaerakond* ja *Muu*, st väiksemad erakonnad ja valimisliidud on ühte gruppi kokku võetud.
-   Tee 3 joonist, mis iseloomustavad hästi seda andmestikku. Iga joonise juurde kirjuta üks lause, mida see joonis sinu arvates näitab.

```{r}
# SINU LAHENDUS

```

### Ülesanne 4 (2 punkti)

Kontrolli visuaalselt Benfordi seaduse kehtimist:

-   e-häälte arvul,
-   paberhäälte arvul,
-   koguhäälte arvul.

Seejärel tee eelnevad joonised ka erakondade kaupa. Kommenteeri tulemusi.

```{r}
# SINU LAHENDUS

```

### Ülesanne 5 (3 punkti)

Tee järgnevale joonisele võimalikult sarnane.

![](https://raw.githubusercontent.com/andmeteadus/2023/main/_praktikum2/pettus/erakonnad.png)

```{r, echo=FALSE, warning=FALSE, message=FALSE }
# SINU LAHENDUS

```

Näpunäited:

-   Log-skaala kasutamiseks uuri [järgmisi ggplot2 näiteid.](https://ggplot2.tidyverse.org/reference/scale_continuous.html)
-   Legendi peitmiseks uuri [järgmisi ggplot2 näiteid.](https://ggplot2.tidyverse.org/reference/theme.html) (märksõnaks on `legend.position`)
-   Käsuga `facet_wrap` saab joonise jaotada tükkideks (Mõned [näited](https://ggplot2.tidyverse.org/reference/facet_wrap.html).)
-   Et muuta värvid vastavaks erakonna sümboolikaga, kasuta värve "#00983A", "#FFDE00","#E30613", "#009FE3","#8B4513", "#82368C" (vastavalt KESK, REF, SDE, IRL, EKRE, Muu).
-   Värvide muutmiseks uuri [järgmisi ggplot2 näiteid.](https://ggplot2.tidyverse.org/reference/scale_manual.html)
-   Pööra tähelepanu n-ö akende pealkirjadele ja järjekorrale. Abiks võib olla funktsioon `factor`.

### Boonusülesanne 1 (2 punkti)

Lisa hallid mummud taustale. Tulemus peaks olema selline:

![](https://raw.githubusercontent.com/andmeteadus/2023/main/_praktikum2/pettus/erakonnad_taustaga.png)

```{r, echo=FALSE, warning=FALSE, message=FALSE }
# SINU LAHENDUS

```

# Kodutöö lõpp

## Esita Moodlesse nii .Rmd fail kui ka knitr abil loodud .html väljund.
