Statistiline andmeteadus ja visualiseerimine MTMS.01.100     Praktikumid     Projektid

Andmete kraapimine veebist

Andmete kraapimine veebist

Sissejuhatus

Eva “Usin” Masin on esimeses praktikumis kohatud Mati “Raha” Masina vastand. Talle meeldib rutiinsus, andmete tuim kopeerimine ja sisestamine. Vabal ajal meeldib talle lugeda romaanisarja “Tõde ja õigus” - eelmine nädal luges ta kokku tähekombinatsiooni “pa” esinemissageduse. Homme pärast tööd jätkab ta “pb” esinemissageduse leidmisega.

Õnneks oli eelnev tekst fiktsioon ja Eva-laadsed kopeerijad surid välja koos neandertaallastega. Selles praktikumis vaatame, kuidas R-is ellu äratada tehis-Eva, kes oskab veebilehtedelt automaatselt infot eraldada ja selle transformeerida struktureeritud andmestikuks.

Täpsemalt, uurime

  • kuidas eraldada Riigikogu hääletamistulemusi,
  • kuidas eraldada Postimehe uudiste pealkirju,
  • kuidas eraldada ilmajaama vaatlusandmeid.

Kaks esimest ülesannet õpetavad paketi rvest funktsionaalsust ja annavad sissejuhatuse veebikraapimisse minimalistlike veebilehtede põhjal.

Ülesanne 1 (2 punkti) - CSS id

Eralda html koodis sinisena olev tekst muutujasse tekst. Kasuta paketti rvest.

  • Vastava html koodiga saad mängida siin.

  • Loe lühiülevaadet, millest koosnevad veebilehed ja uuri paketi rvest minimalistlikku näidet siit.

  • Minimalistliku näite põhjal peaksid oskama eraldada lähtekoodis olevad 4 lõiku. Et eraldada lõik, kus id=“p01”, pead teadma, kuidas CSS-is tähistatakse id-sid. Suur vihje on olemas eelneva html koodi < style > blokis. Abiks võib-olla ka CSS selektorite interaktiivne testnäide.

  • (1 boonuspunkt) CSS selektorite õppimiseks on tore tutorial http://flukeout.github.io/. Tee läbi esimesed 6 taset ja saada vastused tekstina.

  • Uuri paketi rvest dokumentatsiooni. Kasuks tulevad funktsioonid read_html, html_node, html_nodes ja html_text.

  • Lõpptulemus peaks olema selline: tekst = c("I am different.")

url = "http://andmeteadus.github.io/2017/examples/html1.html"

# sinu kood

Ülesanne 2 (2 punkti) - CSS class

Eralda html koodis punaselt olev tekst muutujasse tekst. Kasuta paketti rvest.

  • Vastava html koodiga saad mängida siin.

  • Lõpptulemuse peaks olema selline: tekst = c("I am different.", "I am different too.")

url = "http://andmeteadus.github.io/2017/examples/html2.html"

# sinu kood

Ülesanne 3 (3 punkti)

Eralda Riigikogu hääletamistulemuste veebilehelt (lähtekoodi nägemiseks paremklikk ja Wiew Page Source), mitu saadikut hääletas “kobarseaduse”:

  • poolt
  • vastu
  • oli erapooletu
  • ei hääletanud

Praktikumis tutvusime, kuidas brauseri veebiarenduse tööriistadega leida üles lähtekoodist vajalikud kohad. Variandid olid:

  • Chrome’is vajuta parem klikk ja “inspekteeri elementi”. Alernatiivid on klahvikombinatsioon Ctrl + Shift + I või klahv F12.
  • vahendiga selectorgadget

Need muudavad lähtekoodis õige klassi, id või sildi leidmise oluliselt lihtsamaks. Mõnes olukorras on kasulikum üks variant, mõnes teine.

Vihjed:

  • Väärtuste eraldamiseks kasuta atribuuti href. Uuri, kuidas eraldada atribuute CSS-i õppimise tutorialist http://flukeout.github.io/ (alates levelist 27).

  • Kasutada paketi readr funktsiooni parse_number() kui sa ei taha regulaaravaldistega mässata. Vaata näiteks, mida teeb järgmine koodirida "Kokku: 101 liiget" %>% parse_number()

url = "https://www.riigikogu.ee/tegevus/tooulevaade/haaletused/haaletustulemused-kohalolekukontroll/b3d7e354-3656-477a-8482-fbdd2ddbe64c/"

# sinu kood

Ülesanne 4 (3 punkti)

Eralda “kobarseaduse” hääletamistulemuste andmetabel, kus on 101 rida ja tunnused Nimi, Otsus ja Fraktsioon.

Vihjed:

  • kasuta funktsiooni html_table,
  • tabelis veeru Otsus puhastamiseks saab kasutada näiteks paketi stringr funktsioone str_sub() ja str_locate() (viimasega otsida näiteks topelt tühikute asukohta).
 # sinu kood

Ülesanne 5 (2 punkti)

Visualiseeri, kuidas jaotusid otsused fraktsioonide lõikes.

 # sinu kood

Ülesanne 6 (3 punkti)

Eva “Usin” Masin töötab start-upis, mis lubab Eesti turule tuua unikaalse personaalse uudisterakenduse, mis filtreerib uudiseid vastavalt kasutaja soovidele. Eva “Usin” Masin pandi koostama andmebaasi Postimehe esilehe uudiste kohta. Eva teab, kuidas karjääriredelis ülespoole ronida: “Bossi käsu peale olgu uudiste pealkirjad võimalikult kiiresti olemas”.

Automatiseeri seesama protsess. Tagasta kõik Postimehe esilehe uudiste pealkirjad (joonisel näidatud kollasega).

  • Ära kurvasta, kui sa ei saa absoluutselt kõiki pealkirju, 97% on praegu piisav.
  • Kui sulle ei meeldi Postimehe veebilehe hiiglaslikku lähtekoodi inspekteerida brauseris vaikimisi olevate vahenditega, siis abiks on praktikumis tutvustatud tööriist selectorgadget.
  • Vaata, et sinu tagastatud pealkirjade hulgas poleks tühju sõnesid või arve.
url = "http://www.postimees.ee/"

# sinu kood

Ülesanne 7 (3 punkti)

Eva “Usin” Masinal on suur huvi ilmaandmete vastu. Kümme minutit pärast iga täistundi märgib ta Ilmateenistuse vaatlusandmeid oma märkmikku, et hiljem analüüsi teha.

Automatiseeri seesama protsess.

Juhised:

Näpunäide:

Ülesanne 8 (3 punkti)

Eva “Usin” Masin on lotohuviline, aga ta pole aastaid Viking Lottoga võitnud. Ta arvab, et lototulemused pole päris juhuslikud ning lotos on võimalik statistiline eelis saada. Seepärast märgib ta iga lotokolmapäev Viking Lotto loositud numbrid üles ja uurib, kas number kahtesid loositakse rohkem välja, kui juhus lubaks.

1.) Õpeta tehis-Eva tegema seda sama.

  • Eesti Loto veebilehel on toodud statistika loositud pallide sagedusest.
  • Eralda vastav tabel, kus veergudes on tunnused Number, Sagedus ja Sagedus protsentides.
  • selectorgadget veab sind siin alt ning kergem on lähtekoodi inspekteerida brauseris olevate tööriistadega (Chrome’s vajuta Ctrl + Shift + I või tee parem klikk ja vajuta inspekteeri elementi).
  • Visualiseeri saadud andmetabelit. Tee näiteks tulpdiagramm, kus x-teljel on arvud 1-48 ning y-telg tähistab sagedust.

2.) (2 boonuspunkti + lisaboonuspunkt) Viimase 250 loosiga on pall 35 tulnud 31 korral, pall 43 aga 61 korral. Uuri, kas on alust arvata, et Viking Lotto süsteem on kallutatud. Selleks mõtle välja, kuidas seda kontrollida (näiteks võid kasutada simulatsioonidel põhinevat lähenemist). Selgita lühidalt oma lähenemist ja raporteeri, millise tulemuse said. Lisaboonuspunkti saamiseks visualiseeri seda tulemust.

Boonusülesanne 1 (kuni 5 punkti) - Kas kõik teed viivad Facebooki? (ehk juhuslik ekslemine veebilehtedel)

Alusta suvaliselt veebilehelt. Eralda kõik väljuvad lingid. Vali üks neist linkidest suvaliselt. Hüppa sellele lingile. Kui sellel leheküljel pole ühtegi väljuvat linki, mine tagasi. Kui väljuvaid linke on mitmeid, vali jälle välja suvaline ja hüppa sinna. Kui jõudsid Facebooki, on katse lõppenud. Korda seda protsessi mitu korda ja erinevate alglehtedega. Uuri, mitmel juhul jõudsid FBsse.

Näpunäide: Abiks on paketi rvest funktsioon follow_link().

Boonusülesanne 2 - Facebooki API kasutamine

Kasuta paketti Rfacebook ning leia:

(1 boonuspunkt) Mis on olnud Tartu Ülikooli Facebooki lehe kõige populaarsem postitus? Mis on olnud matemaatika ja statistika intituudi Facebooki lehe kõige populaarsem postitus?

(5 boonuspunkti :-)) Kasuta R-i, et uuendada oma staatust tekstiga ‘Teen aine “Statistiline andmeteadus ja visualiseerimine” kodutööd. Väga põnev! :-)’. Abiks on käsk updateStatus.

Abistavad lingid: