Datavarasto ja datajärvi
Määritelmä, yhtäläisyydet ja erot
Yrityksissä kerättyjen tietojen määrä kasvaa jatkuvasti, ja sen myötä myös tarve hallita näitä tietoja optimaalisesti ja käyttää niitä analyyseissä kasvaa. Tietovarastot ja datajärvet ovat vakiintuneita ratkaisuja suurten tietomäärien tallentamiseen. Kerromme näiden kahden vaihtoehdon tärkeimmistä eroista.
Mikä on datavarasto?
Termi datavarasto viittaa tietojen keskitettyyn kokoamiseen, joka on yleensä osa business intelligence -ratkaisua. Sinne voidaan kerätä ja tallentaa suuri määrä tietoa eri lähteistä. Tätä varten tietovarasto poimii säännöllisesti tietoja eri järjestelmistä, jotka sitten tarkistetaan, puhdistetaan, muotoillaan ja verrataan jo olemassa oleviin tietoihin. Näin tapahtuu niin sanottu ETL-prosessi (Extract, Transform, Load). Tätä varten määritetään ensin tietojen rakenne, eli niin sanottu skeema. Tätä menettelyä kutsutaan nimellä Schema on Write, ja siinä määritetään, miltä konsolidoidut tiedot näyttävät. Koska tiedot tallennetaan yleensä taulukoihin, skeema vastaa esimerkiksi seuraaviin kysymyksiin:
- Miltä taulukon rivi näyttää?
- Mitä ominaisuuksia kukin rivi sisältää?
- Mitä tietoja odotetaan olevan?
Käsitellyt tiedot tallennetaan siten, että käyttäjät voivat käyttää niitä milloin tahansa.
Datavarastojen edut
- Helppo analyysi: Koska tietovarastossa olevat tiedot ovat saatavilla yhtenäisessä muodossa, niitä voidaan helposti analysoida BI-järjestelmässä ja siten käyttää päätöksentekoon. Myös käyttäjät, joilla ei ole tietoteknistä osaamista, voivat näin ollen saada tärkeitä oivalluksia saatavilla olevista tiedoista.
- Tietojen yhdistäminen: Koska tietovarastoon kerätään tietoja eri tietokannoista, eri lähteistä peräisin olevat tiedot voidaan helposti liittää toisiinsa tai niitä voidaan analysoida korrelaatioiden löytämiseksi.
- Tiedon laatu: Koska tiedot validoidaan ja muotoillaan ennen niiden tallentamista, tietovarasto sisältää vain yhdenmukaisia ja olennaisia tietoja. Käytettävissä olevien tietojen laatu on näin ollen erittäin korkea.
Datavarastojen haitat
- Puuttuvat tiedot: Datavarastoon tallennetaan vain sellaiset tiedot, joita tarvitaan alun perin aiottuun tarkoitukseen. Jos lisää tietoja tarvitaan, ne on lisättävä tietovarastoon hankalalla tavalla.
- Vähemmän joustavuutta: Jos tietovaraston käyttötarkoitus on muuttunut tai jos tulevaisuudessa tarvitaan lisää tietoja, datavarastoa on mukautettava. Tämä johtuu siitä, että tietomalli tai -rakenne on määritelty etukäteen (schema on write). Tämän muuttaminen voi olla aikaa vievää ja kallista. Tietovarasto ei näin ollen ole yhtä joustava uusien tietolähteiden suhteen.
- Korkeat käyttöönottokustannukset: Koska schema on write on määriteltävä ennen datavaraston käytön aloittamista, syntyy aluksi korkeampia kustannuksia.
Mikä on datajärvi?
Datajärvellä tarkoitetaan keskitettyä tietovarastoa, johon tallennetaan suuria määriä eri lähteistä peräisin olevia tietoja, yleensä raakamuotoisina. Mutta myös strukturoitua tai puolistrukturoitua dataa voidaan säilyttää. Kun siis datavarastoon tallennetaan vain strukturoitua tietoa, datajärviin voidaan tallentaa tietoa eri muodoissa ja saattaa se näin käyttäjien saataville. Tällöin tietomalli tallennetaan yksityiskohtaisesti vasta sisältöä luettaessa (schema on read), mikä voi olla virhealtista. Siksi tässä tapahtuu ELT-prosessi (Extract, Load, Transform).
Datajärvien edut
- Saavutettavuus: Yrityksen tiedot tallennetaan keskitetysti datajärveen, joten kaikki käyttäjät pääsevät niihin helposti käsiksi.
- Tietosiilojen välttäminen: Sekä strukturoitua että puolistrukturoitua tai strukturoimatonta tietoa voidaan tallentaa. Näin vältetään datasiiloja.
- Suuri joustavuus: Tietoa voidaan muuttaa ja muokata, jotta sitä voidaan analysoida eri tarkoituksiin. Lisätietolähteitä voidaan lisätä helposti ja ilman suuria muutoksia datajärveen.
- Koneoppiminen: Tallennetut tiedot soveltuvat erinomaisesti koneoppimiseen.
Datajärvien haitat
- Varastointikapasiteetti: Koska kaikki tiedot tallennetaan suodattamattomina, tarvitaan enemmän muistia kuin datavarastossa.
- Tietojen laatu: Ilman tietojen laatua ja tiedonhallintaa koskevia toimenpiteitä tallennetuista tiedoista voi tulla nopeasti niin sanottu datasuo. Datasuot on ylläpitämätön datajärvi, jossa tietoja tallennetaan ilman asianmukaista dokumentointia, jolloin yleiskuva katoaa nopeasti.
Samankaltaisuudet ja erot
Sekä datavarastot että datajärvet on suunniteltu liiketoiminta-analyysejä varten, ja ne toimivat yrityksen keskeisinä tietovarastoina. Koska niiden tarkoitus ja tavoitteet ovat samankaltaiset, nämä kaksi teknologiaa on helppo sekoittaa keskenään. Tärkeimmät erot ovat:
| Tietovarasto | Tietojärvi | |
| Tietorakenne | Jäsennellyt, käsitellyt tiedot | Jäsennellyt ja puolijäsennellyt tiedot, mutta ennen kaikkea raakatiedot |
| Tietojen tallentamisen tarkoitus | Määritelty, joten tietomäärä on pienempi | Ei määritelty, joten tietomäärä on suurempi |
| Käyttäjät | Erilaiset käyttäjät, joilla ei yleensä ole tietoteknistä osaamista | Tarvitaan data-analyytikoita tai erityisiä työkaluja, jotta tiedot voidaan muuntaa muiden käyttäjien ymmärrettävään muotoon |
| Esteettömyys | Muutokset ovat monimutkaisia ja kalliita | Tiedot ovat helposti saatavilla, ja niitä on nopea ja helppo päivittää |
| Schema | Schema on Write: Schema määritellään ennen tietojen tallentamista | Schema on Read: Schema määritellään, kun tietoja luetaan |
Miten tehdä oikea valinta
Se, onko datavarasto vai datajärvi sinulle parempi valinta, riippuu useista tekijöistä, jotka saattavat jo käydä ilmi näiden kahden tekniikan välisistä eroista. Kysy siis itseltäsi:
- Pitäisikö tietojen olla jäsenneltyjä vai raakamuotoisia?
- Täytyykö tietojen palvella tiettyä tarkoitusta?
- Kuka tietoja käyttää?
- Kuinka todennäköistä on, että arviointivaatimukset muuttuvat?
Tulevaisuus: Data Lakehouse
Yritykset eivät useinkaan pysty tekemään selkeää päätöstä siitä, tarvitsevatko ne datavarastoa vai datajärveä. Ne tarvitsevat pikemminkin molempia - datajärveä, jotta ne voivat hyödyntää raakadataa, mutta myös datavarastoa, jotta ne voivat tarjota analytiikkaa kaikille liiketoiminnan käyttäjille. Näiden kahden teknologian samanaikaisesta käyttämisestä on kuitenkin se haittapuoli, että tiedot tallennetaan kahteen tai useampaan paikkaan, joten niitä on myös analysoitava, ylläpidettävä ja valvottava eri paikoissa. Tämä puolestaan voi johtaa virheisiin tai vanhentuneisiin tietoihin.
Data lakehouse yhdistää datajärvien joustavuuden ja datavaraston rakennetta luovat prosessit ja tarjoaa siten molempien tekniikoiden parhaat puolet. Näin BI-järjestelmässä voidaan analysoida myös jäsentymätöntä dataa.
Päätelmä
Datavarastot ja datajärvet on suunniteltu liiketoiminta-analyysejä varten. Molemmilla on etunsa ja haittansa, mutta ne voivat myös täydentää toisiaan. Se, mikä on sopivampi ratkaisu yrityksesi tietojen hallintaan, riippuu tarpeistasi ja erilaisista olosuhteista.
myPARM BI -liiketoimintatiedon hallintaohjelmistoact perustuu pääasiassa tietovarastoon. Tämän ansiosta myös työntekijät, joilla ei ole tietoteknistä osaamista, voivat analysoida tallennettuja tietoja, laatia raportteja ja kaavioita sekä saada tärkeää tietoa tiedoista.
Se löytyy myPARM BI:stäact on kuitenkin myös mahdollista liittää ja analysoida puolirakenteisia tietoja. Tämä edellyttää kuitenkin syvällisempää tietämystä tietomallien rakenteesta tällaisten tietojen analysoimiseksi. Toisin sanoen tässä saatetaan tarvita data-analyytikon osaamista.
Lue lisää Business Intelligence Software -ohjelmistosta myPARM BIact:
Haluaisitko tutustua myPARM BIactiin demoesityksessä? Siinä tapauksessa voit varata ajan tapaamiseen vaikka samantien!