Syrjäyttävätkö data marketplacet tulevaisuudessa dataintegraatiot?
Mihin suuntaan data-alustaratkaisut ovat tulevaisuudessa menossa? Korvaavatko data marketplacet ratkaisut perinteisen datan integraatiokehittämisen? Millaisia voittoja, mahdollisuuksia ja riskejä eri vaihtoehtoihin liittyy?
Perinteinen datan integraatiokehittäminen on usein kokoelma ETL-prosesseja, SFTP-siirtoja, API-rajapintoja, tietokantayhteyksiä ja toimittajakohtaisia ratkaisuja. Jokainen integraatio tuo mukanaan oman kehityksen, testauksen, dokumentaation, valvonnan, tukiprosessin ja elinkaaren. Vaikka vakinaistuneet lainalaisuudet esimerkiksi dokumentaation laadun osalta pätevät, on virhetilanteissa kuitenkin usein aloitettava alusta: Onko vika lähdejärjestelmässä, verkossa, API-avaimissa, VPN-yhteydessä, integraatioalustassa, kohdejärjestelmässä vai ajastuksessa? Eri toimittajilla on eri tukipyyntöpaikat, eri SLA:t ja eri näkemys omistajuudesta. Tämä on usein aikaa vievää ja kallista.
Viime vuosina data-alustojen ympärillä on alkanut syntyä uusia ratkaisuja, joiden mainostetaan tuovan merkittävästi hyötyjä perinteiseen ETL-kehitykseen verrattuna. Termi data marketplace on alkanut yleistyä eri pilvipalvelutoimittajien palveluvalikoimassa. Data marketplacella tarkoitetaan ”kauppapaikkaa”, jossa datan tuottajat voivat jakaa datan käyttäjille ilman, että jokaiselle yhteydelle rakennetaan omaa räätälöityä integraatiota. Taustalla toimii yleensä erilaiset data sharing -teknologiat, jotka antavat datan käyttäjälle pääsyn suoraan tuottajan dataan, ja pilvipalveluteknologiat hoitavat taustalla tarvittavat yhteyskonfiguroinnit sekä luvitukset.
Data marketplacen keskeiset hyödyt
Pilvipalveluiden toimittajat mainostavat erilaisia data marketplaceja yleensä kahdella pääasiallisella argumentilla: datan virtualisoinnilla ja AI-natiiviudella.
Datan virtualisoinnilla tarkoitetaan sitä, että dataa ei tarvitse kopioida paikasta toiseen, vaan datakyselyt kohdistuvat aidosti sinne missä data on tallennettuna. Tämä suoraviivaistaa integraatiokehittämisen prosessia, kun yhteyksien rakentaminen ja tallennus yksinkertaistuu.
Ajatus on hyvä ja hyöty selkeä mutta ei välttämättä niin merkittävä kuin mitä mainostetaan. Kaikki datan kopiointi ei ole turhaa. Kopioita tehdään usein suorituskyvyn, tietoturvan, saatavuuden, regulaation tai raportointitarpeiden vuoksi. Myöskään tallennuskustannus ei yleensä ole kokonaisuuden kannalta suurin ajuri: Pilvipalveluiden kehityksen kuluista merkittävämpi osa syntyy laskennasta, muiden palveluiden/työkalujen käytöstä, tekoälykrediiteistä ja ennen kaikkea kehittäjätyöstä.
AI-natiiviudella toimittajat markkinoivat yleensä tiedon luokittelua ja metadatatietojen syöttämistä, jonka pohjalta tekoäly saa laajemman kontekstin dataan. Tästä on mielestäni hyötyä myös mutta haasteena on, että tämänhetkinen tekoälyn adoptiokyky ei vielä riitä, eikä tekoälysovellusten kehittämisen ja käytön suurimmat esteet ole toistaiseksi kontekstin ymmärtämistä. Itse datan laadussa kun on yleensä jo tarpeeksi parannettavaa.
Näiden yleisimpien esiin nostettavien hyötyjen sijaan nostan itse mielestäni kaksi merkittävintä hyötyä, joita data marketplace voi tarjota tulevaisuudessa.
Integraatiotyön väheneminen
Mielestäni konkreettisin ja suurin hyöty data marketplacen käyttöönotoissa syntyy integraatiotyön vähenemisestä.
Uuden datan käyttäjän tai kumppanin liittäminen voi perinteisesti tarkoittaa VPN-yhteyksiä, palomuurisääntöjä, API-avaimia, sertifikaatteja, SFTP-tunnuksia, testiaineistoja ja integraatiotestausta. Data marketplaceissa osa tästä työstä voi poistua.
Jos data on jo modernilla pilvialustalla ja datan vastaanottaja toimii samassa tai yhteensopivassa ekosysteemissä, uuden käyttäjän lisääminen voi olla enemmän käyttöoikeuden myöntämistä kuin uuden integraation rakentamista.
Kun data esimerkiksi voidaan jatkossa julkaista hallittuna datatuotteena (vrt. rajapinnat perinteisessä ETL-kehityksessä) useille tiedon käyttäjille, jokaiselle ei tarvitse rakentaa omaa integraatiota. Integraatiotyö ei katoa kokonaan, mutta sen painopiste muuttuu.
- Vähemmän epämääräisiä integraatioita.
- Vähemmän toimittajien välistä pallottelua.
- Vähemmän epäselvää omistajuutta.
Siksi kiinnostavin kysymys ei ole:
“Saadaanko data yhteen paikkaan?” tai ”Saadaanko dataan yhdistettyä kontekstia tekoälyn hyödynnettäväksi?”
Vaan:
“Väheneekö integraatioiden rakentamiseen ja ylläpitoon kuluva työ?”
Mitä tämä tarkoittaa käytännössä euroina?
Yhden integraation hinta aliarvioidaan helposti. Yhden integraation kustannus ei ole vain ensimmäinen toteutusprojekti. Mukana ovat suunnittelu, tietoturva-arvioinnit, kehitys, testaus, käyttöönotto, dokumentointi, monitorointi, virheiden selvitys, muutospyynnöt, toimittajakoordinointi sekä mahdolliset alasajot. Siksi yhden integraation kokonaiskustannus on usein ennemmin kymmeniä tuhansia euroja kuin yksittäisiä tuhansia. Joskus paljon enemmän.
Jos organisaatiolla on 60 dataintegraatiota, joista 20 liittyy datan jakamiseen eri sisäisille tai ulkoisille käyttäjille, ja yhden integraation rakentamisen sekä ensimmäisen vuoden ylläpidon kustannus on keskimäärin 30 000 euroa, kyse on 600 000 euron kokonaisuudesta. Jos marketplacella vältetään tästä kolmasosa, säästöpotentiaali on jo noin 200 000 euroa — ennen tulevien vuosien ylläpidon huomioimista.
Data marketplacen tuoma säästö ei siis synny ensisijaisesti pienemmästä tallennuslaskusta. Säästö syntyy siitä, että ihmiset käyttävät vähemmän aikaa saman datan liikuttamiseen paikasta toiseen.
“Data marketplacen hyödyt syntyvät, kun saman datan liikuttamiseen käytetään vähemmän räätälöityjä integraatioita ja metadatatiedot pysyvät aidosti datan mukana.”
Johtaminen on myös se, joka ratkaisee, muuttuuko Tiedosta toimintaan -malli aidoksi tavaksi vai pelkäksi rituaaliksi. Ilman johtamisen ylläpitoa rakenteet rapautuvat ja into hiipuu. Tämän osoittaminen on vaikeaa. Kulttuurin muutos näkyy hitaasti eikä taivu yhteen mittariin. Sitä tärkeämpää on tunnistaa varhaiset merkit eli käydäänkö tiedosta aitoa dialogia vai näennäistä läpikäyntiä, ja seuraako keskustelusta päätöksiä vai vain seurantaa.
Metadatan hallinta ja data governance
Mielestäni heti manuaalisen ja päällekkäisen integraatiokehittämisen vähenemisen jälkeen mielenkiintoisimpana osa-alueena tulee data marketplacen tuomat mahdollisuudet metadatan hallintaan ja data governanceen.
Kun yksi integraatio ei ole vain REST API -rajapinta vaan julkaistu datatuote, saa datatuotteeseen sisällytettyä myös muuta arvokasta tietoa kuin raakadata. Ja mikä parasta, nämä kulkevat koko ajan käsi kädessä eikä niin, että data kulkee rajapintaa pitkin ja metadatatiedot löytyvät (jos löytyvät) jostain yhteistyöalustasta. Julkaistulle datatuotteelle voidaan linkittää suoraan tiedot kuvauksesta, omistajasta, datan päivitystiheydestä, käyttöehdoista sekä rajoitteista.
Tämä muuttaa dataintegraatiotyön luonnetta. Jatkossa työ voi olla vähemmän VPN-putkista ja API-avaimista keskustelua ja enemmän datan merkityksen, laadun ja käyttötarkoitusten etsimistä. Se on hyvä muutos.
“Data marketplace –kehitys mahdollistaa dataintegraatiotyön luonteen muuttumisen enemmän datan merkityksen, laadun ja käyttötarkoitusten etsimiseen.”
Miltä tulevaisuus näyttää data marketplacen osalta?
Jos data marketplace -ajattelun avulla päästään eroon edes osasta hankalasta ja arvoa tuottamattomasta integraatiokehityksestä, on säästöpotentiaali huomattava. Ja jos marketplacet pakottavat samalla kuvaamaan dataa paremmin, nimeämään omistajat ja tuomaan governancen näkyvämmäksi, hyödyt näkyvät myös muualla (kyllä, myös tekoälykehittämisessä). Eri organisaatioiden yleensä jopa lakisääteinen datan jakaminen helpottuu sekä avoimen datan käyttö yleistyvät, kun kahdenväliset integraatiot vähenevät.
Data marketplacet nojaa vahvasti ekosysteemiajatteluun, ja luonnollisesti jokainen isoista pilvipalvelutoimittajista kilpailee samasta asiakkaiden datasta. Data marketplacet eivät tule konseptina lyömään itseään läpi, mikäli aidat luodaan liian korkeiksi eri toimittajien välillä. Toimittajalukon riskiä ei siis kannata unohtaa tässäkään tapauksessa.
Pientä toivonkipinää ovat tuoneet mielenkiintoiset avaukset uusista avoimista standardeista kuten Delta Sharing sekä Apache Ossie (aikaisempi nimitys Open Semantic Interchange). Delta Sharing on Linux Foundationin nykyään omistama protokolla, jonka tarkoituksena on nimenomaan yksinkertaistaa pilvipalveluiden taustalla tapahtuvia datan yhteyskonfigurointeja ja luvituksia. Apache Ossie puolestaan on syntynyt samantyyliseen ongelmaan mutta erityisesti raportoinnin näkökulmasta, ja keskittyy tiedon semanttisuuden standardien yhtenäistämiseen. Vaikka esimerkiksi Apache Ossiessa ei ole ollut allekirjoittajina isoimpia toimijoita (mm. Microsoft ja AWS puuttuvat), on tämä mielestäni osoitus siitä, että alalla on yhteistä tavoitetta luoda yhteisiä pelisääntöjä, jotka onnistuessaan auttaisivat kaikkia.
En itse usko yhteen datan ekosysteemin standardiin. Todennäköisempää kuitenkin on, että tulevaisuudessa data marketplacet tulevat pohjautumaan muutaman suuremman toimittajan ratkaisujen ympärille, mutta näen kuitenkin mahdollisuuden näiden väliselle yhteentoimivuudelle.
Data marketplaceista voi kiistatta olla merkittäviä hyötyjä. Ne voivat muuttaa perinteistä asetelmaa ja tehdä datakehittämisestä helpompaa, halvempaa ja erityisesti datasta asiakkaan liiketoiminnalle entistä hyödyllisempää.
Me Creatidolla autamme mielellämme tämän pohdinnan kanssa. Meillä on kokemusta useiden erilaisten organisaatioiden tietoarkkitehtuurin kehittämisestä, erityisesti monitoimittajaympäristöissä.
Tällaisissa tilanteissa asiakkaalle on erityistä hyötyä kumppanista, joka on 100-prosenttisesti asiakkaan puolella ja auttaa tekemään arkkitehtuurivalintoja kokonaisuuden eikä yksittäisen teknologian näkökulmasta.
