Data Mesh: en ny tilnærming til organisering av data

13. desember 2021, Georg Rösch, big data

Dagens bedriftsledere har innsett hvor viktig data er for å oppnå resultater, og ønsker derfor å flytte dem fra periferien og inn i sentrale forretningsfunksjoner. Dette kan imidlertid være svært komplisert og vanskelig å håndtere i praksis. Med det nye konseptet kalt «data mesh» tar vi tak i problemet og desentraliserer dataene, slik at brukerne kan få størst mulig utbytte av dem.

Ifølge IDCs prognoser vil de globale datavolumene fortsette å vokse med uforminsket styrke og en årlig vekstrate på 23 prosent fram til 2025. For bedriftene blir det helt avgjørende å nyttiggjøre seg denne dataeksplosjonen. Ifølge Gartner kan Chief Data Officers (CDO-er) komme til å multiplisere forretningsverdien med 2,6 hvis de lykkes med dette.

Det store spørsmålet er hvordan disse dataene kan administreres effektivt og gjøres lett tilgjengelige. Det er her data mesh kommer inn i bildet og – kort fortalt – fordeler dataene på de relevante forretningsdomenene. De respektive avdelingene eier, administrerer og leverer egne data som et produkt til resten av virksomheten.

Å ta i bruk data mesh vil si å sette databrukerne i sentrum for prosessen. Domeneteamene, som består av datavitere, dataingeniører og forretningsanalytikere, er selv både forbrukere og produsenter av nye datasett.

Data Mesh: en distribuert tilnærming til data

Data mesh er ikke et produkt, det er et konsept som beveger seg bort fra monolittiske strukturer som datavarehus og datasjøer. Data mesh er en distribuert, domeneorientert, selvbetjent og plattformbasert tilnærming der dataene betraktes som et produkt.

I motsetning til datavarehus og datasjøer, der spesialisert teknisk personell ofte ikke forstår dataene fra de enkelte domenene til tross for at de har ansvaret for dem, genererer data mesh «data-som-et-produkt». Dette gjør at hvert domene kan kontrollere innhentingen av data og kvaliteten på disse. Data mesh gir sikre data som det er lett å få tilgang til. Dermed forbedres også brukeropplevelsen i betydelig grad.

Hvert enkelt domene fungerer som vert og som behandler for sine egne datasett, og er ansvarlig for at disse skal være lette å bruke. Domenene er altså ikke avhengige av et sentralt dataingeniørteam som samler dataene fra alle domenene i én datasjø.

For at datamesh skal fungere etter hensikten, må databrukerne være aktivt involvert i prosessen. De som eier domenedataene, må forstå hvilke data brukerne trenger, hva de bruker dem til, og hvordan de helst bruker dem. Til sammenligning har sentraliserte team kun ansvaret for å implementere dataene, de bruker dem ikke selv.

Data Mesh krever en helt ny tenkemåte

Data mesh åpner opp distribuerte datasett og gir dermed raskere tilgang og presis datalevering. Men fordi data mesh er mer enn teknologi, krever det betydelige endringer i organisasjonskulturen for å lykkes.

For mange bedrifter betyr dette å gå over til en felles styringsmodell basert på tillit på tvers av organisasjonen o g selvbetjening for de ulike datadomenene. Selvbetjening forenkler datatilgangen, bryter ned siloer og gjør det mulig å dele sanntidsdata i stor skala.

De ulike domenene har selv ansvaret for sine data

De enkelte domenene er ansvarlige for domenerelaterte brukstilfeller eller for å løse konkrete forretningsproblemer. Det sikrer høy datakvalitet ettersom det er de som har mest kunnskap om brukstilfellene som også har ansvaret for databehandlingen.

Dette står i motsetning til datasjøer, som bygger på en sentralisert tilnærming, og der det ofte oppstår problemer fordi dataingeniørteamene som har ansvaret for hvert enkelt implementeringstrinn, mangler kunnskap om det aktuelle domenet. I tillegg har ikke de som produserer dataene, noe insitament til å oppfylle kravene, siden dataene ikke er knyttet til et bestemt brukstilfelle. Det gjør det også vanskelig for brukerne å få noe ut av dataene.

Sentrale komponenter for datastyring og datainfrastruktur

I et data mesh finner vi noen sentrale datastyrings- og infrastrukturelementer som fungerer som selvbetjeningsplattformer, støtter produkteiernes arbeidsflyt og sikrer at de ulike delene av infrastrukturen fungerer godt sammen.

Et skalerbart og praktisk rammeverk for styring er en forutsetning for å lykkes med data mesh. Med god styring forsvinner mye av den tekniske kompleksiteten knyttet til domenene som skal administreres, samtidig som dataene flyttes mellom domenene på en konsekvent måte. Dette sikrer også compliance og datasynlighet på granulært nivå og bidrar til god datasikkerhet og håndtering av metainformasjon om domenene.

Åpen eller streng styring

Med data mesh kan du velge mellom to ulike tilnærminger til domeneadministrasjon: åpen eller streng. I den åpne modellen har domenene maksimal bevegelsesfrihet. Den strenge modellen er derimot utformet for å hjelpe domeneteam som arbeider i strengt regulerte miljøer. En hybridløsning er også mulig.

I den åpne modellen er det ingen begrensninger for hvilke verktøy domenet kan bruke til databehandling og -lagring. For å unngå inkonsekvente data med sprikende kvalitet forutsetter derfor denne tilnærmingen pålitelige og ansvarlige domeneteam.

I den strenge modellen har ikke domeneteamene tilgang til infrastrukturkoden og må dermed nøye seg med et utvalg standardressurser. Det er viktig å merke seg at denne strenge tilnærmingen krever et omfattende implementerings- og automatiseringsarbeid fra de plattformansvarliges side og en svært avansert «mesh»-plattform.

Data Mesh kort oppsummert

Etter hvert som bedriftene har hentet inn, lagret og analysert stadig større datamengder, har fordelene ved desentralisert eierskap til data trådt tydelig fram. Løsningen er å gi eierskapet til dataene tilbake til dem som faktisk forstår dem. Å bygge opp en distribuert og sentralstyrt selvbetjeningsarkitektur er imidlertid en komplisert oppgave som krever mye tid og arbeid.

Skal bedriften gå fra en monolittisk struktur til en modell basert på mikrotjenester, krever det en kulturendring og en omorganisering av virksomheten. En slikt paradigmeskifte vil imidlertid være verdt innsatsen idet den kan sette fart på gjennomføringen av virksomhetens datasentrerte visjon.

Du kan lese mer om datamesh og hvilke fordeler det kan gi virksomheten din, i vår rapport Introducing data mesh: A future-proof approach to managing company-wide data at scale. Se også webinaret Data Mesh: A Paradigm Shift to Unlocking the Full Value of Data.

Ifølge IDCs prognoser vil de globale datavolumene fortsette å vokse med uforminsket styrke og en årlig vekstrate på 23 prosent fram til 2025. For bedriftene blir det helt avgjørende å nyttiggjøre seg denne dataeksplosjonen. Ifølge Gartner kan Chief Data Officers (CDO-er) komme til å multiplisere forretningsverdien med 2,6 hvis de lykkes med dette.

Det store spørsmålet er hvordan disse dataene kan administreres effektivt og gjøres lett tilgjengelige. Det er her data mesh kommer inn i bildet og – kort fortalt – fordeler dataene på de relevante forretningsdomenene. De respektive avdelingene eier, administrerer og leverer egne data som et produkt til resten av virksomheten.

Å ta i bruk data mesh vil si å sette databrukerne i sentrum for prosessen. Domeneteamene, som består av datavitere, dataingeniører og forretningsanalytikere, er selv både forbrukere og produsenter av nye datasett.

Data Mesh krever en helt ny tenkemåte

Data mesh åpner opp distribuerte datasett og gir dermed raskere tilgang og presis datalevering. Men fordi data mesh er mer enn teknologi, krever det betydelige endringer i organisasjonskulturen for å lykkes.

For mange bedrifter betyr dette å gå over til en felles styringsmodell basert på tillit på tvers av organisasjonen o g selvbetjening for de ulike datadomenene. Selvbetjening forenkler datatilgangen, bryter ned siloer og gjør det mulig å dele sanntidsdata i stor skala.

De ulike domenene har selv ansvaret for sine data

De enkelte domenene er ansvarlige for domenerelaterte brukstilfeller eller for å løse konkrete forretningsproblemer. Det sikrer høy datakvalitet ettersom det er de som har mest kunnskap om brukstilfellene som også har ansvaret for databehandlingen.

Dette står i motsetning til datasjøer, som bygger på en sentralisert tilnærming, og der det ofte oppstår problemer fordi dataingeniørteamene som har ansvaret for hvert enkelt implementeringstrinn, mangler kunnskap om det aktuelle domenet. I tillegg har ikke de som produserer dataene, noe insitament til å oppfylle kravene, siden dataene ikke er knyttet til et bestemt brukstilfelle. Det gjør det også vanskelig for brukerne å få noe ut av dataene.

Sentrale komponenter for datastyring og datainfrastruktur

I et data mesh finner vi noen sentrale datastyrings- og infrastrukturelementer som fungerer som selvbetjeningsplattformer, støtter produkteiernes arbeidsflyt og sikrer at de ulike delene av infrastrukturen fungerer godt sammen.

Et skalerbart og praktisk rammeverk for styring er en forutsetning for å lykkes med data mesh. Med god styring forsvinner mye av den tekniske kompleksiteten knyttet til domenene som skal administreres, samtidig som dataene flyttes mellom domenene på en konsekvent måte. Dette sikrer også compliance og datasynlighet på granulært nivå og bidrar til god datasikkerhet og håndtering av metainformasjon om domenene.

Åpen eller streng styring

Med data mesh kan du velge mellom to ulike tilnærminger til domeneadministrasjon: åpen eller streng. I den åpne modellen har domenene maksimal bevegelsesfrihet. Den strenge modellen er derimot utformet for å hjelpe domeneteam som arbeider i strengt regulerte miljøer. En hybridløsning er også mulig.

I den åpne modellen er det ingen begrensninger for hvilke verktøy domenet kan bruke til databehandling og -lagring. For å unngå inkonsekvente data med sprikende kvalitet forutsetter derfor denne tilnærmingen pålitelige og ansvarlige domeneteam.

I den strenge modellen har ikke domeneteamene tilgang til infrastrukturkoden og må dermed nøye seg med et utvalg standardressurser. Det er viktig å merke seg at denne strenge tilnærmingen krever et omfattende implementerings- og automatiseringsarbeid fra de plattformansvarliges side og en svært avansert «mesh»-plattform.

Data Mesh kort oppsummert

Etter hvert som bedriftene har hentet inn, lagret og analysert stadig større datamengder, har fordelene ved desentralisert eierskap til data trådt tydelig fram. Løsningen er å gi eierskapet til dataene tilbake til dem som faktisk forstår dem. Å bygge opp en distribuert og sentralstyrt selvbetjeningsarkitektur er imidlertid en komplisert oppgave som krever mye tid og arbeid.

Skal bedriften gå fra en monolittisk struktur til en modell basert på mikrotjenester, krever det en kulturendring og en omorganisering av virksomheten. En slikt paradigmeskifte vil imidlertid være verdt innsatsen idet den kan sette fart på gjennomføringen av virksomhetens datasentrerte visjon.

Du kan lese mer om datamesh og hvilke fordeler det kan gi virksomheten din, i vår rapport Introducing data mesh: A future-proof approach to managing company-wide data at scale. Se også webinaret Data Mesh: A Paradigm Shift to Unlocking the Full Value of Data.

 

Følg oss