KI-klare data
KI-klare data er data som er beskrevet for ett bestemt formål og sjekket mot en kilde du stoler på. Rene data er ikke nok. Dette var det som overrasket oss mest da vi snakket med Paal Skjellum i Data Factory. De vasker kunderegistre for norske bedrifter hver eneste dag.
Demoen ser bra ut. Så kommer virkeligheten.
«KI-en svarer trygt og overbevisende, men feil, fordi dataene den bygger på er gamle, motstridende eller mangler kontekst, altså ikke KI-klare. Det kan gå med mye tid med feilsøking og omarbeid, og mange skylder på modellen når det egentlig er dataene som er problemet.»Paal Skjellum, ansvarlig for produktutvikling i Data Factory
De dårlige dataene sitter sjelden ett sted. De ligger der dataene har levd lengst uten eier, eller der noen plottet inn noe bare for å komme videre. Kunderegisteret, CRMet, ERPen og regnearkene har vokst hver for seg i mange år. Hvert system kan være riktig alene. Sammen peker de i hver sin retning. Den som oppdager det først, er sjelden IT. Det er selgeren, kundeservice eller av og til økonomi.
Vi trodde rydding var svaret. Vask registeret så er du klar for KI. Paal var uenig.
«Ta en person med ny adresse i dag og en annen adresse i registeret fra i fjor. KI-en konkluderer at hun har flyttet, mens endringen i virkeligheten skyldes en kommunesammenslåing. Uten metadata som forteller hvilket felt som skal sjekkes mot hvilken kilde, og hvordan datoer fra kilder skal tolkes, gjetter KI-en logisk, men feil. Her har vi jo selv også blitt overrasket, at selv der vi har 100% korrekte og oppdaterte data så kan AI ta feil grunnet mangler på god nok kontekst/metadatabeskrivelser.»Paal Skjellum, ansvarlig for produktutvikling i Data Factory
Dataene var riktige. Svaret ble feil.
Det er forskjellen på rene data og KI-klare data. KI-en kan finne avvik, men den vet ikke hva som er sant. Den vet heller ikke hvor stort gapet er mellom registeret og virkeligheten.
Hva som er smart å gjøre
Paal fikk gi ett råd og det handler om rekkefølge.
Start med ett konkret bruksområde og en oppgave KI skal løse. Beskriv og tilpass dataene for akkurat det formålet og få dem verifisert mot en pålitelig kilde. Kjenn fasiten selv når dere tester modellen, så vet dere om det er dataene eller modellen som svarer feil.
Det siste er det vi tar med oss. Et KI-prosjekt uten fasit er bare en demo som varer lenger.
Det Paal ser hver gang en vask starter
Gapet mellom registeret og virkeligheten er større enn de fleste tror. Paal ser det hos nesten alle som starter med datavask.
«Det er ikke uvanlig at 20% av kundene i et kunderegister vi vasker har endret adresse og gjerne også etternavn ifm samlivsbrudd, 2-3% er døde + at det nesten alltid finnes dubletter man selv ikke har oppdaget fordi dataene på samme person er ganske ulike (forskjellig mailadresse, navn, manglende mobilnummer på en registrering). Dette er et resultat av at endringstakten i samfunnet er langt høyere enn det mennesker kan holde manuelt oppdatert over tid.»Paal Skjellum, ansvarlig for produktutvikling i Data Factory
Slike feil er enkle å finne når du vasker og verifiserer mot oppdaterte kilder. I en KI-løsning blir de usynlige, fordi modellen fortsetter å svare godt på informasjon som ikke lenger stemmer. Derfor finner du datakvalitetsproblemene tidligere i en datavask enn i et KI-prosjekt. Start der.
Hvor står dataene deres?
Sjekk din score viser hvor dere står på fem fokusområder, også datagrunnmuren. Den er anonym og uten forpliktelser.
Sjekk din score →Hvem rydder?
Data Factory er førstevalget i nettverket vårt når det handler om datakvalitet. Ta kontakt med Paal, eller ta en kaffe med oss først, så ser vi på hvor det bremser mest.
Data Factory vasker og beriker kunderegistre for norske bedrifter og verifiserer dem mot oppdaterte kilder.
Se hele partnernettverket →Kjenner du igjen noe av dette? Ta en kaffe med oss. Ingen agenda, bare en prat om hvor det bremser hos dere.
Ta en kaffe →