Modeldrift: het onzichtbare gevaar in AI-implementaties

18 jan 2024

Een van de risico’s van het inzetten van artificial intelligence (AI) zonder MLOps is modeldrift, een fenomeen waarbij AI-modellen hun nauwkeurigheid verliezen door veranderende omstandigheden. Dit kan leiden tot onjuiste voorspellingen of foute resultaten. In deze blog duiken we dieper in op wat modeldrift precies inhoudt en waarom het van cruciaal belang is om aan modelmonitoring te doen.

Modeldrift, wat is het?

In eerste instantie kan een AI-model goed presteren, zelfs zonder MLOps, vooral als het grondig is getraind en uitvoerig is getest. Op korte termijn lijken de resultaten veelbelovend. Het gevaar schuilt in de langere termijn. Prestaties van AI-modellen kunnen geleidelijk afnemen door een verschijnsel dat we modeldrift noemen. Als omstandigheden veranderen, kan een AI-model minder gaan presteren en dit kan uiteindelijk leiden tot onjuiste voorspellingen of foute resultaten. Zonder de juiste MLOps-structuur is het lastig om zulke veranderingen te herkennen of te corrigeren. Daarom is het van groot belang om modelmonitoring toe te passen. Hiermee houd je bij hoe je model presteert in de werkelijkheid ten opzichte van de trainingsdata. Modeldrift kan worden onderverdeeld in twee categorieën: datadrift en scopedrift.

Datadrift

Laten we eerst datadrift eens bekijken. Stel je voor dat je een pensioenfonds bent en je hebt een AI-model getraind op basis van bevolkingscijfers tussen 1950 en 2000. Deze dataset wordt ingezet en het model lijkt in eerste instantie nauwkeurig. Maar na verloop van tijd blijkt dat de resultaten niet meer overeenkomen met de realiteit. Dit kan worden verklaard door het feit dat we inmiddels jaren verder zijn en mensen anno 2023 gemiddeld veel langer leven dan mensen uit 1950. Hoewel het model op zichzelf solide lijkt, zijn de veranderende dataparameters een bron van vervorming. Het model wordt dus onnauwkeurig door nieuwe en veranderende gegevens.

Mensen kunnen zich in de loop der tijd ook anders gaan gedragen. Zo zien we de laatste decennia een verschuiving naar meer deeltijdwerk. Dit heeft invloed op de pensioenopbouw. Dan zijn het niet zozeer de demografische gegevens die veranderen, maar het gedrag en de keuzes van mensen. Het resultaat is nog steeds dat het model niet langer representatief is.

Scopedrift

Een ander risico is scopedrift. Stel je voor dat je een verzekeraar bent en je hebt je AI-model getraind op basis van bestaande wetgeving. Plotseling verandert de wet, waardoor de context van je model verandert. Dit betekent dat de oorspronkelijke parameters en aannames niet langer van toepassing zijn. Je model kan geen nauwkeurige voorspellingen meer doen omdat de randvoorwaarden zijn verschoven.

Verkeerde beslissingen

Zonder de juiste infrastructuur en modelmonitoringmechanismen kunnen deze veranderingen onopgemerkt blijven, wat kan leiden tot verkeerde beslissingen en verlies van nauwkeurigheid. Met MLOps zorg je dat je proactief blijft en dat je AI-modellen betrouwbaar blijven in een snel veranderende wereld. Dit is niet alleen vanuit zakelijk perspectief belangrijk, maar ook ethisch gezien. Als een model verkeerde beslissingen begint te nemen, kan dit aanzienlijke impact hebben op mensenlevens en bovendien leiden tot reputatieschade voor je bedrijf. Dit zijn twee zaken die je absoluut wilt voorkomen.

Meer over MLOps voor verzekeraars en pensioenfondsen

Meer weten?

Benieuwd hoe jouw organisatie meer uit AI-modellen kan halen dankzij MLOps? Neem contact met ons op. We helpen je graag in kaart te brengen hoe MLOps jouw organisatie kan transformeren.

Neem contact op