Tekst: Shirley Domingus en Suzanne van Poelgeest. Op de foto: Suzanne van Poelgeest
Kan kunstmatige intelligentie helpen bij het verbeteren van e-mailbeheer? Om antwoord te krijgen op die vraag onderzochten het Rijksprogramma voor Duurzaam Digitale Informatiehuishouding (RDDI) en het ministerie van Sociale Zaken en Werkgelegenheid (SZW) de mogelijkheden van automatische e-mailclassificatie. Projectleider Suzanne van Poelgeest: ‘AI bleek niet alleen een hulpmiddel bij classificatie, maar ook een spiegel voor de bestaande informatiehuishouding.’
Met de AI-pilot wilde RDDI vaststellen of AI e-mails automatisch kan indelen in categorieën die relevant zijn voor informatiebeheer en archivering. Daarvoor hebben we gebruikgemaakt van twintig mailboxen van voormalige bewindspersonen en bestuursraadleden. Uit deze verzameling zijn 13.709 e-mails handmatig geannoteerd; deze dienden als trainingsdata voor de AI-modellen.
Functioneel en niet-functioneel
Meer dan 96 procent van de voorbeelden bestond uit de e-mailtypen functioneel en niet-functioneel. Voor de categorieën privé, personeelsvertrouwelijk en partijpolitiek hadden we veel minder voorbeelden. Daarmee werd direct duidelijk dat de uit daging niet alleen technisch is: ook de beschikbaarheid van representatieve data speelt een rol.
We hebben twee verschillende modellen ontwikkeld en getest. Het Logistic Regression-model wordt veel toegepast bij tekstclassificatie en staat bekend om zijn eenvoud en transparantie. Het tweede, meer geavanceerde model was gebaseerd op BERTje, een Nederlandstalig taalmodel dat de context en betekenis van woorden beter kan interpreteren.
Uitlegbaarheid
De centrale vraag was welke benadering in de praktijk het beste aansluit op de eisen van de overheid. Daarbij waren niet alleen prestaties belangrijk, maar ook uitlegbaarheid, beheersbaarheid, governance en juridische verantwoording. De uitvoering was bewust pragmatisch. Met een relatief beperkte technische omgeving – een database, een ontwikkelomgeving en een laptop – hebben we in eerste instantie onderzocht wat haalbaar is, nog zonder grootschalige implementatie voor ogen.
De resultaten waren bemoedigend. Beide modellen classificeerden ongeveer 85 procent van de e-mails correct. Vooral voor de twee grootste categorieën – functionele en niet-functionele e-mails – waren de prestaties sterk. Daarmee lijkt automatische classificatie van het e-mailverkeer technisch haalbaar.
Drie inzichten
Het eenvoudigere regressiemodel presteerde overigens even goed als het geavanceerde taalmodel. Dat suggereert dat verbetering vooral te vinden is in betere trainingsdata, scherpere definities en meer voorbeelden dan in steeds complexere algoritmen.
Een van de belangrijkste inzichten was dat datakwaliteit uiteindelijk belangrijker bleek dan modelcomplexiteit. De categorieën privé, personeelsvertrouwelijk en partijpolitiek bleken namelijk aanzienlijk lastiger te herkennen, terwijl juist daar gevoeligheden en risico’s kunnen zitten. Dat had te maken met het beperkt aantal beschikbare voorbeelden, maar ook met de complexiteit van de inhoud. Grote winst is te behalen door uitbreiding en verbetering van de trainingsdata voor de kleinere categorieën.
Zichtbaar
Tijdens het proces moesten honderden classificaties worden herzien of opnieuw beoordeeld. Daarmee werd duidelijk dat classificeren óók een organisatorische activiteit is, waarin afspraken, definities en interpretaties centraal staan. Het onderzoek maakte daarmee iets zichtbaar wat veel organisaties herkennen: processen zijn vaak minder uniform dan vooraf wordt aangenomen.
AI fungeerde niet alleen als hulpmiddel voor classificatie, maar ook als spiegel voor de bestaande informatiehuishouding. Daarnaast ontstond een interessante discussie over acceptatie. Een betrouwbaarheid van 85 procent is in technische zin een goed resultaat. Maar hoeveel fouten zijn acceptabel binnen een overheidscontext?
Bij twee miljard e-mails per jaar betekent een foutpercentage van 15 nog steeds een aanzienlijk aantal berichten dat aanvullende controle vereist. Aan de andere kant: hoe consistent classificeren medewerkers zelf? De discussie over AI verandert zo al snel in een discussie over kwaliteit, verantwoordelijkheid en vertrouwen.
Hoewel automatische e-mailclassificatie technisch haalbaar is, lijkt volledige automatisering niet de meest logische volgende stap. De grootste waarde ervan ligt waarschijnlijk in het ondersteunen van medewerkers. AI kan classificatiesuggesties doen, relevante e-mails herkennen en medewerkers helpen bij het naleven van archiveringsverplichtingen, maar de uiteindelijke beoordeling blijft dan in handen van de gebruiker. Zo blijft de menselijke controle behouden, terwijl tegelijkertijd toch schaalvoordelen kunnen worden gerealiseerd.
Daarnaast hoeft niet alle winst uit AI te komen. Vooraf gedefinieerde filterregels bleken al in staat om een aanzienlijk deel van de niet-functionele e-mails automatisch te herkennen. AI hoeft bestaande methoden niet per se te vervangen, het kan een waardevolle aanvulling zijn.
Van onderzoek naar praktijk
De AI-pilot heeft geresulteerd in een werkend prototype, een uitgebreide rapportage en een reeks aanbevelingen voor vervolgontwikkeling. Deze resultaten zijn geen eindpunt, maar het begin van een volgende fase. In het rapport worden verschillende toepassingsrichtingen onderscheiden. Een eerste mogelijkheid is classificatie aan de voorkant van het proces, waarbij medewerkers direct bij ontvangst of verzending ondersteuning krijgen.
Een tweede mogelijkheid is classificatie tijdens het uitlezen en overbrengen van e-mails voor bulkarchivering. Een derde mogelijkheid ligt in het opschonen van bestaande e-mailvoorraden. Deze richting wordt nu, op initiatief van de Rijksorganisatie voor Informatiehuishouding, doorontwikkeld, in samenwerking met het ministerie van Algemene Zaken.
Belangrijke vragen
Dan staan er nog belangrijke vragen open. Welke foutmarge is acceptabel binnen een productieomgeving? Wie wordt eigenaar van een model? Hoe blijven classificaties actueel wanneer wetgeving, beleid of werkwijzen veranderen? En hoe voorkomen we dat kennis over modellen en datakwaliteit geconcentreerd raakt bij een kleine groep specialisten?
Juist deze vragen maken duidelijk dat de grootste uitdaging niet langer technisch van aard is. Nu gaat het om het organiseren van duurzaam beheer, duidelijke verantwoordelijkheden en vertrouwen in het gebruik van AI binnen de informatiehuishouding. Daarmee is de AI-pilot een concrete stap naar een toekomst waarin technologie medewerkers ondersteunt bij een van de meest hardnekkige vraagstukken binnen de overheid: het duurzaam toegankelijk houden van informatie.
Ben je ook bezig met innovaties voor het categoriseren van e-mails of andere documenten? Neem dan contact op met Suzanne via Su*******************@*************gy.nl.
