Kan een computer data vinden in een brij aan tekst?

Hoe goed is de computer in het dataficeren van Noord-Hollandse strafvonnissen? Joana Santos (UvA) deed onderzoek naar de kracht en de nadelen van het gebruik van Large Language Modellen (LLMs) in het omzetten van historische teksten naar data.

De afgelopen jaren is het hard gegaan. Steeds meer handgeschreven documenten worden tekstueel volledig doorzoekbaar gemaakt door automatische tekstherkenning (Handwritten Text Recognition, HTR), een vorm van kunstmatige intelligentie. Dit kunnen zowel notulen uit de twintigste eeuw zijn als middeleeuwse charters. Het Noord-Hollands Archief heeft bijvoorbeeld alle Haarlemse notariële akten uit de periode 1570-1925 en die van de regio’s Kennemerland en Amstel- en Meerlanden uit 1811-1925 op deze manier doorzoekbaar gemaakt. Een totaal van ongeveer twee miljoen scans. Achter de schermen werkt het archief ook nog aan het doorzoekbaar maken van de strafvonnissen van Noord-Holland uit de periode 1811-1925. Dit zijn nog eens een kleine half miljoen scans.

Van tekst naar data

Onmiskenbaar is het beschikbaar komen van tekstueel volledig doorzoekbare archiefdocumenten een enorme stap vooruit. Historische informatie wordt beter vindbaar en toegankelijker. Opeens kan je de spreekwoordelijke speld in een hooiberg terugvinden of nieuwe conclusies trekken, zo tonen Hanneke Ronnes, Judith Brouwer en Harm Nijboer aan in hun zoektocht naar respectievelijk de geschiedenis van de kat en naar seksuele zeden in de zeventiende eeuw. Maar het blijft zoeken in een brij aan teksten. In deze brij zitten echter talloze te herkennen entiteiten verstopt, zoals specifieke locaties, personen, organisaties en tijdstippen. Als de teksten worden gedataficeerd, oftewel omgezet worden in data, waarbij gegevens worden getraceerd, gemarkeerd en  gekoppeld, dan wordt het doorzoeken en analyseren ervan een stuk efficiënter. Het is dan bijvoorbeeld makkelijker om te weten wat er allemaal op een specifieke locatie is gebeurd of welke archiefdocumenten er aan een specifiek persoon zijn gekoppeld. Al van oudsher proberen archivarissen – al dan niet met hulp van vrijwilligers – dit soort gegevens vast te leggen en doorzoekbaar te maken voor gebruikers. Maar kan een computer hierbij helpen? Zo ja, hoe goed is die computer dan? En wat zijn de nadelen?

Crime Scenes Datafied

Joana Santos onderzocht of de strafvonnissen van Noord-Holland kunnen worden gedataficeerd met behulp van kunstmatige intelligentie. Dit deed ze als stagiaire bij het Noord-Hollands Archief vanuit haar master Archival and Information Studies aan de Universiteit van Amsterdam. Zij bouwde voort op een stage die vier andere UvA-studenten eerder hadden afgerond en waaruit waardevolle resultaten en inzichten naar voren was gekomen.

De strafvonnissen bestaan uit één grote tekstuele brij van opeenvolgende vonnissen. De eerste taak is om deze te separeren, door in de brij steeds het begin en het einde van de specifieke vonnissen te ontdekken. De daaropvolgende taak is om van ieder vonnis de specifieke data op te vragen. Denk hierbij aan namen van de verdachten, slachtoffers en getuigen, de locatie van de crime scenes, het tijdstip, het soort misdaad enzovoort. De kwaliteit ervan is gemeten door de antwoorden van de computer via een steekproef te valideren.

Resultaten

De eerste taak - het separeren van de vonnissen - kan worden uitgevoerd met een foutmarge van 1,53% tot 1,99%. Dit is goed genoeg om de vervolgstap te beginnen: de dataficatie van ieder vonnis. Hierbij heeft Joana de kracht van meerdere Large Language Modellen (LLM’s) met elkaar vergeleken en is zij tot de conclusie gekomen dat GPT-5-mini op dit moment de beste resultaten geeft. Dat is een model van OpenAI, bekend van ChatGPT. Het model behaalt onder 4,3% detectiefouten (ontbrekende entiteiten) en 4,4% extractiefouten (incorrecte entiteiten). Op het eerste gezicht zijn dit indrukwekkende cijfers, maar dat wil niet zeggen dat de fouten allemaal even onschuldig zijn. Om een voorbeeld te geven: in een zaak wordt door de computer een gedaagde als dader aangemerkt, terwijl deze in werkelijkheid is vrijgesproken.

Al met al wordt duidelijk dat er veel potentie zit in het geautomatiseerd vinden van dit soort gegevens in historische bronnen, maar ook dat de beperkingen goed in de gaten moeten worden gehouden. Deze kunnen technisch, logistiek of financieel van aard zijn, maar Joana stipt ook zwaarwegende ecologische en ethische overwegingen aan. Hierbij is het zaak dat de archivaris de regie houdt en transparant is over het gebruik van AI.

Meer weten?

Het eindverslag van Joana Santos (UvA) is hier terug te lezen: 

‘Crime Scenes Datafied II: the ethical and technical challenges of using AI to extract information from court verdicts’ (Engels, februari 2026)

Het Noord-Hollands Archief verwacht binnenkort de eerste set (circa 250.000 scans) met strafvonnissen van Noord-Holland in de periode 1811-1925 tekstueel doorzoekbaar aan te bieden. Het resterende deel wordt eind 2026 verwacht.

Wil je weten wat er nog meer borrelt bij het Noord-Hollands Archief? Bekijk de projecten in ons NHALab.