Hoe zou je idealiter willen zoeken in historische beeldcollecties? Met die vraag in het achterhoofd hebben we een klein, maar intensief gebruikersonderzoek uitgevoerd onder ons publiek. De resultaten geven ons waardevolle inzichten voor het ambitieuze vervolgproject Fotografisch Geheugen rond de collectie van Fotopersbureau De Boer (1945-2004).
Het project Fotografisch Geheugen heeft als doel om 2.000.000 beelden van Fotopersbureau De Boer (1945-2004) online doorzoekbaar aan te bieden. Dit is het tienvoudige van de hoeveelheid beelden die nu wordt aangeboden in de beeldbank van het Noord-Hollands Archief. Bovendien willen we foto’s op nieuwe manieren doorzoekbaar maken met de inzet van kunstmatige intelligentie (AI). Maar wat is hierin wenselijk en haalbaar?
Pilot
Om dit te weten te komen, zijn we gestart met een pilot, in samenwerking met wetenschapper Melvin Wevers (Universiteit van Amsterdam) en digitaliseringspartner Picturae. De pilot is uitgevoerd in 2020 en bestaat uit twee delen. Ten eerste is gestart met het trainen van een computerbrein op het gebied van beeldherkenning, zodat we inzicht krijgen in de kwaliteit en het nut van deze technieken. De resultaten daarvan zijn hier te lezen. Ten tweede is het gebruikersonderzoek uitgevoerd om na te gaan waar de behoeftes liggen en welke zoekstrategieën verder ontwikkeld dienen te worden.
Methode
Voor het gebruikersonderzoek hebben we 14 personen bevraagd via videobellen. Een groot deel daarvan is afkomstig uit diverse doelgroepen van het Noord-Hollands Archief, zoals een scholier, docent, lokaal geïnteresseerde, professioneel genealoog, wetenschapper en een vrijwilliger die helpt bij het toegankelijk maken van beeldcollecties. Deze groep hebben we aangevuld met een oud-fotograaf van Fotopersbureau De Boer, experts op het gebied van de digitale geesteswetenschappen en databases, en collegae uit het bredere erfgoedveld.
Huidige beeldbank
We hebben open vragen gesteld over de huidige beeldbank van het Noord-Hollands Archief, waardoor aspecten aan het licht zijn gekomen die we anders kunnen inrichten. Een voorbeeld hiervan is de volgorde van het tonen van metadata bij afzonderlijke beelden. Ook zijn een aantal nieuwe opties getoond en is gevraagd om deze op rangorde van wenselijkheid te zetten. De resultaten hiervan zijn in figuur 1 te zien.
Figuur 1. Wenselijkheid van nieuwe elementen
De wenselijkheid van een kaartweergave, waarbij beelden op basis van hun locatiegegevens ‘op de kaart’ kunnen worden doorzocht, staat met 22% op een gedeelte eerste plaats. Ook vinden de ondervraagden het fijn om op metadata-velden te kunnen doorklikken (20%). De gebruiker kan dan bijvoorbeeld op de naam van de fotograaf klikken en dan direct alle gemaakte beelden van deze fotograaf te zien krijgen. Opvallend is dat het maken van eigen collecties, waarin je bijvoorbeeld ook je zoekvragen kan opslaan en beelden kan ‘liken’ (zoals in de Rijksstudio van Rijks Museum) qua wenselijkheid pas op de vijfde plek staat (9%).
De gewenste functies ‘mouse-over’ (22%), waarbij je al enkele gegevens van het beeld te zien krijgt voordat je erop doorklikt, en een filter waarmee je alleen vrij downloadbare beelden te zien krijgt (16%) blijken gemakkelijk realiseerbaar en hebben we gelijk doorgevoerd.
Nieuwe AI-middelen
De geïnterviewden hebben we specifiek bevraagd naar de inzet van nieuwe AI-middelen, zodat we meer inzicht krijgen in het potentieel nut en de vraag naar een dergelijke functionaliteit. Ook hier is gevraagd om deze in rangorde te zetten, het resultaat is te zien in figuur 2.
Figuur 2. Het nut van nieuwe AI-mogelijkheden
Het toepassen van tekstherkenning is zowel een gewenste (26%) als een reële optie om te gaan gebruiken. Hiermee kan worden gezocht op de teksten die op een foto voorkomen. De techniek om dit mogelijk te maken wordt al veelvuldig gebruikt bij bronnen met veel gedrukte of handgeschreven tekst. Ook de toepassing van objectherkenning lijkt van nut (23%), waarbij objecten als een ‘boot’ of ‘honkbalknuppel’ worden herkend en doorzoekbaar worden gemaakt.
Op de derde plek (20%) staat het geautomatiseerd koppelen van krantenartikelen aan persfoto’s op basis van beeldherkenning. Hierbij worden diverse collecties aan elkaar gekoppeld op basis van visuele overeenkomsten, als het voorkomen van dezelfde foto. Het Noord-Hollands Archief onderzoekt momenteel de haalbaarheid van een dergelijke functionaliteit.
Opvallend is dat de inzet van gezichtsherkenning op positie vier staat (17%), dit hadden we vooraf op een hogere positie verwacht. Verder blijkt dat het door middel van AI traceren van de omvang van groepen (5%), emoties op gezichten (4%), logo’s (3%) en houdingen van mensen (2%) van minder direct nut lijkt. Noemenswaardig is ten slotte dat maar liefst zes (43%) van de veertien personen als ‘andere optie’ het door AI laten traceren van locaties of gebouwen hebben aangedragen. Deze optie is als een blinde vlek van de onderzoekers te zien, temeer omdat het Noord-Hollands Archief al enkele projecten heeft rond het vastleggen en doorzoekbaar maken van locatiegegevens.
Foto’s labelen
Omdat we aan de slag gaan met het trainen van een computerbrein, zijn we ook benieuwd naar de vraag welke visuele elementen op een foto mensen als eerste opvallen. Daarom hebben we gevraagd om drie tot vijf visuele elementen binnen één persfoto te selecteren door hierover een raster te trekken, en deze te voorzien van een label van één of twee woorden. Ook de gehele foto kon worden geselecteerd. In totaal zijn we vijf persfoto’s langsgelopen. In figuur 3 is het resultaat van één van deze foto’s te zien.
Figuur 3. Resultaat van het door 14 personen ‘labelen’ van elementen uit een foto van een elpeefabriek. Op de foto zijn de getrokken rasters te zien, daaronder de benamingen van de labels
De belangrijkste bevinding is dat de geïnterviewden verschillende termen gebruiken om vergelijkbare elementen te beschrijven. Dit brengt ons ertoe om in het vervolg een gestructureerde termenlijst te gaan gebruiken. Bovendien laat deze foto zien dat het specifiek benoemen van personen op foto’s ethisch gezien ingewikkeld kan zijn. Noem je de gefotografeerden hier ‘vrouwen aan het werk’, ‘allochtonen’, ‘gastarbeiders’ of ‘persoon 1, persoon 2’? We beseffen dat dit een gevoelig onderwerp is en gaan hier zo zorgvuldig mogelijk mee om.
Meer Lab?
Wil je weten wat er nog meer borrelt bij het Noord-Hollands Archief? Bekijk de projecten in ons NHALab!
De computertraining is uitgevoerd binnen de pilot HisVis: Historische Fotocollecties Verkennen met Computationele Beeldherkenning, mogelijk is gemaakt door een bijdrage van NWO – programma creatieve industrie (KIEM).
Het volgproject Fotografisch Geheugen wordt mogelijk gemaakt door Mondriaan Fonds en Prins Bernhard Cultuurfonds.
