Het project Fotografisch Geheugen heeft als doel om 2.000.000 beelden van Fotopersbureau De Boer (1945-2004) online doorzoekbaar aan te bieden. Dit is het tienvoudige van de totale hoeveelheid foto’s die het Noord-Hollands Archief momenteel aanbiedt. Om dit soort historische beeldcollecties doeltreffender te kunnen doorzoeken, trainen we een computerbrein. Hoe doen we dat en hoe zetten we kunstmatige intelligentie (AI) in?
Pilot
In samenwerking met wetenschapper Melvin Wevers (Universiteit van Amsterdam) en digitaliseringspartner Picturae is in 2020 een pilot uitgevoerd, bestaande uit twee delen. Ten eerste is een gebruikersonderzoek uitgevoerd om na te gaan waar behoeftes liggen en welke zoekstrategieën verder ontwikkeld dienen te worden. De resultaten daarvan zijn hier terug te lezen. Ten tweede zijn we aan de slag gegaan met het trainen van een computerbrein op het gebied van beeldherkenning.
Beeldherkenning
Om historische foto’s zo goed mogelijk te kunnen terugvinden, zijn beschrijvingen van de beelden in onze collecties van essentieel belang. Met die reden hebben archivarissen en andere collectiebeheerders decennialang beschrijvingen, dateringen, locatiegegevens en trefwoorden toegevoegd aan specifieke beelden. Onze collecties zijn echter zo omvangrijk, dat niet alle beelden online terug zijn te vinden en ook niet voorzien van uitvoerige beschrijvingen. Met kunstmatige intelligentie kunnen we de computer inschakelen om op geautomatiseerde wijze veel meer kenmerken toe te kennen aan beelden, zodat deze doeltreffender doorzocht kunnen worden. Een computer is tegenwoordig bijvoorbeeld prima in staat om foto’s van honden en katten van elkaar te onderscheiden en deze kenmerken op grote schaal toe te voegen aan bijpassende beelden. De computer kan ook helpen tijdens het zoekproces, bijvoorbeeld door beelden te presenteren die visueel lijken op andere beelden, je zou dus kunnen zoeken met een plaatje.
Geheugentraining op historische beelden
Het inzetten van een computer op het herkennen van elementen op historische foto’s gaat echter niet zomaar. Huidige, al bestaande algoritmes zijn namelijk getraind op recent materiaal en presteren maar matig op oude beelden. De computer herkent bijvoorbeeld geen oude logo’s van Coca-Cola, en hij denkt dat waterscooters al bestaan in 1900. Om dit te verbeteren en de computer meer tijdsbesef te geven, willen we het brein trainen. Onze focus ligt daarbij op het herkennen van scenes, bijvoorbeeld een ‘voetbalwedstrijd’, ‘huwelijk’ of ‘winkelstraat’. We hebben voor scenes gekozen omdat in de beeldcollecties van erfgoedinstellingen veelal historische gebeurtenissen of omgevingen zijn vastgelegd. Nog meer geldt dit voor de aard van de collectie van Fotopersbureau De Boer. Historische beeldcollecties zijn gevarieerd, waarbij het vastgelegde subject veelal breder is dan een enkel object. Het zijn immers niet alleen foto’s van honden en katten.
Resultaten scene detection
In de pilot zijn we alvast aan de slag gegaan met het trainen van de computer op het herkennen van specifieke scenes. Wetenschapper Melvin Wevers heeft daarvoor als uitgangspunt een al bestaande dataset gebruikt, Places 365, welke voornamelijk Amerikaanse moderne scenes bevat. Daaruit hebben we een aantal relevante scenes geselecteerd met oog op Nederlandse historische beeldcollecties en specifiek persfoto’s. Ook hebben we een aantal scenes toegevoegd die niet voorkomen in de Places 365-dataset, maar wel relevant zijn voor onze fotocollecties, bijvoorbeeld ‘Sinterklaas’. In totaal hebben we 115 scenes omschreven, waarop we de computer extra hebben getraind met ongeveer 2.500 beelden uit de collectie van het fotopersbureau. Die beelden zijn handmatig voorzien van bijbehorende labels. De dataset wordt binnenkort voor hergebruik gepubliceerd op Zenodo, een open platform voor wetenschappelijke data.
Om de resultaten te kunnen beoordelen, is een test-set apart gehouden uit de door ons gelabelde foto’s. Gemiddeld noemde de computer in 68% van de gevallen dezelfde scene op de eerste plek, en in 88% van de gevallen in de top vijf. Als gebruik wordt gemaakt van de Places 365-dataset is dat respectievelijk 55% en 85%. Deze verbetering biedt voldoende perspectief om de computer op grotere schaal te gaan trainen.
Een goed resultaat. Top-5 voorspelling voor een foto met het label ‘wielersport’ (cycling)
Een slecht resultaat. Top-5 voorspelling voor een foto met het label ‘ongeluk_stretcher’ (accident_stretcher). De categorie bevat slechts zes foto’s van diverse aard en is onvoldoende onderscheidend.
Scenes die in meer dan 80% van de gevallen door de computer goed worden beoordeeld.
Opvallend is het grote aantal sportscenes die al goed worden beoordeeld. Dit komt doordat deze beelden enerzijds oververtegenwoordigd zijn in de Places 365-dataset en anderzijds waarschijnlijk doordat sportfotografie over de jaren heen niet wezenlijk is veranderd. Een voetbalveld blijft immers een voetbalveld. Waar de computer meer moeite mee heeft, zijn foto’s die in meerdere categorieën zouden kunnen vallen. De door ons onderscheiden scenes ‘boekwinkel’ en ‘bibliotheek’ zijn bijvoorbeeld lastig te onderscheiden voor een computer. Dit zorgt ervoor dat we scenes zullen gaan samenvoegen of juist verder onderverdelen.
Om de resultaten te verbeteren, moet het computerbrein verder getraind worden. Dit doen we vanaf dit najaar gezamenlijk met ons publiek op www.velehanden.nl. Help je ook mee?
De resultaten van onze pilot worden in meer detail beschreven in het artikel ‘Scene Detection in De Boer Historical Photo Collection’ van Melvin Wevers. Daarin worden ook alle 115 scenes omschreven. Lees hier het artikel.
Meer Lab?
Wil je weten wat er nog meer borrelt bij het Noord-Hollands Archief? Bekijk de projecten in ons NHALab!
De computertraining is uitgevoerd binnen de pilot HisVis: Historische Fotocollecties Verkennen met Computationele Beeldherkenning, mogelijk is gemaakt door een bijdrage van NWO – programma creatieve industrie (KIEM).
Het volgproject Fotografisch Geheugen wordt mogelijk gemaakt door Mondriaan Fonds en Prins Bernhard Cultuurfonds.
