In het project Fotografisch Geheugen zijn twee miljoen foto’s van Fotopersbureau De Boer (1945-2005) gedigitaliseerd en online beschikbaar gesteld. Om dit soort historische beeldcollecties doeltreffender te kunnen doorzoeken, heeft het Noord-Hollands Archief samen met wetenschapper Melvin Wevers (Universiteit van Amsterdam) en digitaliseringspartner Picturae kunstmatige intelligentie (AI) ingezet. Er is een computerbrein getraind op het herkennen van specifieke onderwerpen die voorkomen op historische persfoto’s, zoals een ‘demonstratie’, ‘honkbalwedstrijd’ of ‘winkelstraat’ (scene detection).
Gebruikersonderzoek
Hoe willen gebruikers zoeken in historische beeldcollecties en zou de inzet van kunstmatige intelligentie daarbij kunnen helpen? Deze vragen zijn in 2020 voorgelegd aan een groep gebruikers. De antwoorden die zij destijds gaven – hier terug te lezen – hebben geleid tot een aantal aanpassingen en toevoegingen aan de Beeldbank Fotopersbureau De Boer en gaven een impuls om een computerbrein te gaan trainen op het herkennen van onderwerpscategorieën, voortbouwend op eerdere resultaten. We hebben voor onderwerpscategorieën gekozen, in tegenstelling tot bijvoorbeeld object herkenning, omdat in de beeldcollecties van erfgoedinstellingen veelal historische gebeurtenissen of omgevingen zijn vastgelegd. Meestal zijn de vastgelegde subjecten breder dan een enkel object.
Geheugentraining
De training hebben we grootschalig aangepakt, gezamenlijk met ons publiek. Vele handen maken immers licht werk. Via het vrijwilligersplatform www.velehanden.nl zijn 340 vrijwilligers enthousiast aan de slag gegaan met het voorzien van de best passende onderwerpscategorie bij een persfoto. Iedere foto is daarbij twee keer ingevoerd en daarna door een controleur beoordeeld. De training omvatte in totaal vier trainingsrondes. Na iedere trainingsronde is het computermodel verder bijgeschaafd en is nagegaan of de door ons bedachte onderwerpscategorieën nog voldeden. Komen de onderwerpen overeen met hetgeen er door de persfotografen is gefotografeerd, zijn ze van nut, kunnen er onderwerpen worden samengevoegd of juist verder worden onderverdeeld? Uiteindelijk zijn door de vrijwilligers ongeveer 55.000 persfoto’s ingevoerd en gecontroleerd.
Het invoerscherm op VeleHanden, gebruikt voor de training
Resultaten
Er zijn een aantal onderwerpscategorieën die de computer opvallend goed weet te voorzien van de juiste onderwerpscategorie. Zo blijkt dat de computer foto’s van cricket in 96% van de gevallen het correcte label geeft, en van maquettes in 83% van de gevallen. Dit zijn foto’s van enerzijds eenduidige activiteiten die visueel eenvoudig te herkennen zijn of anderzijds foto’s van specifieke objecten.
Een aantal categorieën doen het ook minder goed. Een aula wordt bijvoorbeeld maar in 43 procent van de gevallen correct geïdentificeerd. Dit komt enerzijds omdat foto’s van sommige categorieën erg lastig zijn te categoriseren, opvallend genoeg voor zowel de computer als de mens. Wat onderscheidt bijvoorbeeld foto’s van een kerk van de meer algemene categorie gebouw, of een woonwijk van een straat?
Anderzijds zijn de fouten binnen specifieke categorieën ook te verklaren door het feit dat de computer van deze categorieën nog te weinig foto’s voorgeschoteld heeft gekregen om een goed beeld te krijgen. Als deze categorieën in een vervolg worden voorzien van meer foto’s zal het resultaat waarschijnlijk beter worden.
Als naar alle onderwerpscategorieën gezamenlijk wordt gekeken, dan noemt de computer in 91% van de gevallen de juiste onderwerpscategorie in de top vijf. Dat wil zeggen dat als we in een beeldbank bij iedere persfoto de top vijf onderwerpen tonen met de hoogste kans, de best passende categorie er in 9 van de 10 gevallen tussen zit. In veel gevallen zijn er overigens meerdere categorieën van toepassing.
Wat kunnen we hiermee?
Het automatisch toevoegen van onderwerpscategorieën zorgt ervoor dat historische beeldcollecties beter doorzocht kunnen worden, zelfs als de computer niet altijd een goede inschatting maakt. Er zijn meer doorzoekbare gegevens en de beelden worden in bulk naar onderwerp gecategoriseerd. Dat is bijvoorbeeld handig als je het veranderd beeld van winkelstraten of sinterklaasvieringen door de tijd heen wilt zien of onderzoek doet naar demonstraties.
Het getrainde computerbrein is niet alleen van nut voor het doorzoeken van de collectie van Fotopersbureau De Boer, maar ook voor andere beeldcollecties. Vooral als je bedenkt dat niet alle beeldcollecties al rijk zijn voorzien van doorzoekbare gegevens, zoals bij Fotopersbureau De Boer het geval is. We stellen het getrainde brein dan ook graag gratis ter beschikking aan iedereen.
Beeldbank Fotopersbureau De Boer
In de Beeldbank Fotopersbureau De Boer kan je zelf een kijkje nemen. Bij de filter ‘automatische trefwoorden’ zijn alle onderwerpscategorieën te vinden. Als je op een foto klikt, dan zie je linksonder de gevonden categorieën met het waarschijnlijkheidspercentage. Als de computer bijvoorbeeld 80% zeker is dat het om een ‘voetbalwedstrijd’ gaat, is er ook 20% kans dat de foto eigenlijk thuishoort in één van de andere categorieën. De computer geeft ook een inschatting of een foto binnen of buiten is genomen.
Op dit moment zijn al de deelcollecties vlakfilms, 6x9 rolfilms en glasnegatieven doorzoekbaar op onderwerpscategorieën. We streven ernaar om alle twee miljoen foto’s op deze manier doorzoekbaar te maken. Ook willen we een sorteeroptie toevoegen waarin je jouw zoekresultaat kan ordenen op de mate van waarschijnlijkheid. Dan krijg je bijvoorbeeld eerst foto’s te zien waarvan de computer 99% zeker is dat het om voetbalwedstrijden gaat.
Van deze foto is de computer 71% zeker dat het om ‘Kermis’ gaat, maar het zou ook een foto van een ‘Circus’ (15%) kunnen zijn. De computer is er bovendien zeker van dat deze foto zich buiten afspeelt en niet binnen.
Wil je het zelf gebruiken?
De getrainde computermodellen, documentatie en de volledige lijst met categorieën en hun omschrijving (Nederlands- en Engelstalig) is voor hergebruik beschikbaar op Zenodo en Github (pagina’s van Melvin Wevers):
Het Noord-Hollands Archief stelt de gehele collectie van Fotopersbureau De Boer voor hergebruik beschikbaar met een Creative Commons Zero publieke domein licentie (CC0). Dit geldt ook voor de gebruikte beelden in de training. Bij gebruik van afbeeldingen of de dataset wordt bronvermelding wel zeer op prijs gesteld.
Meer weten?
Wil je meer weten over de inzet van scene detection en beeldherkenning in het algemeen? In dit artikel gaan we er dieper op in (open beschikbaar):
Melvin Wevers, Nico Vriend en Alexander de Bruin, What to do with 2.000.000 Historical Press Photos? The Challenges and Opportunities of Applying a Scene Detection Algorithm to a Digitised Press Photo Collection, in: TMG Journal for Media History, volume 25, nummer 1 (2022)
Het project Fotografisch Geheugen is mogelijk gemaakt door Mondriaan Fonds en Prins Bernhard Cultuurfonds. De hieraan voorafgaande pilot HisVis is mogelijk gemaakt door een bijdrage van NWO – programma creatieve industrie (NWO KIEM).
 |
 |
 |
