Het progressieve kunstbeleid van koning Willem I uitte zich niet alleen door een krachtdadige ondersteuning van 's Rijks Museum te Amsterdam. Kort na zijn troonsbestijging werden in de jaren 1815-1816 een drietal Koninklijke Kabinetten in het leven geroepen. Het Koninklijk Kabinet van Schilderijen en het Koninklijk Penningkabinet zijn thans nog bestaande en zelfstandige instellingen. Daarentegen viel voor het Koninklijk Kabinet van Zeldzaamheden al in 1883 het doek.

De grondslag voor het Koninklijk Kabinet van Zeldzaamheden vormde de collectie van Chinese en Japanse kunstvoorwerpen van de substituut-griffier en secretaris van het Hof van Holland, mr J. Th. Royer. De verzameling was omstreeks 1815 gelegateerd aan "Hem, die uit het Oranjehuis het eerst weder den Nederlandschen grond zou betreden". Koning Willem I besloot in 1816 deze kunstvoorwerpen samen met een groot aantal objecten van zijn vader, stadhouder Willem V, in een apart museum onder te brengen. De koning heeft sedertdien de uitbreiding van de verzameling krachtig ondersteund. Zo kocht hij in 1826 uit eigen middelen een door het voormalig opperhoofd van de faktorij Deshima te Japan, J. Cock Blomhoff, bijeengebrachte verzameling Japanse voorwerpen. In 1832 schoot hij het Rijk 41.600 gulden voor om de aankoop van de Japanse verzameling van J.F. van Overmeer Fisscher mogelijk te maken. Toch ontsnapte ook het Koninklijk Kabinet van Zeldzaamheden niet aan de algemene malaise, die sinds de jaren dertig van de 19e eeuw over de Rijksmusea neerdaalde.

De verzameling van het Koninklijk Kabinet van Zeldzaamheden omvatte een grote verscheidenheid aan voorwerpen. Naast schilde-rijen en andere kunstvoorwerpen, waren in het museum ook historische en ethnografische objecten vertegenwoordigd. Het verzamelterrein beperkte zich in geografisch opzicht niet tot Europa maar strekte zich feitelijk uit over de gehele wereld. Voorwerpen van Zuid-Amerikaanse indianen stonden opgesteld naast Japans porselein. Relicten van de in 1831 gesneuvelde luitenant ter zee Van Speijk waren tentoongesteld met ethnografica uit Afrika.

Het Kabinet van Zeldzaamheden is gedurende zijn bestaan enkele malen van behuizing veranderd. Van 1816 tot 1821 was het museum samen met het Koninklijk Kabinet van Schilderijen ondergebracht in de Departementale School aan het Buitenhof te 's Gravenhage. Beide musea verhuisden in 1821 naar het 17e-eeuwse Mauritshuis, eertijds de woning van Johan Maurits van Nassau-Siegen. In 1876 is het museum verplaatst naar het pand Lange Vijverberg 15. Daar is het gebleven tot de opheffing in 1883.

Het directoraat over het Koninklijk Kabinet van Zeldzaamheden was in 1816 toevertrouwd aan de Haagse predikant R.P. van de Kasteele. In 1824 werd zijn oudste zoon Gerrit benoemd tot assistent-directeur wegens de groeiende werkzaamheden in het museum. Een slechte gezondheidstoestand noodzaakte hem echter in 1826 weer ontslag te vragen. Het jaar daarop werd de tweede zoon van Van de Kasteele, Abraham Anne, tot assistent aangesteld. Hij volgde zijn vader in 1840 op als directeur. Onder zijn directoraat verslechterde het beheer van het museum. De oorzaak hiervan kan echter slechts voor een deel aan geldgebrek toegeschreven worden. A.A. van de Kasteele miste het vermogen om de verzameling op een enigszins verantwoorde wijze te beheren en te expo-seren. Na een mislukte poging om een inventaris en catalogus van de voorwerpen samen te stellen, werd Van de Kasteele op 1 juli 1876 van zijn taak ontheven. In zijn plaats werd D.J. van der Kellen Jr, een broer van de directeur van het Rijksprentenkabinet, tot waarnemend-directeur aangesteld.

Vanwege de uiterst complexe samenstelling van de verzameling en het verloederde beheer had het Koninklijk Kabinet van Zeld-zaamheden zijn bestaansrecht verloren. Al in 1875 vond de eerste aderlating plaats. De voorwerpen met betrekking tot de Nederlandse historie werden overgedragen aan het pas opgerichte Nederlandsch Museum van Geschiedenis en Kunst. Vervolgens werden in 1876 op instigatie van Van der Kellen plannen opgesteld tot de verdeling van de overige objecten. Op 1 februari 1883 sloot het museum voorgoed zijn deuren voor het publiek en was het met onmiddellijke ingang opgeheven. De voorwerpen werden verdeeld over zeven musea. Het leeuwendeel ging naar het Nederlandsch Museum van Geschiedenis en Kunst te 's Gravenhage en het Rijks Ethnografisch Museum te Leiden. Het restant kwam terecht bij het Rijks Museum van Natuurlijke Historie, het Rijksmuseum van Oudheden, 's Rijks Mineralogisch-Geologisch Museum en 's Rijks Herbarium te Leiden en het Koninklijk Kabinet van Penningen en Gesneden Stenen te 's Gravenhage.

Het enige Haagse museum, dat als instelling het nieuwe Rijksmuseum als onderkomen kreeg, was het reeds genoemde Nederlandsch Museum van Geschiedenis en Kunst. Zijn ontstaan hangt nauw samen met de instelling in 1874 van het College van Rijksadviseurs voor de Monumenten van Geschiedenis en Kunst. Een van de taken van dit college behelsde "gevraagd of ongevraagd aan de Regering advies uit te brengen omtrent de maatregelen, vereischt tot het behoud van voorwerpen, welke voor de Vaderlandsche geschiedenis of kunst belangrijk zijn, zoodanige voorwerpen op te sporen en daarvan, voor zoo ver zij aan openbare instellingen toebehoren, een inventaris op te maken en bij te houden". De ruime interpretatie van deze instructie door de Rijksadviseurs leidde al spoedig tot de instelling van het Nederlandsch Museum. Toch is het plan tot de stichting van het museum niet ontstaan binnen het College van Rijksadviseurs. Reeds in 1863 was op ministerieel niveau besloten tot de oprichting van een afzonderlijk "Rijks Museum van Vaderlandsche Oudheden". Maar eerst met het optreden van de Rijksadviseurs werd aan deze gedacht uitvoering gegeven. Een groot aandeel in de totstandkoming en het beheer van het Nederlandsch Museum in 1874-1875 heeft de secretaris van het College, jhr mr Victor de Stuers, gehad. In het najaar van 1874 en het voorjaar van 1875 heeft het zeven leden tellend college zich bezig gehouden met de inrichting van het nieuwe museum. Vele voorwerpen en verzamelingen, die specifiek betrekking hadden op belangrijke personen en gebeurtenissen uit het Nederlandse verleden, werden vanuit verschillende instellingen samengebracht in een gehuurd pand aan de Prinsegracht 71 te 's Gravenhage. Op 23 augustus 1875 werd het museum voor publiek opengesteld.

De leiding en het beheer berustte in eerste instantie bij het College van Rijksadviseurs. Aan deze collegiale bestuursvorm kleefden echter een aantal praktische bezwaren. Daarom is na enkele jaren besloten tot de instelling van een éénhoofdige directie. Op 6 februari 1876 werd een lid uit het College, D. van der Kellen Jr, benoemd tot directeur. Aangezien hij deze funktie onverenigbaar achtte met het lidmaatschap van de instantie, die primair belast was met de controle van de Rijksmusea, trad hij in april 1876 terug uit het College van Rijksadviseurs. Zijn museale werkzaamheden lieten hem overigens weinig ruimte voor andere activiteiten. Naast het directoraat over het Nederlandsch Museum, had hij ook nog zijn handen vol aan het beheer van het Koninklijk Kabinet van Zeldzaamheden én het museum Gevangenenpoort in Den Haag. In 1880 kreeg hij enige verlichting door de aanstelling van A. Bredius, een specialist op het gebied van de schilder- kunst, tot onderdirecteur van het Nederlandsch Museum. Vier jaar later, in 1884, werd het aantal stafleden nog uitgebreid met een tijdelijk (én onbezoldigd) ambtenaar.

De behuizing van het Nederlandsch Museum aan de Prinsegracht heeft van het begin af aan een tijdelijk karakter gehad. Toch is pas in 1878 definitief besloten tot de overbrenging naar het Rijksmuseum in Amsterdam. Van Haagse zijde is in de jaren daarna nog druk uitgeoefend om deze beslissing te herzien, hetgeen echter niet heeft mogen baten. Op 15 januari 1883 sloot het Nederlandsch museum zijn deuren en werd begonnen met het inpakken van de voorwerpen. De verzameling is vervolgens per schip in maart en april 1883 naar Amsterdam vervoerd. Daar zijn de manden en kisten met voorwerpen in afwachting van de voltooiing van de voor het Nederlandsch Museum bestemde zalen zolang in het Rijksmuseum opgeslagen.