De oprichting in 1968 van de Vereniging De Twintig in de Vishal was te danken aan het initiatief van twee beeldende kunstenaars en de directeur Moderne Kunst van het Frans Hals Museum. Omdat er onvrede bestond met het toenmalige expositiebeleid en de faciliteiten van de gemeentelijke overheid wilde men komen tot een betere representatie van het werk van beeldende kunstenaars uit Haarlem. Er werd bewerkstelligd dat met 250 gulden subsidie van de gemeente er jaarlijks in de Vishal een tentoonstelling gemaakt kon worden van het werk van jonge professioneel werkende beeldende kunstenaars uit Haarlem. De directeur van het Frans Hals Museum stelde hierbij de eis dat tenminste twintig kunstenaars hieraan zouden moeten deelnemen. Later werd de mogelijkheid om te exposeren uitgebreid met de Vleeshal en veranderde de naam in Vereniging Twintig in de Hallen. In 1987 werd besloten van de vereniging een stichting te maken om zodoende een rechtspositie te verwerven en subsidies te verkrijgen. De naam luidde vanaf dat jaar Stichting Twintig in de Hallen en de doelstelling werd in vijf punten geformuleerd:
1. Het stimuleren van hedendaagse beeldende kunst in Haarlem en de regio; 2. Het jaarlijks laten exposeren van jonge professioneel werkende beeldende kunstenaars in de Vis- of Vleeshal te Haarlem of in gelijkwaardige ruimte; 3. Het bemiddelen ten aanzien van regelingen en subsidies ten behoeve van beeldende kunstenaars bij gemeentelijke, provinciale of landelijke overheid; 4. Het adviseren van jonge professioneel werkende beeldende kunstenaars op artistiek en zakelijk gebied; 5. Het publiceren van documentatie over beeldende kunstenaars.

In 1991 was het de laatste keer dat de Vishal gebruikt kon worden voor een tentoonstelling omdat in het daarop volgend jaar door het Frans Hals Museum besloten werd de Vishal af te stoten. De Vereniging Vishal werd daarna opgericht en deze verklaarde niet beschikbaar te zijn voor het museum of voor de groepen, die nu geheel aangewezen waren op de Vleeshal. De drie kunstenaarsverenigingen De Groep, Kunst Zij Ons Doel en Twintig in de Hallen vormden tot in 2003 gezamenlijk de drijvende kracht van het expositiebeleid van de moderne kunst in Haarlem. Zij maakten vele tentoonstellingen waarvoor zij zowel lof als kritiek oogstten.
In 2003 werd de samenwerking tussen het Frans Hals Museum en de kunstenaarsverenigingen beëindigd vanwege uiteenlopende visies betreffende kwaliteit en organisatie. Het recht van de kunstenaars om hun werk in de Vleeshal te exposeren kwam hiermee te vervallen.