Toen kort na het begin van onze jaartelling de Romeinen in deze streek kwamen, moet de naam 'Velsen' al bekend zijn geweest. De eerste schriftelijke overlevering stamt uit het jaar 722. In een oorkonde van Karel Martel uit dat jaar wordt gesproken over een 'villa Felison'. In de overgeleverde bronnen uit de daaropvolgende eeuwen komt de naam in diverse vormen voor. In het begin van de 12de eeuw is voor het eerst sprake van 'Velsen'. Over de betekenis van de naam bestaat verschil van mening. Gedacht kan worden aan 'vels' dat watertje betekent, maar ook aan 'vels' of 'fels' dat een benaming is voor heuvel of hoogte *  . Naast de woonkern Velsen behoorden ook Santpoort en Driehuis tot de ban van Velsen. Voor zover bekend wordt Santpoort het eerst genoemd in 1388, wanneer aldaar verpachtingen worden gehouden, uitgaande van de Abdij van Egmond. Bij de naam Santpoort denkt men aan de ruïne van het kasteel Brederode, de verblijfplaats van de heren van Brederode tot de 14de eeuw *  . Driehuis wordt voor het eerst vermeld in 1557 *  .

Velsen lag oorspronkelijk tegen een laag duingebied aan dat ten westen werd begrensd door de zee en ten oosten door een moeras- en veengebied. Aan de randen van de moerassen, het kweldergebied, ontstonden wilgen- en elzenbossen. Een veranderend landschap waarvan woonsporen in de bodem aangeven dat het vanaf ongeveer 2000 jaar voor Christus bewoond is geweest. De veenontginningen in de vroege middeleeuwen waren voor Velsen en wijde omgeving van grote economische betekenis. Door de systematische ontginningen was er sprake van een grote toename van de bevolking. Door de ontginningen ontstond echter een gebied dat moeilijk tegen overstromingen was te beveiligen. Van de 10de tot de 13de eeuw ging veel land verloren door overstromingen van het Wijkermeer.

Bedreigde stukken land werden bedijkt. Omstreeks 1220 werd de lage Velserdijk aangelegd en ontstond de weidepolder De Velserbroek *  . In het midden van de 17de eeuw werd de Velserhaven gegraven. Deze liep van de kerkheuvel in oostelijke richting naar het Wijkermeer. Hij was nog in de 18de eeuw in gebruik, maar reeds toen ondervond men veel last van de aanslibbing van de meeroever. Dit had funeste gevolgen voor de vrachtvaart. Het vervoer van essentiële goederen zoals turf, vis, producten van land- en tuinbouw, mest, stenen en bier werd hierdoor ernstig bemoeilijkt. Het achterland ondervond hiervan een sterke economische terugslag *  .

Uit de vroegste tijd ontbreken gedetailleerde gegevens over de bevolking. Eind 15de, begin 16de eeuw wordt een tipje van de sluier opgelicht. In Velsen werden zowel in 1477 als in 1494, 69 haardsteden geteld. Uit de 'Enqueste' van 1494 kan worden afgeleid dat Velsen in dat jaar zo'n 300 inwoners had *  . In de 'Informacie' van 1514 was het aantal haardsteden tot 85 aangegroeid. Er woonden toen ongeveer 615 mensen in het dorp *  . In de jaren dertig van de 17de eeuw bedroeg het aantal ingezetenen 660, in 1780 circa 870 en in 1795 was het aantal van 1200 bereikt *  .

Als middelen van bestaan stonden de landbouw en veeteelt centraal. Men verbouwde diverse graansoorten en teelde daarnaast kool, rapen en peulvruchten. Schapen en koeien leverden wol, vlees en zuivelproducten. Daarnaast was de schelpenwinning ten behoeve van de kalkfabricage van belang voor de bewoners langs de duinkant. Ook de blekerijen verschaften aan vele handen werk. In de 17de en 18de eeuw werden tal van Velsenaren ingeschakeld voor het onderhoud van de buitenplaatsen van gefortuneerde Amsterdamse patriciërs, zoals Beeckestijn, Waterland en Velserbeek *  . De economische recessie tijdens en na de overheersing door Napoleon luidde de ondergang in van dit regentenpatriciaat en tevens het verval van de buitenplaatsen *  .