De första spåren av människor i Visbytrakten är 5.000 år gamla. De hade bosatt sig under den skyddande klippkanten ovanför Stora Torget (systembolaget ligger där i dag) och längs Södra Kyrkogatan. Vi vet just ingenting om dem förutom att de brukade grilla fisk.
Efter stenålderns slut, cirka 1.500 f.Kr., förefaller det inte ha förkommit någon kontinuerlig bosättning förrän framemot 600- och 700-talet, då det bodde folk på stranden ovanför dagens Strandgata (gatan alldeles ovanför Almedalen), enkel träbebyggelse var allt. Något samhälle av betydenhet fanns inte förrän på 1100-talet.