Segeltornet, eller ett av dem (det är lite osäkert det här), ligger i ringmurens sydvästra hörn och var en del av Visborgs slott.
Redan under tidig medeltid flyttades hamnen från Almedalen till vad vi i dag kallar inre hamnen, dvs hamnen längst in (Katträngen). Det förefaller som att det fanns ett segeltorn redan på den tiden då Almedalen var hamn, men detta torn är sedan länge försvunnet (kommer jag ihåg rätt så skulle det ha legat alldeles i närheten av Donnersplats).
Det som vi nu kallar Segeltornet måste hänga samman med tiden efter att man hade flyttat hamnen, och kanske har tornets namn att göra med vad som kallas Slottshamnen, som låg alldeles nedanför och till höger om tornet på bilden ovan; det finns fritidsbåtar där i dag.