Visborgs slott låg såväl utanför som innanför ringmurens södra del och sträckte sig längs muren från Skansport ned till ringmurens sydvästra hörntorn.
Slottet anlades troligen av Tyska Orden i början av 1400-talet men bygget övertogs av Erik av Pommern, vars morfar som bekant hette Valdemar Atterdag och som 1361 hade krossat republiken Gotland. Visbys innevånare var misstrogna mot uppförandet men försäkrades om att de inte skulle lida någon skada. Så blev det inte. Efter tolv år som regent över Sverige och Danmark blev Erik avsatt och bosatte sig i slottet på heltid och bedrev storpolitik med Gotland som bas i sina försök att återerövra de nordiska länderna.
Slottet övergick så småningom till den danske kungen och blev säte för hans fogdar. Olof Axelsson sattes som förste länsherre på slottet. Därefter styrdes Gotland av ett par av bröderna Tott. Slottet byggdes till under 1400- och 1500-talet och fick sin vackra kyrka. Många tinnar och torn restes, skansar och vallar förstärktes så att Visborgs slott på sin tid räknades som ett av Nordens starkaste fästen. Den kraftfullaste länsherren torde ha varit Sören Norby, Severin Norbi som det står på hans mynt, en sjöhjälte av heroiska mått.
När danskarna anno 1679 skulle överlämna Gotland till svenskarna sprängde de delar av slottet. Förstörelsen fullbordades då man på Karl XI:s tid byggde två kalkugnar invid ruinen, varvid den ofantliga mängden sten brändes till kalk åt svenska kronan och användes bl a till att foga samman Stockholms slott. Visborgs slott jämnades på detta sätt till marken med undantag av ett par grova murar vid ringmurens södra sida.
Det finns inga samtida bilder på hur slottet såg ut i sina glansdagar men att det varit ståtligt och välbefäst råder det inget tvivel om.