Mur nad Słupią, prawdopodobnie ze względu na podmokłe podłoże, posiadał widoczne w dolnych partiach łuki konstrukcyjne, wsparte dołem na kamiennym fundamencie. Lico zewnętrzne muru pionowe, a od wewnątrz widoczna jest odsadzka mieszcząca niegdyś ganek strzelniczy.

Baszta Czarownic założona jest na rzucie półkola wysuniętego poza linię muru zewnętrznego. Od strony miasta prostokątna część baszty wystaje również poza lico muru, od tej strony dawniej była ona otwarta, obecnie całkowicie przeszklona. Dolna kondygnacja baszty była sklepiona, a trzy górne miały drewniane stropy. Baszta Czarownic obecnie przykryta jest zrekonstruowanym hełmem stożkowym, odciętym od strony starówki. W elewacji wschodniej znajduje się kilka prostokątnych wąskich otworów umieszczonych w trzech kondygnacjach.

W XVII w. basztę tą przebudowano na cele więzienne i przetrzymywano tu kobiety posądzone o czary – stąd wywodzi się jej nazwa. Według dostępnych Źródeł archiwalnych stracono tu 18 kobiet. Pierwszy proces o czary odbył się w 1651 roku a jego ofiarami były dwórki księżnej Anny de Croy – Scholastyka i Runga. Ostatnią ofiarą świętej Inkwizycji była służąca z Rowów – Anna Kosbad. Została uśmiercona w 1714 roku. Do literatury i legend o Słupsku weszła postać Triny Papisten (Kathrin Zimmermann), która zginęła na stosie w roku 1701.

W XIX wieku basztę przerobiono na magazyn, a na początku XX wieku było to mieszkanie. W marcu 1945 roku budynek został częściowo spalony przez wojsko rosyjskie. Basztę Czarownic odbudowano i przeznaczono na galerię sztuki w roku 1975. Obiekt ten należy do najstarszych zabytków architektonicznych miasta Słupska.

Galeria „Baszta Czarownic” powstała w 1976 roku. Była pierwszą galerią nowopowstałego Biura Wystaw Artystycznych (obecne BGSW).. Galeria ma trzy poziomy. Powierzchnia wystawiennicza wynosi 86m2. W galerii organizowane są wystawy malarstwa, fotografii, małych form rzeźbiarskich, grafiki, rysunku i instalacji przestrzennych.