Książę Tczewski Grzymisław osadził Joannitów w Skarszewach w XII wieku. Rycerze zakonni wybudowali na stromym cyplu otoczonym z trzech stron przez rzekę Wietcisę murowany zamek. Składał się on z części mieszkalnej poprzedzonej dziedzińcem oraz gospodarczego podzamcza. Wielokrotnie niszczony, przebudowywany i odnawiany, został ostatecznie rozebrany przez Prusów po rozbiorach. Do dziś z joannickiego zamku zostało jedynie gospodarcze podzamcze, w którym mieści się Gminny Ośrodek Kultury.