W Skarszewach, oprócz średniowiecznej siatki ulic, zachowały się też obwarowania miejskie wraz z pozostałościami joannickiego zamku oraz kilkunastoma, głównie XIX-wiecznymi budowlami. Jednak najbardziej charakterystyczny jest rynek. Wokół rynku stały kamienice najbogatszych mieszkańców miasta takie jak „Dom Wojewodów” czy „Dom pod Gutenbergiem” Na rynku znajdują się najważniejsze dla mieszkańców obiekty, w tym ratusz.