Pomezański Sztum został zdobyty przez Krzyżaków w 1236 roku. W miejscu drewnianego grodu zakon w latach 1325-1326 zbudował z kamienia i cegły obronną warownię, która od 1333 roku stanowiła siedzibę wójta krzyżackiego. Konstrukcja zamku różniła się od większości siedzib krzyżackich budowanych w XIV wieku. Wzniesiono go na planie nieregularnego pięcioboku, a nie jak zwykle kwadratu. Kształtem budowla nawiązywała do wyspy, na której w średniowieczu był położony Sztum. Wzgórze zamkowe otaczała fosa z murem, w który wkomponowano wieżę bramną i dwie baszty.

W 1377 roku przebywał na zamku austriacki arcyksiążę Albrecht III Habsburg, który wspierał zakon w najeździe na Żmudź. W podziękowaniu pozostawił wójtostwu sztumskiemu swoje rodowe barwy, biały pas na czerwonym polu. Symbole te do dziś przetrwały w Sztumie, który ma flagę identyczną z flagą Austrii. Ze środków podarowanych przez księcia zbudowano również wyniosłą wieżę zamkową zwaną odtąd Wieżą Albrechta.

Siedziba wójtów krzyżackich pełniła w życiu zakonu również inną rolę, niż tylko militarną. W XV w. po rozbudowie zamek zyskał sławę letniej rezydencji mistrza krzyżackiego. W twierdzy były wszystkie możliwe na owe czasy udogodnienia. Reprezentacyjne pomieszczenia wyposażono w piece i łazienki z wanną, a woda ze studni na dziedzińcu zamkowym miała ponoć właściwości lecznicze.

Zamek w rękach zakonu był do końca wojny trzynastoletniej. Od 1468 roku stał się siedzibą polskich starostów. W okresie siedemnastowiecznych wojen ze Szwedami na zamku sztumskim schronił się sam Gustaw Adolf, król Szwecji. Nie uchroniło to zamku od zniszczeń, Szwedzi zrujnowali twierdzę, wywożąc całe cenne wyposażenie, łącznie z kaflami od pieców. Obecnie z całego zespołu zamkowego najlepiej zachowane jest skrzydło południowe, mury z jedną basztą oraz wieża z bramą. Aktywnie działające w murach zamku Bractwo Rycerzy Ziemi Sztumskiej organizuje turnieje rycerskie, pokazy historyczne i przypomina nam dziś o dawnej świetności sztumskiej twierdzy.