Podanie ludowe głosi, że znany z uległości wobec małżonki władca wzniósł go na specjale życzenie Marii Kazimiery. Widocznie stare zamczysko musiało wówczas wydawać się kapryśnej Francuzce lokum niegodnym przyszłej królowej. Po pierwszym rozbiorze Polski w 1772 roku władze pruskie urządziły w nim koszary wojskowe. Od 1920 roku budynek był wykorzystywany jako magazyn wojskowy a później zakładowy. Taka sytuacja trwała aż do lat osiemdziesiątych XX wieku.

Obecnie odrestaurowany pałac wchodzi w skład kompleksu zamkowego. Jego atutem jest rozciągająca się z okien panorama na dziewiczą Dolinę Dolnej Wisły.