Zasadnicza część dworu zbudowana została na planie prostokąta z ryzalitem środkowym od północy. Dwór przebudowano na początku XX wieku wówczas do wschodniej strony dworu dobudowano skrzydło północne, do niego zaś skrzydło wschodnie. Z zabytkowego wyposażenia zachował się jedynie kominek i malowany herb rodu Puttkamerów. Wiadomo jednak, że mieszkały tu też inne rodziny szlacheckie.

Historyczne zapiski niewiele jednak mówią o jego historii i mieszkańcach. Niewiele wiemy również o tym co działo się w pałacu w czasie II Wojny Światowej i tuż po niej. Wiadomo na pewno, że hitlerowcy wykorzystywali budynek i stojące wokół niego zabudowania jako więzienie dla Rosjan i Polaków. To właśnie w Wytownie znajdował się jeden z obozów pracy w którym wykorzystywano i mordowano jeńców.

Zaraz po wojnie pałac przekształcono w biura miejscowego PGR. Szare ściany, lamperie malowane farbą olejną i zwykłe biurka. Później już w latach siedemdziesiątych pokoje wyposażono w łóżka i zamieniono w niewielki hotel w którym wypoczywały rodziny górników ze Śląska. Miejscowi, którzy pamiętają tamte czasy opowiadają, że już wtedy pałac został ogołocony ze wszystkiego, co wartościowe. Nigdy nie wyremontowano budynku. Miał to zrobić nowy właściciel, ale jak widać jemu też się nie udało.

Źródło: www.ustka.ug.gov.pl