Około 3 km na południe od Żarnowca, w pobliżu Jeziora Żarnowieckiego, na szczycie Góry Zamkowej znajdują się umocnienia ziemne datowane na VII-X w. Przeprowadzone tam wykopaliska archeologiczne nie potwierdziły istnienia grodu. Odkryto jedynie pozostałości jednego tylko zabudowania (w centralnej części obwałowanego placu) oraz ślady rudy żelaza.

Na terenie obecnego Żarnowca już na początku XIII w. istniała osada kaszubska. Od ok. 1215 r. Żarnowiec należał do opactwa Cystersów w Oliwie, które założyło tu żeński klasztor cysterek. Nadanie zostało potwierdzone przez księcia pomorskiego Świętopełka II w 1220 r. Klasztor żarnowiecki wraz z należącymi do niego posiadłościami został oficjalnie zatwierdzony 1279 r. przez księcia pomorskiego Mściwoja II, który nadał mu także specjalne przywileje sądownicze i ekonomiczne.

W historycznych dokumentach Żarnowiec występuje jako Sarnkow, Sarnowitz, Sarnowicz lub Czarnowicz.

Kompleks klasztorno-kościelny w Żarnowcu jest najcenniejszym zabytkiem gminy Krokowa i jednym z najcenniejszych obiektów północnych Kaszub. Składa się on z kościoła z krużgankami, budynku klasztornego oraz plebanii. Najcenniejszym zabytkiem kościoła jest Pieta pochodząca z ok. 1430 r. Na uwagę zasługuje także ołtarz główny, datowany na ok. 1700 r., z postaciami Marii i Archanioła Gabriela dwa ołtarze boczne, chrzcielnica z XVIII w. i ambona. Gotyckie krużganki przylegają do kościoła od jego północnej strony. Fundatorami żeńskiego klasztoru w Żarnowcu byli oliwscy cystersi w 1235 r. Rozwój Żarnowca przez kolejne 500 lat był związany z kondycją klasztoru. W 1772 r. władze pruskie zlikwidowały zakony i przejęły ich majątek. Dopiero w 1946 r. do Żarnowca powróciły mniszki – benedyktynki z Wilna. Klasztorny skarbiec skrywa liczne zabytki m. in. cenne rękopisy z XV w., pastorały i bogato zdobiony graduał, piękne szaty i hafty liturgiczne. Istnieje możliwość zwiedzania kompleksu kościelno – klasztornego w Żarnowcu po wcześniejszym umówieniu.

W Żarnowcu zawsze w miesiącu maju odbywa się jedyny w swoim rodzaju Majówkowy Bieg nad Bałtykiem pod nazwą Krokowska ’10 na dystansie 10 km. Celem imprezy jest promocja urokliwych terenów oraz Kultury Gminy Krokowa. Co roku do Żarnowca przyjeżdżają setki biegaczy z całej Polski, przyciągają ich powietrze przesycone jodem i piękne widoki, w szczególności budynek jednego z najstarszych kościołów w regionie. Warto nadmienić, że Żarnowiec i plażę w Dębkach dzieli jedyne 8 km! Bazą biegu jest Szkoła Podstawowa im. Janusza Korczaka w Żarnowcu, ul. Szkolna 2. Organizatorem biegu jest : Stowarzyszenie Kaszuby Biegają i Krokowskie Centrum Kultury w Krokowej

Natomiast we wrześniu odbywają się zawody w kolarstwie górskim Cyklo Krokowa MTB, na które wszystkich miłośników dwóch kółek zapraszamy! Na uczestników maratonu rowerowego MTB zostały przygotowane trasy o różnym poziomie trudności (Trasa Mega 45 km, Trasa Mini – 22,5km, Trasa rodzinna FIT).