Prawdopodobnie już na przełomie XIII i XIV wieku, na skrzyżowaniu traktów prowadzących do Pucka, Wejherowa oraz Żarnowca i Łeby, istniała obronna siedziba rycerska. Wybrano dlań miejsce w malowniczej dolinie przeciętej strumieniem, pozwalającym wykorzystać wodę jako przeszkodę.

Zamek, który z biegiem czasu stał się znaczącą szlachecką warownią Kaszub Północnych, uzyskał pełną formę przypuszczalnie w końcu XVI wieku. Na zabudowania zamkowe składał się wówczas prostokątny budynek, zapewne dwukondygnacyjny z obronnym poddaszem, oraz dwie wieże umieszczone w narożach. Teren opasany murami był niemalże regularnym kwadratem o bokach około 60-70 m. Obwód obronny uzupełniała głęboka mokra fosa, której lustro wody ma obecnie szerokość od 10 do 20 m. W tym okresie zamek w Krokowej gościł powracającego ze Szwecji króla Zygmunta III Wazę, a władcę podejmował Pułkownik Rajnhold von Krockow. Był to jednocześnie okres stanowiący zmierzch klasycznych zamków, których mury łatwo ulegały ostrzałowi artylerii – nowego boga wojny. Zapewne i właściciele zamku w Krokowej byli dobrze obeznani z przeobrażeniami fortyfikacji, więc przestarzałe dzieło obronne zaczęto przebudowywać na reprezentacyjną rezydencję. Natomiast brakuje potwierdzenia dla informacji o rzekomym zaopatrzeniu zamku w bastiony. Przeciwnie, w ciągu XVII wieku zabudowania powiększono o dwa skrzydła okalające dziedziniec, a mury i wały rozebrano.
Obecnie szeroka fosa zamkowa strzeże starannie odrestaurowanego pałacu, w którym znajduje się restauracja i baza noclegowa, otoczona pięknym parkiem.