W XVIII w. teren ten nazywano „Gdyńskimi Górami”. W marcu 1920 roku z inicjatywy Ryszarda Gałczyńskiego wykupiono teren pod budowę osiedla letniskowego nazwanego wówczas Kamieniec Pomorski. Teren podzielony został na działki, na których zaczęto budować domy letniskowe, wille i pensjonaty.
Jednym z pilnowanych rygorytycznie założeń było stworzenie w tym miejscu miasta – ogrodu. Na szczycie wzgórza stanąć miała Bazykuja Morska, lecz plany zmieniły się i ostatecznie postawiono tam krzyż.

Zespół urbanistyczny Kamiennej Góry podlega od 1985 r. ochronie jako obszar zabytkowy. W rejestrze zabytków znalazło się także 11 najcenniejszych z punktu widzenia historii architektury willi, budynek firmy „Polskarob” oraz budynek „Polska Riwiera”. U podnóża Kamiennej Góry znajduje się Teatr Muzyczny im. Danuty Baduszkowej.