Teren Kamiennej Góry należał do wsi Gdynia i razem z nią był przypisany do klasztoru w Kartuzach. W czasie zaboru pruskiego oddany został w dzierżawę osadnikom niemieckim i na początku XIX wieku zyskał nazwę Steinberg. W 1920 roku z inicjatywy Ryszarda Gałczyńskiego zakupiono teren Steinberg i przeznaczono go spółce Pierwszego Polskiego Towarzystwa Kąpieli Morskich, aby zbudowano na jego terenie letnisko. W planach Towarzystwa było stworzenie centrum kulturalno-rekreacyjne podobnego do Zakopanego. Początkowo wzniesieniu nadano nazwę Kamieniec Pomorski, który miał się odnosić do sienkiewiczowskiego Kamieńca Podolskiego i stanowić szaniec polskości na północy.
Wraz z rozwojem Gdyni na terenie Kamiennej Góry zaczęły w latach 20 i 30 pojawiać się wille. Początkowo wille to powstawały z stylach neorenesansowym i neobarokowym nawiązujących do polskich dworków. Były to domy niskie, zdobione kolumnami i portykami z czterospadowymi polskimi dachami. Całkowitą zmianę przyniosły lata trzydzieste i nowy styl w architekturze – modernizm, z prostymi, geometrycznymi bryłami. Domy powstałe w latach trzydziestych nie mają dekoracji, są proste i bardzo często posiadają elementy opływowe, które były uznawane za morskie. Domy w obu stylach można nadal oglądać spacerując po Kamiennej Górze, gdzie wiele z nich zostało odrestaurowanych. Kamienna Góra przed II wojną światową, tak jak i po wojnie była dzielnicą willową i ekskluzywną, z tego powodu tak niewiele się w niej zmieniło.
Przykładami domów z lat 20 budowanych w stylu polskich dworków są między innymi: willa „Henryka” (ul. Sędzickiego 8), willa „Nasz domek” (ul. Sienkiewicza 5), willa „Poznanianka” (ul. Sędzickiego 16) czy willa „Szumka” (ul. Sienkiewicza 37). Natomiast budynek firmy „Polskarob”(ul Korzeniowskiego 8/10), willa bliźniacza przy ulicy Korzeniowskiego 25/25a czy willa przy ulicy Sieroszewskiego 1a, reprezentują styl lat 30 – modernizm.
Oprócz zachowanych willi na Kamiennej Górze znajduje się punkt widokowy, z którego można podziwiać panoramę miasta, portu i Zatoki Gdańskiej. Na placu znajduje się 25-metrowy Krzyż, ustawiony tam w latach 90 XX wieku oraz pomnik Obrońców Wybrzeża 1939 r.
