Teren Kamiennej Góry należał do wsi Gdynia i razem z nią był przypisany do klasztoru w Kartuzach. W czasie zaboru pruskiego oddany został w dzierżawę osadnikom niemieckim i na początku XIX wieku zyskał nazwę Steinberg. W 1920 roku z inicjatywy Ryszarda Gałczyńskiego zakupiono teren Steinberg i przeznaczono go spółce Pierwszego Polskiego Towarzystwa Kąpieli Morskich, aby zbudowano na jego terenie letnisko. W planach Towarzystwa było stworzenie centrum kulturalno-rekreacyjnego podobnego do Zakopanego. Początkowo wzniesieniu nadano nazwę Kamieniec Pomorski, który miał się odnosić do sienkiewiczowskiego Kamieńca Podolskiego i stanowić szaniec polskości na północy.
Wraz z rozwojem Gdyni na terenie Kamiennej Góry w latach 20 i 30 XX wieku, zaczęły pojawiać się wille. Początkowo wille budowano w stylu neorenesansowym i neobarokowym nawiązujących do typowo polskich dworków. Były to domy niskie, zdobione kolumnami i portykami z czterospadowymi typowo polskimi dachami. Całkowitą zmianę przyniosły lata trzydzieste XX wieku i nowy styl w architekturze – modernizm, z prostymi, geometrycznymi bryłami. Domy powstałe w latach trzydziestych nie charakteryzują się już bogatą dekoracją, są one proste i bardzo często posiadają elementy nawiązujące do tematyki morskiej. Domy w obu stylach można nadal oglądać spacerując po Kamiennej Górze, gdzie wiele z nich zostało odrestaurowanych. Kamienna Góra przed II Wojną Światową, tak jak i po wojnie była dzielnicą willową i ekskluzywną, z tego powodu tak niewiele się w niej zmieniło.
Przykładami domów z lat 20 budowanych w stylu polskich dworków są między innymi: willa „Henryka” (ul. Sędzickiego 8), willa „Nasz domek” (ul. Sienkiewicza 5), willa „Poznanianka” (ul. Sędzickiego 16) czy willa „Szumka” (ul. Sienkiewicza 37). Natomiast budynek firmy „Polskarob”(ul Korzeniowskiego 8/10), willa bliźniacza przy ulicy Korzeniowskiego 25/25a czy willa przy ulicy Sieroszewskiego 1a, reprezentują styl lat 30 – modernizm.
Oprócz zachowanych willi na Kamiennej Górze znajduje się punkt widokowy, z którego można podziwiać panoramę miasta, portu i Zatoki Gdańskiej. Na placu znajduje się 25-metrowy Krzyż, ustawiony tam w latach 90 XX wieku oraz pomnik Obrońców Wybrzeża 1939 r. Obecnie na Kamienną Górę można wjecać kursującą regularnie bezpłatną kolejką, startuje ona spod Gdyńskiego Centrum Filmowego i zatrzymuje się na samym szczycie.
