Prapoczątków parku należy szukać jeszcze na przełomie XII i XIII wieku, kiedy powstawało opactwo cysterskie w Oliwie. Niestety mało jest informacji o ówczesnym wyglądzie ogrodu, natomiast obecny swój kształt park zawdzięcza ostatnim opatom oliwskim. Największą budowlą na terenie parku jest Pałac Opatów, ten zabytkowy budynek składa się z dwóch skrzydeł – wschodniego oraz nowsze południowego. Obecnie w pałacu mieście się Oddział Sztuki Nowoczesnej Muzeum Narodowego w Gdańsku.

Początek budowy pałacu datuje się na XV wiek , wtedy to powstał tzw. Stary Pałac w stylu gotyckim. Nowsza część – Nowy Pałac, dobudowano w drugiej połowie XVII wieku, natomiast za ostateczny kształt całego kompleksu odpowiada w głównej mierze opat Jacek Rybiński, za czasów którego w połowie XVIII miała miejsce przebudowa, a kilka lat później powstała nowa wersja przypałacowego ogrodu. Sam ogród inspirowany jest twórczością André Le Nôtre – nadwornego ogrodnik króla Ludwika XIV, twórcy szkoły geometrycznego ogrodu francuskiego oraz m.in. ogrodów w Wersalu. W tamtym czasie powstała barokowa część parku, dzisiaj nazywana częścią francuską. Znajdująca się tam fontanna oraz popiersia książąt pomorskich zdobią miejsca przed frontem pałacu, gdzie utworzono wspaniały parter ogrodowy ( inaczej nazywany kwiatowo – trawnikowy) otwierający się w stronę dużego prostokątnego stawu. Przed wojna z uwagi na obecność różnych kolorowych ryb, staw nazywano „stawem złotych rybek”. W tym miejscu warto wspomnieć o Alei Lipowej, która znajduje się w tej samej osi, a zwieńczeniem jej jest mniejszy staw, który w poprzednich latach tworzył charakterystyczna iluzję – patrząc na wschód wydawało się iż ów staw łączy się z oddalonymi o kilka kilometrów wodami Zatoki Gdańskiej. Niestety dzisiaj, chcąc dostrzec ów iluzję musimy wytężyć wyobraźnię, ponieważ widok morza został zasłonięty. Również w okolicy Alei Lipowej, znajduje się miejsce opisywane jako Raj. Jest mim zlokalizowany w zagłębieniu , sprawiający wrażenie lekko odizolowanego, położony równolegle do stawu jeszcze jeden parter ogrodowy. Spacerowicze z dziećmi z pewnością przystaną na chwile przy Grotach Szeptów – charakterystycznych muszlach usytuowanych naprzeciwko siebie, których specyficzny kształt umożliwia wzajemne słyszenie się 2 szepczących osób stojących plecami do siebie, pod warunkiem że nic nie będzie przecinać linii miedzy nimi.

Przez lata za kształt i wygląd parku odpowiadali ogrodnicy, a niektórzy z nich nadali mu wręcz nowy charakter, tak tez było w okresie rozbiorów Polski. Miejsce, przechodząc pod władanie państwa pruskiego otrzymało również nowego opiekuna. Panująca w tamtym czasie moda nakazywała niejako urządzanie parków tak aby imitowały naturę wzorując się m.in. na ogrodach chińskich. Następne zmiany pojawiły się w kolejnym stuleciu, a nowi zarządcy do 1881 roku sprowadzili do parku wiele egzotycznych roślin, a ten nabrał charakter ogrodu dendrologiczno-krajobrazowego. Pozostając w temacie „roślin” dochodzimy do roku 1910-ego, w którym to wybudowano tzw. alpinariu, a ówczesny inspektor Erich Wocke sprowadził tam szereg alpejskich roślin. W dzisiejszej palmiarni zobaczyć można m.in. palmy, bananowce, araukarie, filodendrony, kaktusy, aloesy, agawy oraz opuncje. Dla zwiedzających otwarta jest od maja do października. Park Oliwski jako element zespołu pocysterskiego został wpisany w 1971 roku do rejestru zabytków.