Budowę tego magazynu wojskowego rozpoczęto wiosną 1804 roku z przeznaczeniem na przechowywanie obroku dla koni. Źródła podają, że budowa spichlerza zakończyła się w 1814 roku, choć na planie miasta z 1811 roku budynek został już ujęty. Spichlerz był jednym z nielicznych budynków magazynowych po prawej stronie rzeki. Wyróżniał się na tle miejskich budynków szachulcowych nie tylko kolorem ścian, ale i wielkością. Był pierwszym spichlerzem o tak nowoczesnych rozwiązaniach konstrukcyjnych oraz jednym z pierwszych o murowanychi otynkowanych ścianach. Zewnętrzna forma zaprojektowana została według najnowszych trendów architektonicznych. Cechował go klasycystyczny wygląd z niewielką ilością dekoracji.
Spichlerz pełnił swoją funkcję do 1945 roku. W latach powojennych miał najróżniejsze przeznaczenie: był tymczasowym więzieniem dla niemieckich mieszkańców miasta, spichlerzem zbożowym, magazynem mechanicznych artykułów gospodarstwa domowego. W ręce prywatne trafił w roku 1995 i także był używany jako magazyn.
W 2012 roku właścicielem budynku został Samorząd Województwa Pomorskiego, który rok później przekazał działkę wraz z budynkami Białego – i leżącego obok – Czerwonego Spichlerza Muzeum Pomorza Środkowego w Słupsku. W budynkach zaplanowano realizację projektu polegającegona rozbudowie głównej siedziby muzeum pt. „Witkacy w Słupskich Spichlerzach Sztuki – rewitalizacja i adaptacja dwóch XIX-wiecznych zabytkowych spichlerzy i ich otoczenia na cele kulturalne i społeczne”.
Prace remontowo-budowlane w Spichlerzu Białym trwały od początku roku 2017 do połowy roku 2018. Następnie urządzano wnętrza i przenoszono muzealne eksponaty z przepełnionych magazynów; aranżacja wystaw trwała do połowy roku 2019.
Dzięki zaangażowaniu i wytężonej wielu osób, po ponad 200 latach istnienia, budynek odzyskał świetność. Poprzez wprowadzenie funkcji muzealnej: wystawienniczej i magazynowej, zaczął nowy rozdział. W lipcu 2019, w roku 95. rocznicy istnienia muzealnictwa w Słupsku, Biały Spichlerz wraz z nowymi wystawami zostanie otwarty dla zwiedzających.
