Matka Boża Oliwska niewątpliwie jest otoczona szczególnym kultem. Nie znamy dokładnej daty powstania samego obrazu ani okalającego go feretronu. Wiemy natomiast, że związany jest z trwającą od 355 lat tradycją pielgrzymowania do Kalwarii Wejherowskiej. Pierwotnie – w dziękczynieniu za pokój oliwski, zawarty ze Szwedami w 1660 r. – pątnicy wyruszali na kaszubską golgotę z Chełma (obecnie Gdańsk-Chełm). Przy tamtejszym klasztorze w 1766 r. papież Klemens XIII powołał Bractwo Drogi Krzyżowej, którego zadaniem było organizowanie podróży gdańszczan do Jerozolimy Kaszubskiej, jak określano kaplice na wzgórzach wokół Wejherowa. W 1850 r., decyzją biskupa chełmińskiego, siedziba bractwa przeniesiona została z Chełma do Oliwy.