Przez wieki swarzewskie sanktuarium skupiało Pomorzan w duchu polskości, poprzez tradycje i polską mowę, zwłaszcza w czasie zaborów. Nie zachowały się jednak żadne dokumenty, które opisywałyby pojawienie się lipowej figurki w miejscowości pod Puckiem. Legenda podaje, że statuetka znajdowała się na średniowiecznym niderlandzkim żaglowcu, który zaczął tonąć podczas szalejącego sztormu. Załoga statku modliła się o ocalenie od nawałnicy przed okrętową figurką Madonny z Dzieciątkiem. Prośby żeglarzy zostały wysłuchane. Kiedy marynarze znaleźli się na lądzie, postanowili umieścić figurkę niedaleko wiejskiej studzienki. Opaci cysterscy w Oliwie zapisali, że rybacy wznieśli nad studzienką kapliczkę i w niej czcili Matkę Bożą aż do XV wieku. Później figura została przeniesiona do kościoła w Helu, ponieważ w tym czasie nie było jeszcze w Swarzewie świątyni.