Najstarsza wzmianka o Żelisławkach pochodzi z 1292 roku. W tym czasie istniał tu dwór, opisany potem w dokumencie z 1342 roku. Wówczas klasztor w Kartuzach kupił wieś Gołubie od rycerzy Hansa, Meysnera i Dytryka z Żelisławia. W XVI w. wieś wymieniana jest jako gniazdo rodzinne miejscowej rodziny szlacheckiej – Żelisławskich. Z tego rodu wywodził się opat pelpliński Stanisław (1557–1562), późniejszy biskup chełmiński.