Gimnazjum Polskie zostało uroczyście otwarte i poświęcone 13 maja 1922 r. dzięki finansowej pomocy polskiego społeczeństwa. Dużą rolę w akcji zbierania pieniędzy odegrał Stanisław Przybyszewski, sławny pisarz, poeta, dramaturg pracujący w tym czasie w WMG jako pracownik Dyrekcji Kolei. „Tylu ludziom spod serca pieniądze wyciągałem, by tu i tam pomóc, że w końcu z daleka mnie omijano. Ale dawali – dawali” – wspominał. Placówka mieściła się w gmachu byłych koszar przy ulicy Am Weißen Turm 1 (obecnie ul. Jana Augustyńskiego 1) w dzielnicy Aussenwerke. Szkoła, od 1935 r. nosząca imię Józefa Piłsudskiego, której prawnym właścicielem była Macierz Szkolna, realizowała przede wszystkim swój najistotniejszy cel – umożliwiała dzieciom Polaków obywatelstwa gdańskiego, obywateli polskich stale przebywających w Gdańsku oraz polskich urzędników i funkcjonariuszy zatrudnionych w WMG zdobycie średniego wykształcenia, a w konsekwencji również studiów na uczelniach wyższych. Jednocześnie nie ograniczała swojej działalności wyłącznie do zajęć lekcyjnych, organizując również życie pozaszkolne swoich wychowanków.