Zgodnie z nielicznymi zachowanymi źródłami historycznymi, założenie sakralne w Kolibkach ma długą historię. Prawdopodobnie na niewielkim wzniesieniu pierwotnie istniała mała kaplica chrzcielna, a następnie kaplica poświęcona Najświętszej Maryi Pannie. Na mapie Zatoki Puckiej z 1720 roku, miejscowość "Kalipka" wydaje się zawierać "symbol" kościoła. Czy wówczas już istniała tu świątynia? Trudno na to pytanie odpowiedzieć, ponieważ brakuje potwierdzenia źródłowego. Wiemy natomiast, że kościół św. Józefa został ufundowany w latach 1763-1764 przez gen. Józefa Przebendowskiego, właściciela majątku w Sopocie, który nabył dobra kolibkowskie od swojego kuzyna Ignacego, starosty puckiego i mirachowskiego. Fundator planował osadzić przy kościele OO. Kapucynów, dla których ponoć rozpoczęto wznosić klasztor wraz z domem misyjnym. Jednak ten plan nie został zrealizowany, ponieważ J. Przebendowski zmarł niebawem po tym, a jego spadkobiercy nie okazali zainteresowania majątkiem kolibkowskim. Kościół św. Józefa prawdopodobnie został zbudowany w miejscu dawnych obiektów sakralnych, gdzie od ponad stu lat łączyły się grupy pielgrzymkowe zmierzające z Gdańska i Oliwy na odpust w Kalwarii Wejherowskiej (drugim przystankiem dla pielgrzymów był w Rumi, a kolejnym przy Bramie Oliwskiej w Wejherowie). Świątynia, która do II wojny światowej pełniła rolę katolickiego kościoła parafialnego dla Kolibek i Orlowa, została całkowicie zniszczona w 1939 roku.