W miejscu, gdzie obecnie stoi kościół parafialny pw. św. O. Rafała Kalinowskiego, pod koniec XIX w. została wybudowana cerkiew prawosławna pw. św. Jakuba Apostoła jako świątynia garnizonowa dla miasteczka przy poligonie artyleryjskim wojsk carskich. Cerkiew została wyświęcona 11 stycznia 1896 r. W czasie I wojny światowej w zabudowaniach byłej cerkwi odbywały się nabożeństwa, m.in. w 1917 r. dla stacji zbornej Legionów Polskich w Rembertowie. W tym miejscu w sierpniu 1920 r. były błogosławione oddziały polskie wyruszające na pole walki w czasie bitwy zwanej "Cudem nad Wisłą". Po wojnie na mocy traktatu pokojowego teren cerkwi, jak i cały carski garnizon, zostały formalnie przekazane stronie polskiej i powstała tutaj kaplica garnizonowa, w której kapelani wojskowi pełnili posługę duszpasterską dla stacjonujących na tym terenie oddziałów Wojska Polskiego. Kapelanami garnizonu w okresie XX-lecia międzywojennego byli kolejno księża: ks. Kazimierz Kalinka, ks. Antoni Żytniewski, ks. dr Józef Herbert, ks. Julian Godlewski, ks. Jan Litwiński, ks. ppłk Stanisław Małek. Szczególnie ks. Małek zapisał się wieloma zasługami dla rozwoju kościoła garnizonowego i Rembertowa: był m.in. inicjatorem budowy i współautorem pomnika poległych żołnierzy na polach Ossowa, przewodniczył staraniom o budowę kościoła parafialnego na Nowym Rembertowie, był w Komitecie Budowy Szkoły Powszechnej nr 3, a także pomysłodawcą postawienia obelisku Marszałka Józefa Piłsudskiego na placu przed bramą główną CWPiech. (obecnie Akademii Obrony Narodowej). W okresie międzywojennym kaplicę przebudowano, a na wieży zamontowano zabytkowy dzwon, przywieziony prawdopodobnie z wyprawy kijowskiej marszałka Piłsudskiego w 1920 r. Napis na dzwonie brzmi: SIT NOMEN BENEDICTUM 1687 (Niech będzie błogosławione imię Pańskie 1687). W czasie okupacji hitlerowskiej teren poligonu, na którym znajduje się kaplica, był niedostępny dla Polaków i stacjonowały tam jednostki niemieckie. Prawdopodobnie w tym czasie kaplica pełniła rolę świątyni dla żołnierzy niemieckich. Obok kościoła znajdowały się 24 groby żołnierzy Wermachtu, których szczątki ekshumowano latem 1992 r. Po wojnie do 1949 r. w kaplicy odbywały się nabożeństwa, które odprawiał rezydent parafii Matki Boskiej Zwycięskiej ks. kanonik Andrzej Tarcikowski. W 1950 r. kaplica, jak większość świątyń na terenach garnizonów wojskowych, została zamknięta. W 1952 r. jej wyposażenie zostało przewiezione do Naczelnego Dekanatu WP. Opuszczone zabudowania kaplicy zostały zdewastowane, a latach siedemdziesiątych zorganizowano w nich magazyn sprzętu hydraulicznego kwatermistrzostwa miejscowej administracji koszar. Proponowano wówczas pracownikom Akademii Sztabu Generalnego dodatkową premię za zdjęcie krzyża ze świątyni - nikt się nie zgodził. Dopiero w październiku 1991 r., po zmianie ustroju, w odzyskanej i odremontowanym kaplicy odbyła się, po ponad 40 latach, pierwsza msza św., na której powołano parafię garnizonową pw. Ojca Rafała Kalinowskiego, z ks. kpt. Markiem Pietrusiakiem jako proboszczem. 15 listopada 1992 r. odbyła się uroczystość, na której ks. prymas Józef Glemp, w asyście biskupa polowego Sławoja Leszka Głódzia, dokonał konsekracji kościoła. Z okresu przedwojennego we wnętrzu świątyni zachowały się tylko: sygnaturka dzwonu i kropielnica.