Naitayo sa kasalukuyang simbahang bato ang isang bisitang yari sa kawayan, pawid at kogon, habang ang mga misyonero ay nangangaral ng Kristiyanismo sa mga katutubo. Ang bayan ay bahagi ng Morong at noong 1621, ito ay inihiwalay na at ginawang isang nagsasariling Parokya at itinilaga ni Sta. Ursula bilang Patrona. Ang pamunuang eklesiyastikal ng bayan ay nagpasalin-salin mula sa mga misyonerong Fr
anciscano, sa mga Hesuwita, sa Calced Augustiniano at ibinalik na muli sa mga Franciscano noong 1737. Itinayo ang kasalukuyang simbahan at ang karatig na kumbento noong 1792-1800. Tila naging madali ang pagtanggap ng mga mamamayan sa bagong pananampalataya. Pinatunayan ito ng maraming imahaneg gianagamit kung Mahal na Araw. Maaaring ang mga ito ay idinating dito ng sabay-sabay na sa simula ay nasa pangangalaga ng simbahan. Pagkatapos ito ay ipinagkatiwal sa ilang at malapit sa kamag-anak na katoliko simbahan. Nagwakas ang pamamahala ng mga Kastila noong 1898 at sa panahon ng pananakaop ng Mga Amerikano, ang Parokya ay pinamahalaan ng ilang paring Pilipino. Simula noong 1931 hanggang 1973, ang Parokya ay nasa pangangalaga ng mga paring Columban-na ang karamihan ay galing sa Ireland at New Zealand. Pinangungunahan ito ni Fr. Gerald Cogan. Martin Strong na sumunod sa kanya ang nakapansin na ang bayan ay walang mataas na paaralan na kailangan pa ng bata ang lumuwas sa Maynila, Pasig o Laguna upang makapag-aral. Noonng Hulyo 1, 1947 binuksan ang Binangonan Catholic High School (BCHS). Nagsimula sa ilang mag-aaral lamang ang unang nagtapos noong 1947 ay 6 lamang, ngayon ay mayroon ng 3,117 mag-aarl at 84 g**o. Sa panahon naman ni Fr.Kieran White, tatlong malaking pagbabago ana nakita sa simbahan- binago ang kisame, ang sahig na yari sa kahoy ay ginawa ng 'cement tiles' at ang bagong bangko. Dahil sa ang tirahan nga mga pari ay nasa kumbento na ginagamit na ng BCHS, minabuti ni Fr. Victor Gaboury na magpagawa ng hiwalay na tirahan na dito ang bulwagang pamparokya. Natapos ang pamamalagi dito ng mga paring Columban noong Abril 1973. Naging malungkot sa marami ang pamamaalam na ito lalo pa sa dahilang marami sa mga pari ang naging matatas sa pananangalog na ikinalapit nila sa mamamayan. Nanguna sa mga paring Pilipino si Msgr. Arsenio R. Bautista. Dahil sa alam niya ang mga kaugaliang Pilipino na may kinalaman sa pananampalataya lalo na sa pag-aala-ala ng mga Mahal na Araw, sinikap niyang mabago ang mga ilang maling kaugalian na hindi ayon sa mga turo ng doktrina o simbahan tulad ng Pabasa kung Biernes Santo. Paano nga naman ang pag-aayuno at abstinensya? Nagkaroon din naman ng bahagyang pagbabago ngunit malaki pa rin ang suliranin na siyang humahamon sa sinumang paring mamamahal dito. Mahirap talagang mabago ang mga kaugaliang nakagisnan na. Sa masidhing pagnanasa na madagdagan ang kaalaman o makapagbalik-aral ang mga mananampalatay, itinatag noong May, 1973 ang Kapatiran kay Kristo.-3 gabing pag-aaral ng mga may gulang na. Isinunod ang Kapatiran kay Kristo ng mga kabataan para sa mga magtatapos sa BCHS. Maganda ang naging tugon dito na nakapagtapos ng 64 na klase na ang ilan ay sa mga barangay sa isla ginawa. Patuloy pa rin itong ginagawa sa BCHS. Tatlong taon ang itinigil ni Msgr. Severino Casas dito sa Binangonan. Ipinagpatuloy niya ang maraming proyekto ni Msgr. Bautista at sa ilang tumatangging tanggapin ang mga pagbabago, siya ay tinaguriang "kontrobersyal". Isa na dito ay nang ipatayo ang canopy sa harap ng simbahan na tunay namang kinakailangan. Sa maraming Pilipino, mahirap na yatang baguhin ang ilang kaugalian na nagisnan na. Ilang taong pa lamang katatapos sa pagkapari si Msgr. Balbago Jr. ay siya namang naatasan na mamahala sa Parokya. Naisip niya na mabuti ang magiging paghubog sa isang tao kung tungkol sa pananampalatay kung ang pagtuturo ay sisimulan ng maaga. Dahil ditto, itinayo ang Sta. Ursula Parish School na sa unang walong taon ay isang Learning Center lamang sa ilalim ng pamamahala ng Catholic Womenโs League. Sa ngayon, mayroon na itong 684 na mag-aaral at 23 ang mga g**o at tauhan. Sa tulong ng Parish Pastoral Council, nagpagawa ng Parish Multi-Purpose Hall sa karatig ng simbahan. Sa ngayon, ito ay pansamantala munang ginagamit ng Parish School. Ang kasalukuyang kura paroko ay si Msgr. Alfredo M. Sta. Ana. Ang lahat na kinakailangan ng ating pananampalatay ay binibigyan ng pansin at panawagan- ang panalangin na may kasamang paggawa at pagpapakasakit, ang pagsasabuhay ng ebanghelyo, ang madalas na paglapit kay Hesus sa sakramento ng Banal na Eukaristiya, ang pagdalaw sa mga kapanalig sa pananampalatay lalo na doon sa malalayong lugar, ang munting paggawa sa kapitbahayan, ang paghahandog pasasalamat, ang payak na pamumuhay, ang magkasamang pagmamahal sa Diyos at sa bayan, na pangalagaan at pagyamanin ang kapaligiran at iba pa. Marami nang naipagawa na at ginagawa pa na ang diwa ay una pa sa hangarin ng Ikalawang Konsilyo Plenarya ng Pilipinas. Matagal na panahon din naman na malawak ang sakop ng Parokya, mula sa Tayuman hanggang sa dulo ng Talim na may kabuuang 39 na barangay. Ang Parokya ay dating nasa Arkidiyosesis ng Maynila at nang itatag na ang Diyosesis ng Antipolo noong Hulyo 25, 1983, ito ay napabilang na dito. Isang malaking biyaya ng Diyos, isang paring misyonero ng CICM-isang banyaga pa man-si Fr. Ramon C. Bodson ay nagkusang loob na pamahalaan ang Talim. Noon namang Mayo 25, 1984 tuluyan ng ibinukod ang Tayuman-Darangan na siyang naging bagong Parokya ng Mahal na Puso. Sa mga gawain sa Parokya, malaki na rin ang naitulong ng mga madre ng Sisters of Mercy na tumigil dito ng ilang taon. Sinundan sila ng mga madre ng Sisters of the Poor of St.Catherine of Siena na hanggang sa ngayon sa narito pa rin. Malaki ang nagiging tulong nila sa pagpapalaganap ng bokasyon sa pagmamadre dahil-sa nayon ay ilan na ang mga "anak na babae" ng Parokya ang mga madre na o nagmamadre. Naging mapalad din ang Parokya sa pagbibigay ng ilang "anak na lalaki" sa pagpapari naman.Naging kilala sina Obispo Antiporda na maagang binawian ng buhay sa isang kahindik-hindik na pagpaslang at si Msgr. Florentino Flores.
