Esimene kivist kirik ehitati Rõugesse 16. saj mõisnik Kurseli kulul, kes andis kirikule ka maad. Kiriku ümber koondus elu, siia rajati kool, kõrts, surnuaed, kauplus ja apteek, kus töötas arst. Esimene õpetaja oli Cristiern Henrici (1626-1627), teine Kaspar Lessias (1633-1657).

1730.a ehitati Põhjasõjas hävinud kiriku asemele uus, mis oli praegusest madalam, võlvideta hoone, koori ja käärkambrita, kuid võimsa neljakandilise torniga. 15. augustil 1730.a pühitseti kirik neitsi Maarjale. Kirik sai 1854.a oma oreli (eelmine oli 1836.a renditud) ja R. von Mühleni altaripildi "Kristus ristil". 1860.a tehti kirikuhoonele põhjalik remont. Kõrgendati seinu ja kirik kaeti peegelvõlviga. Remonte on tehtud hiljemgi, olulisim ja põhjalikem 1924.a. 1930.a sai kirik ka vendade Kriisade poolt ehitatud uue, 31-registrilise oreli. Vennad Kriisad olid ka ise pärit Rõuge lähedalt Kokemäe külast.

Rõuges on õpetajateks olnud kolme põlvkonna Hollmannid: Rudolf G. Hollmann (1844-1858), Friedrich A. Hollmann (1859-1873) ja Franz Hollmann (1902-1918). Friedrich Hollmann koostas ka Rõuge kihelkonnakooli plaani ning õppekava ja avas siin kooli. Esimeseks eestlasest pastoriks oli Rudolf Gottfried Kallas (1886-1901). Pastor Valter Viksi ajal (1922-1936) taastati purustatud pastoraat ja avati Vabadussõja mälestussammas.