Tallinna Toompea Kaarli koguduse ajalugu saab alguse Rootsi ajal 17. sajandil, kui kunagise katoliikliku Antoniuse kabeli (paiknes Hariduse tänava ja veetorni vahelisel alal, ehitati tõenäoliselt enne 1348. aastat ning hävis ilmselt Liivi sõja ajal) kohale rajati uus, kreeka risti kujuline puidust pühakoda. Kuningas Karl XI järgi nime saanud Kaarli kirik pühitseti neljandal advendipühal 1670. aastal. Hoone põletati Rootsi poolt Suure Põhjasõja ajal 1710. aastal maha.
Ajutine puukirik (Kaarli hädakirik) püstitati 1863. aastal praeguse Kaarli puiestee ja Tõnismäe vahelisele kolmnurksele platsile. Kui uus kirik valmis, muutus ajutine kirik tarbetuks ning see lammutati 1870. aastal.
Uus Kaarli kirik pühitseti sisse 1870. aastal, kuigi ehitust alustati juba kaheksa aastat varem.
Kiriku projekteeris baltisaksa arhitekt Otto Pius Hippius (1826–1883). Kiriku lõplikku valmimist autor ise ei näinudki. Katus jõuti peale 1870. aastaks, mil kirik ka sisse õnnistati. Tornid lõpetati alles 1882. aastal.
Kiriku interjööri kauneim osa on kirikusaaliga sujuvalt liidetud ja apsiidimaalidega kaetud altaripiirkond. Pühakoja väärtuslikumaks ehteks on Johann Köleri kutsuvat Kristust kujutav freskotehnikas altarimaal “Tulge minu juurde kõik kes Te vaevatud ja koormatud olete, mina tahan teile hingamist saata” /Matt 11,28/. Altarimaal valmis 10 päevaga 23. juuliks 1879 (Juuliuse kalendri järgi).
1884 valmis orel, mille ehitas Lääne-Virumaal sündinud esimene eesti soost orelimeister Gustav Norman. Orel asendati hiljem uuega - 1923 telliti maailmamainega firmalt E. F. Walcker & Co Ludwisburgis uus orel, mis on registrite arvu poolest Eestis suurim.