Kolga mõisa kirjutatud ajalugu algab 13. sajandist. Mõis oli mungakloostri omanduses 16.sajandi. alguseni.

Seejärel vahetas mõis korduvalt omanikke kuni 16. sajandi lõpuni, mil algas De la Gardiede periood Kolgas.

Sellest ajast kuni Liivi sõja alguseni 1558. a vahetas mõis korduvalt omanikke.

Jacob De la Gardie tütar abiellus Rootsi kindraladmirali ja feldmarssali Gustav Otto Stenbockiga 1658. a. Sellest ajast algab Kolgas Stenbockide periood, kelle järeltulijate omandis on mõis ka tänapäeval. 18. sajandi teine pool oli Kolgas mõisamajanduse üleminekuaeg.

Viina põletamisega sissetulekud suurenesid ja hakati hoogsalt ehitama. 18. sajandi lõpul kujunes välja ka mõisa hoonestus sellisena nagu seda praegu näha võime. 19. sajandi algul seoses klassitsistliku stiili võidulepääsuga olid Kolgas järjekordsed ümberehitused.

Peahoonet laiendati ja see sai praeguse välisilme. Siseruumide kujundus muutus eriti luksuslikuks. Ühte lossitiiba ehitati uus saal. Ka olemasolev park kujundati inglise metsapargi stiilis ümber arvestades kohalikke puulike ja maastiku omapära. Kolga mõisa kohta on arvukalt kummituslegende.

Kolga mõisa valitsejamaja teisel korrusel asub Muuseum, mis omab mitmekesist etnograafiakogu.