Kõljala mõisa kohta pärinevad varasemad kirjalikud teated 1509. aastast. Varasemad ehitusosad tänaseni säilinud peahoone keldrites pärinevad siiski alles 17. sajandist.

Tol ajal kuulus Kõljala Saaremaa Rüütelkonna peamehele O. von Pollile, kelle elustiil tavakohasest ilmselt nii mõneski mõttes erines.
Ehkki tollane härrastemaja oli ühekorruseline paekiviehitis, on teada, et tubasid valgustas kümme messingist lühtrit, akende ette olid riputatud kuldpunutisega kardinad, seintele kaksteist suurt flaami vaipa.

1677. aastal Kõljala omandanud J. von Osten - Sackeni poolt paigutati mõisamaja ette Karl XI - lt kingituseks saadud kaks suurt messingist kahurit, mis olid alles veel 20. sajandi algul.

Uus suurem ehitusperiood sai mõisas teoks 18. sajandi 60 - 70 - ndatel aastatel. Nii võib 1784. a. mõisamaade kaardil näha enam - vähem praegusele vastavat üsna tüüpilist, kelpkatuse ja kolme korstnaga ühekorruselist mõisamaja.

19. sajandi keskpaiku omandas mõisa F. W. von Buxhoewden, kes omakorda härrastemaja uuendas. Hoonele lisati klassitsismi eelistatumaid ehisvorme - nelja joonia sambaga portikus.

Tähelepanuväärsed olid mõisa siseruumid, kus muu kõrval leidus ka 400 - köiteline, põhiliselt 17.-18. sajandi klassikute töödest koosnev raamatukogu. Eriti ilmekalt väljendus klassitsismi idealiseerimispüüe aga ümbritseva pargiala kujunduses. Härrastemajale olid taustaks põlispuud ning ümber ansambli lõunaosa paigutatud kolm kaaravadega väravehitist, millest praegu on säilinud vaid üks, mis tõstab esile peahoone kesktelje.