El vescomtat de Cabrera era un territori amb unes formes de govern pròpies, administrat a través d’uns agents de poder al servei dels vescomtes que, des del notari fins al jutge passant pels procuradors generals i altres càrrecs, feien efectiva la governabilitat del territori. Les restes materials d’aquesta administració i les seves obres de govern encara són visibles a diversos punts del vescomtat.

El palau vescomtal gòtic fou una obra concebuda per Arnau Bargués (arquitecte del rei Martí l’Humà), promoguda pel vescomte Bernat IV de Cabrera i supervisada pel batlle de Blanes, Pere Mollet, vers l’any 1388. Durant el segle XV, un cop enllestit, l’edifici es convertí en la residència principal de la família vescomtal. A la primera meitat del segle XVII el palau fou venut i convertit en caserna de soldats i, a finals de la mateixa centúria, l’edifici fou atacat i dinamitat per tropes franceses durant la guerra dels Nou Anys. Conserva encara força trams dels murs exteriors originals, així com algunes arrencades de volta amb interessants complements d’escultura decorativa. L’església de Santa Maria, annexa al palau, esdevingué l’any 1319 la seu parroquial de la vila de Blanes.