El Vizcondado de Cabrera se articulaba mediante una red de castillos y casas fuertes, que constituían las sedes del poder político y militar de la nobleza medieval. Este sistema defensivo se complementaba con la presencia de varias villas amuralladas y torres de vigilancia.

La Torre de los Frailes recibe este nombre porque en el edificio situado enfrente, donde actualmente se encuentra el Ayuntamiento de Hostalric, antiguamente estaba el convento de los frailes mínimos de la orden de San Francisco de Paula. La torre fue construida en el siglo XIII y, con sus treinta y tres metros de altura, es el elemento defensivo más alto de Hostalric. Tiene tres plantas y el acceso original se encontraba en la primera, sin escalera fija, para facilitar su defensa. La parte superior estaba coronada por un magnífico matacán corrido, del que todavía se conservan algunos restos. Sin embargo, durante la Guerra de la Independencia, un bombardeo ocurrido en 1810 provocó el derrumbe de una gran parte de la zona superior de la torre. Actualmente pueden visitarse las tres plantas, que albergan una exposición permanente sobre el Hostalric medieval y la Guerra de la Independencia. Un ascensor permite acceder al mirador de la terraza.