Il palazzo prende il nome dall'antico feudo tirolese " Torri Franche", istituito nel Medioevo e investito, nel corso degli anni, ad alcune importanti famiglie nobili, l'ultima delle quali fu la famiglia de Ferrari. Situato nel centro dell'abitato di Terzolas, in posizione dominante, fu un palazzo molto fastoso e importante, tanto che nel 1516 ospitò l'imperatore Massimiliano I°.

Nella seconda metà del 1800, con la fine del feudo nobiliare, il palazzo fu ceduto a contadini del luogo che, modificandone l'utilizzo, ne snaturarono pesantemente l'architettura. I grandi volumi del palazzo mostrano oggi solo una piccola parte dell'antica fisionomia.

Degno di nota è il portale in pietra bianca di foggia tardo-gotica.