La tipologia architettonica di Castel Caldes è il frutto dell'incontro delle diverse culture veneta, tedesca e lombarda, tipico di questa zona al confine del Principato vescovile di Trento. La grande casa-torre duecentesca a cinque piani eretta dalla famiglia Cagnò nel 1464 venne donata alla famiglia Thun che inglobò la primitiva torre in un nuovo edificio a pianta quadrata che corrisponde nelle forme all'attuale castello.
Nel corso dell'Ottocento fu acquistato da una famiglia locale, mentre oggi è di proprietà della Provincia autonoma di Trento, che lo ha restaurato e trasformato nella prestigiosa sede di esposizioni temporanee ed avvenimenti culturali.
L'intervento di restauro e di recupero di Castel Caldes ha riguardato principalmente le opere di demolizione degli edifici novecenteschi e sistemazione delle aree esterne, la realizzazione di nuove scale per i collegamenti, il restauro e la realizzazione di nuovi pavimenti e serramenti e la manutenzione delle coperture.
L'interno è affascinante e presenta soffitti a volte, rivestimenti lignei e sale affrescate. Notevoli sono la stanza del conte ed il salone da ballo. Fa parte del gruppo monumentale del castello la piccola chiesetta dedicata alla Beata Vergine Maria, costruita alla fine del Cinquecento.