Il palazzo è stato realizzato in due momenti diversi, nel 1300 e agli inizi del 1500. La parte centrale è costituita da un cortile quadrato circondato da un porticato con volta a botte sostenuto da otto colonne con capitello ionico.

Al di sopra del colonnato corrono eleganti finestre con arco a tutto sesto e cornici adorne del primo stemma degli Ubaldini (il giglio di Firenze), in seguito cambiato con la testa di un cervo che l'imperatore Federico II donò al conte Ubaldino Ubaldini per un atto di valore.

Gran parte del palazzo è stata distrutta da un terremoto che nel 1781 ha risparmiato, oltre al cortile, solo un salone del piano terra e parte della gradinata di accesso al piano nobile.

Le "grotte" di Palazzo Ubaldini, fatte costruire nella metà del Quattrocento dal Conte Ottaviano Ubaldini su progetto dell'architetto Francesco di Giorgio Martini, sono dei sotterranei con volta a botte che svolgevano varie funzioni: l'ala sinistra era adibita a scuderia, mentre nella restante parte si trovano un pigiatoio per l'uva, le prigioni del Conte e il pozzo o neviera, dove veniva immagazzinata la neve che permetteva, durante il periodo estivo, la conservazione dei cibi.
Questi sotterranei ospitano il Museo dei Fossili e Minerali del Monte Nerone.

BIBLIOGRAFIA
MAZZACCHERA 1998
BUCCI (a cura di) 1998
LOCCHI 1934
VOLPE (a cura di) 1998