Questa grossa costruzione che ha raggiunto l'assetto attuale nei secoli attraverso demolizioni, modifiche, ampliamenti, aggiunte, rivela certamente peculiari caratteri rinascimentali, denunciando, però, allo stesso tempo, gli elementi difensivi e militari del tardo Medioevo.

La facciata è caratterizzata da una torre del Cinquecento che poggia su un voltone ad arco acuto, sopravvivenza di una torre di guardia del Duecento, costituente l'accesso al cortile interno. D'altra parte la stessa facciata è caratterizzata anche da un'aerea loggetta con due archi a tutto sesto ed elegante balaustra che la ingentilisce e le conferisce quella raffinatezza che si addice maggiormente ad un Palazzo che ad un Castello.

Sulla torre venne inserito alla fine del '500 un orologio a due quadranti, uno volto verso il borgo, l'altro verso l'interno del complesso. Quest'ultimo ha i numeri in senso antiorario, probabilmente perché, non ancora inventato il giunto cardanico, un unico asse azionava le lancette, in senso orario verso il paese e, quindi, antiorario verso il cortile. Un quadrante siffatto, noto attraverso incisioni o tarsie, risulta oggi un esemplare assai raro, fra i pochi ancora esistenti.

Sul cortile si affacciano due eleganti portali a bugnato: uno nella facciata dell'Oratorio di S. Carlo, da cui il cortile prende il nome, e l'altro che dà accesso al corridoio a cielo aperto e quindi al Palazzo vero e proprio. Quest'ultimo portale timpanato reca in chiave di volta lo stemma con il leone rampante e croce seduta e l'iscrizione in greco praos kai tolmeros (mite e fiero), cioè il motto di famiglia dei Brancaleoni.

Fa da sfondo al corridoio a cielo aperto che conduce agli ambienti nobili del palazzo, al primo piano, un'elegante loggia, da alcuni attribuita a Bartolomeo Genga, da altri a Lattanzio Ventura da Urbino. Struttura a tre fornici assai polita e classica nel suo partito decorativo molto equilibrato, è scandita da quattro paraste che fingono colonne doriche. La balaustra riprende il motivo della loggia di facciata. Tuttavia essa ha un certo sapore di sovrapposizione e di poco organico, per cui il corridoio si assimila meglio ad un vicolo di borgo medievale trasformato che ad un'organica orchestrazione scenografica.

Al di sotto della loggia attraverso un arco a tutto sesto - si noti il motivo, ancora una volta classico, dei clipei nei pennacchi dell'archivolto - si apre il Cortile d'Onore. A pianta rettangolare, esso costituiva l'elemento di raccordo fra le costruzioni sorte nel tempo e le tamponature a lato attestano che tutta questa zona sorse su preesistenze architettoniche.

Le arcate più o meno ribassate nei lati sono sostenute dall'ordine dorico, colonne semplici e a fasci negli angoli. Le finestre del piano superiore, i cui elementi architettonici sono in marmo bianco, poggiano su una finta mensola marcapiano, riecheggiando, sebbene in tono alquanto dimesso, il puro stile rinascimentale del cortile del Palazzo Ducale di Urbino.

Un elaborato cornicione in cotto ceramicato, ormai quasi completamente privo di colore, e ad ovoli, conclude le pareti di affacciamento sul cortile.

Probabilmente sotto lo stimolo della cultura urbinate, questo cortile venne iniziato fra il 1470 e il 1480 da Guido di Antonio I, capitano del Duca Federico da Montefeltro. Del periodo di edificazione dovrebbe far fede proprio l'arme che il duca donò ai suoi alleati Brancaleoni e che qui campeggia fra due archi, attestando la data post 1474, cioè dopo che Federico aveva ricevuto il titolo di Duca e del Gonfalonierato. Il Cortile venne poi ultimato da Roberto, figlio di Guido, entro il 1558, anno della sua morte, il quale eresse anche le due ali del palazzo che affiancano il cortile.

Sotto il porticato si aprono le varie stanze. Sugli architravi dei portali si leggono iscrizioni in latino e volgare di antica saggezza.

Salendo lo scalone in travertino si accede agli appartamenti nobili per la cui decorazione Antonio II di Monaldo (morto nel 1598) chiamò Federico Brandani, il Barocci, Giorgio Picchi e l'Episcopi. L'architrave del portale d'ingresso reca lo stemma dei Brancaleoni, ma al di sopra, entro una cornice barocca, ha maggiore videnza quello dei Farnese, sormontato dalla corona ducale: è un chiaro omaggio alla duchessa Vittoria Farnese, moglie di Guidubaldo II, duca di Urbino, alla cui corte aveva vissuto Laura Cappello, moglie di Antonio II, con suo padre Bernardo, esule veneziano.

Le tre stanze che si susseguono, la Sala del Leon d'Oro, la Camera Romana e la Camera Greca, costituiscono un ampio repertorio di tecnica e iconografia.

L'ala occidentale del Palazzo è rivolta al paese e la sua facciata molto lunga e bianca, ingentilita da un grazioso balconcino, appare assai imponente. E' più tarda e fu in parte ristrutturata, in parte eretta a fundamentis da Giordano Brancaleoni agli inizi del XVII secolo. Tale zona era per lo più adibita a locali di servizio, ma vi si trova anche quella che doveva essere la bella sala del trono con soffitto a peducci e pareti che conservano ancora pochi lacerti di affresco a grottesche. Qui i camini, essendo meno elaborati di quelli del piano nobile, sono stati lasciati tutti in loco. Suggestiva è l'infilata di stanze che si rincorrono in fuga dalla Sala del Trono e dalla Galleria.

Ad una seconda Corte Interna si accede attraverso la "Via Publica". Questa zona reca le testimonianze architettoniche più antiche dell'intero complesso, alcune risalenti probabilmente agli inizi del XIII secolo. Vi si conserva ancora una cisterna dell'epoca accanto alla quale si sviluppa un camminamento che conduce all'antico Castellare, a est, dove erano le prigioni, alla "porta succursi" e ad una serie di stanze voltate, oggi adibite a sale d'esposizione del Museo Civico Brancaleoni.