Sorge nella parte alta della città con l'entrata principale di fronte il Duomo.

La costruzione è il risultato della trasformazione di edifici medioevali, già esistenti, in palazzo rinascimentale.

Fu costruito a partire dal 1476 per volontà di Federico di Montefeltro su disegno di Francesco di Giorgio Martini da Siena.

Fu completato da Guidobaldo.

La struttura degli edifici precedenti, tra cui l'antica residenza comunale, è facilmente visibile specialmente nel lato che si affaccia sulla valle.

Uno splendido chiostro si mostra all'interno del palazzo posto nello spazio in cui era in precedenza l'antica piazza del comune.

La visita al Palazzo Ducale, attualmente è possibile limitatamente alle sale del piano terra (al loro interno camini e ornamenti architettonici) e ai sotterranei (con interessanti reperti di scavo).

Periodicamente, in altre ali del palazzo, è sede di esposizioni.