Magnifico palazzo si erge imponente nel cuore di Roma, su d'una collinetta artificiale, formatasi, sembra, con gli scarichi del vicino porticciolo sul Tevere.

Appartenuto dal 1286 alla Famiglia Orsini, già nel 1328 i romani usavano chiamare "Mons Ursinorum" la collina su cui l'enorme edificio esisteva. Lo stesso Dante Alighieri nel XVIII canto dell'Inferno ricorda come, durante il Giubileo del 1300, i pellegrini diretti al Vaticano, da un lato si sarebbero trovati ad avere la fronte rivolta verso Castel S.Angelo "…e vanno a Santo Pietro; dall'altra sponda vanno verso il monte" riferendosi appunto al Monte degli Orsini. Il monte, nel 1328, divenne Monte Giordano prendendo il nome di Giordano Orsini, Senatore di Roma nel 1341.

Dall'antica stirpe degli Orsini furono costruiti numerosi rami che intorno al 1400 cominciarono a trasformare l'edificio da un fortino irto di torri in un complesso di nobili ed eleganti edifici, divisi tra le diverse famiglie tra le quali: i Conti di Pitigliano, i Duchi di Bracciano ed i Signori di Marino.