La città di Scala divenne sede vescovile nel 987. Nei tempi antichi la cattedrale era la chiesa di San Maria Annunziata a Minuta, frazione di Scala.
L’attuale Cattedrale ha origini incerte, probabilmente anteriori al sec. XII. Si sa che l’ampliamento e la trasformazione gotica furono fatte eseguire a spese della nobile famiglia Frisari nel sec. XIV. Probabilmente il Palazzo fu costruito in quell’epoca ed era originariamente staccato dalla Chiesa.
Il Palazzo nacque quindi come sede del Vescovo.
Poche notizie si hanno dei primi secoli. Nel 1603 la diocesi di Scala fu unita alla diocesi di Ravello, dove probabilmente si trasferì il Vescovo. Dopo un periodo di abbandono, il Palazzo fu restaurato intorno al 1732 dal vescovo Antonio Maria Santoro.
La famiglia Mansi lo comprò nel 1789.
La famiglia ha origini antiche: il primo antenato dell’albero genealogico è Matteo Mansi, vissuto nella prima metà del 1600. Nel 1706 veniva alla luce un suo pronipote, Nunzio Mansi, dotato di molta intelligenza e di forte spirito commerciale. Commerciando i prodotti della terra e dei boschi, esportando legname da Scala fino alla Spagna con piccole navi di sua proprietà, alla morte lasciò ai figli varie proprietà in case, boschi, vigneti a Scala e paesi limitrofi. Due di loro, Gaetano e Giovanni, si laurearono in legge e in lettere: storico il primo (a lui è dedicata la strada che da S.Pietro porta a S.Caterina), letterato e poeta il secondo (alla Biblioteca Nazionale di Napoli sono conservate le sue poesie in latino). Tutti e due frequentavano la corte dei Borboni; e in questo ambiente di aristocratici pensarono di creare uno stemma di famiglia, in cui facevano derivare il cognome di famiglia da Mansuetus.
Pretesero dall’allora vescovo di Scala di prendere sotto la loro giurisdizione l’altare adiacente al palazzo, mettendo in cima al quadro sovrastante l’altare il loro stemma. A Scala lo si può ammirare in quella sede.
Nunzio morì nel 1788. L’anno successivo i figli, a cui oramai andava stretta la modesta casa di S. Caterina, comprarono all’asta pubblica il palazzo del centro di Scala e relativo vigneto, e vi si trasferirono.
In origine il palazzo era diviso dalla Chiesa, la Cattedrale: l’ingresso era da sotto, dove c’è il bel cortile; si arrivava ai piani superiori con scalinate interne. Per guadagnare spazio, abolirono le scale interne e ne crearono nuove, appoggiandosi alla Chiesa e facendo un unico fabbricato.
Certamente dovettero pagare parecchio per questo favore.
Gabriele Mansi, nipote di Gaetano e Giovanni, sindaco di Scala, dopo aver eseguito lavori di abbellimento del piano superiore, vi si trasferì nel 1817 con la moglie e da quel momento il Palazzo fu abitato dai componenti della numerosa famiglia, che lo ha popolato fino alla generazione precedente alla attuale.
Oggi, con le nuove generazioni stabilitesi in varie città d’Italia, il Palazzo Mansi viene parzialmente utilizzato come residenza estiva.