Город Скала стал епископским в 987 г. В древние времена собор был церковью Святой девы Марии в Минуте, районе Скалы.
Точная дата основания собора неизвестна, предположительно раньше XII века. Известно, что расширение и перестройка в готическом стиле были осуществлены за счет дворянского рода Фризари в XIV веке. Предположительно дворец был построен в это же время и был первоначально отделен от церкви.
Затем дворец стал резиденцией епископа.
О ранних веках сохранилось очень мало сведений. В 1603 г. епархия Скалы была объединена с епархией Равелло, куда, вероятно, переехал епископ. После определенного периода заброшенности дворец был восстановлен около 1732 г. епископом Антонио Мария Санторо.
Родом Манси дворец был приобретен в 1789 г.
Этот род имеет древние корни: первым предком в генеалогическом древе значится Маттео Манси, который жил в первой половине 1600-х гг. В 1706 г. появился на свет его внук Нунцио Манси, наделенный сильным разумом и крепкой коммерческой жилкой. За счет торговли сельскохозяйственной и лесной продукцией, экспорта леса из Скалы в Испанию на принадлежавших ему малотоннажных судах, после смерти он оставил детям во владение дома, леса, виноградники в Скале и соседних районах. Двое из них, Гаэтано и Джованни, получили образование в области юриспруденции и словесности: первый стал историком (в его честь названа дорога, которая соединяет Сан-Пьетро и Санта-Катерину), второй — литератором и поэтом (в Национальной библиотеке Неаполя хранятся его стихотворения на латыни). Они оба были приняты при дворе Бурбонов; предполагается, что в этой среде аристократов был создан их фамильный герб, в котором была отражена фамилия рода Мансуэтус (лат. кроткий).
Заявив тогдашнему епископу Скалы свои притязания на алтарь рядом с дворцом, они добавили на картину над алтарем свой герб. Им можно полюбоваться в этой резиденции в Скале.
Нунцио умер в 1788 г. На следующий год дети, которых стеснял скромный дом в Санта-Катерине, приобрели на публичном аукционе дворец в центре Скалы вместе с прилегающим к нему виноградником и переехали туда.
Первоначально здание было разделено церковью, вход в собор был снизу, из красивого внутреннего дворика, а на верхние этажи вела внутренняя лестница. Для экономии пространства они убрали внутреннюю лестницу и построили новую, соединяющую эту часть здания с церковью воедино.
Определенно за это пришлось немало заплатить.
Габриэле Манси, внук Гаэтано и Джованни, мэр Скалы в 1817 г., после завершения отделочных работ на верхних этажах переехал во дворец со своей женой, и с того момента в нем проживало большое количество представителей различных поколений рода.
На сегодняшний день представители новых поколений проживают в различных городах Италии, и дворец Манси частично используется как летняя резиденция.