Про це розповів старший науковий співробітник відділу стародавньої історії музею Андрій Лесіцький.

«В експозиції нашого музею туристи, інші відвідувачі можуть побачити мініатюру із портретами одних із власників замку у Скалі-Подільській Аґенора Голуховського та його дружини. Тут же – панорама, на якій – краєвид містечка; костел; руїни замку; обеліск Голуховських, що стояв навпроти замку; невелика замкова будівля, яка була, найімовірніше, приміщенням прикордонної застави», – розповів Лесіцький.

Замок упродовж наступних трьох століть неодноразово руйнувався татарами, турками, волохами. Споруда сильно постраждала під час Хмельниччини та Руїни XVII ст. У XVIII ст. старостами міста стали представники роду Тарло. Замок був зруйнованим і закинутим. Нові господарі знову його відбудовують і будують новий палац. Через кілька років у палац потрапляє блискавка і його знищує пожежа. З того часу замок більше не відбудовувався, бо відпала потреба в обороні, а палац нові власники – представники родини Голуховських – збудували в іншому місці.