 Lo stesso Duca Alexander, nel 1868, nella sua prima visita a Maniace dormì nel Palazzo.
«La comitiva - scrive il Duca nelle sue Memorie - allora dormì al Palazzo di Bronte (la prima ed unica volta che ho dormito lì); quindi (...) in groppa a dei muli (non c'era allora nessuna strada carrabile fra Bronte e Maniace), arrivammo a Maniace per la strada più bassa, scortati dalle Guardie della Ducea, o Campieri. I numerosi bagagli furono legati al dorso d'altri muli e trasportati così, a formare un'imponente processione.»
Dopo la donazione della Ducea da parte del Borbone a Nelson, il Castello era in uno stato di abbandono, non era stato reso ancora "signorile" ed il palazzo di Bronte (il "casermone") fu probabilmente costruito dal primo amministratore della Ducea, Andrea Graefer, anche se il V Duca, ne attribuisce la costruzione a Mr. Barret. Nel 1930 nel palazzo aveva lo studio l'Avv. Luigi Saitta Leanza, storico legale della Ducea a Bronte ma era stato abitato anche dai Thovez con le loro famiglie e da tutti gli agenti della Ducea specialmente nel periodo invernale per l'impossibilità di vivere a Maniace per l'aria malsana ed umida.
La residenza dell'amministratore che resse più a lungo le sorti della Ducea (dal 1839 al 1872) in questo palazzo si evince da un documento del 1844 dell'Archivio storico dei Nelson: «il Sig. D. Guglielmo Thovez Amministratore generale della Signora Duchessa di Bronte Lady Maria Carlotta Bridport nata Nelson erede universale del fu Duca di Bronte Lord Guglielmo Nelson, domiciliato in questa Comune di Bronte strada dei PP. Cappuccini». Molti anni prima, nel 1830 (e fino al 1838), lo stesso Thovez, con il fratello maggiore Filippo, aveva invece la residenza nella Sezione S. Giovanni, Vicolo Papotto n. 37 (A.N., vol. 168, p. 61) . Nel bilancio del 1895 per la manutenzione del Palazzo, i salari della servitù e dei giardinieri, l'acquisto di vettovaglie ed oggetti vari (come l'acquisto di "19 nuzze e gallinacci, 12 agnelli" o le spese per "stagnare il rame della cucina") furono spese 5.696,51 onze. Una bella sommetta se si considera che un campiere o salariato nello stesso periodo guadagnava circa 300 onze l'anno. Il Palazzo era adornato a festa nelle principali ricorrenze civili e religiose. Nel 1883, in occasione delle feste organizzate per il centenario della morte del ven. Capizzi «il prospetto della casa Ducale - scrive Gesualdo De Luca - per ordine del signor Duca Nelson Bridport era convenientemente adorno, e con buona iscrizione al portone.» Il "casermone" servì la Ducea per oltre un secolo. Negli anni 1935/36 il V Duca, Alexander Nelson Hood, vende infatti per 200.000 lire l'intero complesso, a lotti ed in varie riprese, ai sigg. I. e G. Burrello, G. Camuto, A. Santangelo, V. Calì, N. Petralia ed ai coniugi Arcidiacono ai quali furono ceduti la dispensa, la cantina, l'orto e gran parte della villa che, successivamente, nel 1949, fu espropriata per la costruzione del Palazzo Comunale. Oggi il ricordo e le vestigia dell'antica struttura del Palazzo Ducale sono praticamente scomparsi. Anche la via che lo identificava (Via Nelson) ha cambiato denominazione (Via A. Spedalieri). Costituito da un lungo corpo lineare e da un ampio giardino, il Palazzo è stato via via parzialmente alienato, demolito e ricostruito con interventi che hanno sempre più compromesso l'originaria unità architettonica.
Dell'antica casa dei discendenti di Nelson (il "Casermone" del V Duca) sono rimaste visibili solo poche labili tracce. Qualche testimonianza dell'antica architettura è ancora leggibile nella lunga serie di fabbricati esistenti lungo il corso Umberto (comprendenti la casa del fu prof. Paparo, la ex tipografia Santangelo, la casa Mineo, la casa Parisi, etc., sino all'ex Cinema Roma, oggi trasformato in bar ed appartamenti) e nell'imponente sottostante cantina prospiciente il Municipio, un tempo supermercato, poi sede della Biblioteca comunale Deluchiana e trasformata anche in uffici comunali. Le attuali aree dove sorge il Municipio, quelle di via Cap. Saitta e dell'adiacente nuovo parcheggio di Piazza Venia erano un tempo l'ampio giardino del Palazzo Ducale (vedi nella planimetria a destra la parte colorata in verde) al cui centro troneggiava una maestosa vasca d'acqua.
Il Palazzo di via Manzoni  Un'altra residenza signorile che i Nelson possedevano a Bronte è invece giunta quasi intatta fino a noi. Sorgeva a Bronte ai margini dell’antico quartiere di San Rocco, nelle vicinanze del Collegio Capizzi. Solido e compatto, prospetta oggi sulle strette vie Placido De Luca e Manzoni e sul cortile delle Zagare.
La costruzione, di circa 20 vani, pervenne e fu ristrutturata dagli eredi dell’ammiraglio Nelson presumibilmente all’inizio del XIX° secolo, con la destinazione di farne magazzini di frumento, stalle e residenza degli amministratori o degli impiegati della Ducea quando si recavano a Bronte.
Sorse come ampliamento e trasformazione di un preesistente edificio (sull’architrave del portone principale si legge ancora la data del 1642).
Il lato di via Manzoni è caratterizzato da una muratura in contrafforti d’eccezionale spessore.
 Interessanti tutte le aperture del primo piano. Con cornice ed architrave sporgenti aprono su balconcini in pietra lavica a profilo variato sorretti da doppia mensolatura scolpita e lavorata a disegni di ispirazione sei-settecentesca e con ringhiere in ferro battuto di particolare interesse (molto simili a quelle visibili in alcuni balconi della Ducea Nelson ed in qualche altro palazzo di Bronte).
L'ex Palazzo dei Nelson oggi versa in grave stato di abbandono. Negli anni ’40 l’edificio subì grosse trasformazioni interne allo scopo di ospitare la locale caserma dei Carabinieri (modifica dei cortili interni, costruzione delle celle, dei locali di servizio e delle stalle). Oggi il palazzo è proprietà di un privato.
| 
Il Palazzo di via Manzoni pervenne ai Nelson per aver vinto una secolare causa contro la ricca famiglia di don Vincenzo Meli Papotto, Barone di Pisciagrò (feudo in quel di Randazzo).
Finì con la vittoria del Duca Nelson, che, oltre alla Grangia di Contrada Ricchisgia (l'antica 
, di M. Carastro
