Giò Francesco del Sasso Carmine, in una sua cronaca storica, descrisse in questi termini il successivo biennio:
“molte estremità di soldati, gravezze ed angherìe, talmente che gli uomini erano ridotti a termine di disperazione ed avevano, come suol dirsi, invidia ai morti…”.
Il duca mise assieme un esercito e riconquistò ogni borgo e torre in mano ai cinque "malfattori", senza guardare con particolare rispetto i sudditi riconquistati mentre marciava su Cannobio.
Alla fine nell'estate del 1414, con l’ausilio di ben cinquecento uomini, attaccò di persona, pare, i Mazzarditi asserragliati nel castello sul lago, nel tentativo di liberare Cristina ed eliminare una volta per tutte questa minaccia.
Il castello cadde, ovviamente.
La leggenda vuole che i cinque fratelli vennero presi e gettati nelle acque del lago con un sasso al collo.
Ora, va detto, che la storia invece dimostra che furono semplicemente messi al bando per una quindicina d’anni, trascorsi i quali furono riammessi nel borgo.
Il castello invece venne altrimenti affidato e finì, quasi completamente in rovina, nelle mani della casata dei Borromeo, assieme agli isolotti lacustri cui faceva da "capoluogo".
A partire dal 1519 il castello arrivò nelle mani del Conte Ludovico Borromeo, che vi fece erigere una nuova possente rocca, sostituendola al castello praticamente abbandonato e alle fortificazioni distrutte durante l’assedio ad inizio quattrocento dei viscontei.
La fece edificare con molto dispendio,chiamandola “La Vitaliana”.