Problema di abuso edilizio rilevato dopo il compromesso

Salve
mi ritrovo in una stuazione problematica in fase di acquisto di un immobile..
Si tratta di una casa in un paesino di campagna. In seguito a vari sopralluoghi abbiamo deciso di comprare, e solo all'atto del compromesso ci è stata fornita la planimetria catastale. Al momento non ho notato problemi, ho firmato e versato l'acconto, pagando anche le spese di agenzia.
A casa pero' , riguardando la planimetria anche nell'ottica di pensare a eventuali lavori di risistemazione, ho notato che la planimetria catastale riporta uno stato diverso dall'attuale.. nello specifico il wc (all'origine esterno con acesso dal terrazzino) è stato ampliato per ricavarne un bagno con accesso dall'interno.
Ho chiesto spiegazioni al proprietario.. lui molto scocciato si è rivolto a un geometra il quale ha confermato che si tratterebbe di un abuso da sanare. Manco a dirlo, il proprietario si rifiuta e minaccia piuttosto di demolire il bagno per renderlo conforme alla planimetria. Mi propone di andare dal notaio tacendo la questione.. ma io sono restio.
Vorrei piuttosto rescindere il compromesso, in cui si dichiarava che l'immobile era libero da problematiche di questo tipo.. pero' temo che passare alle vie legali possa richiedere decenni!
Cosa mi consigliate? grazie
S