Iva agevolata 4% per prima casa

Salve sono Fabio di cremona e vi leggo sempre piacevolmente.
Ora ho un problema pure io.
Nel novembre 2005 ho acquistato un appartamento usufruendo dell'IVA agevolata 4% prima casa.
Nel novembre 2006 decido di acquistare un rudere da ristrutturare a da abitare in futuro come mia prima casa.
I costi di ristrutturazione li avrei pagati vendendo il mio appartamento.
Infatti quattro mesi dopo l'acquisto del rudere, riesco a vendere l'appartamento (febbraio 2007) ed iniziare i lavori accordandomi con l'acquirente di potere abitare l'appartamento per il tempo necessario ai lavori.
In tempi record, nel novembre del 2007 riesco ad entrare con la mia famiglia.
Ora L' Agenzia delle Entrate mi revoca l'aliquota agevolata e mi chiede il rimborso + gli interessi sulla maggiore imposta, per avere venduto l'appaertamento prima dei 5 anni senza l'acquisto di una nuova casa entro l'anno.
Acquistando il rudere prima della vendita dell'appartamento non potevo dichiararlo come prima casa.
Nessuno, ne il commercialista ne il notaio, mi ha fatto notare, a tempo debito, questo piccolo particolare.
Ed a questo punto mi trovo con una sola casa senza beneficio alcuno, con in più la beffa di pagare 12.000 euro (che non ho) per la restituzione dell'IVA.

Se qualcuno sa darmi consigli, un grazie in anticipo.
Fabio