Vendita prima casa prima dei 5 anni... chi mi aiuta?

Ciao a tutti,
ho acquistato una casa, prima casa, nel 2018 con l'ottica di effettuare determinati lavori.
Poi ci sono stati dei problemi con i permessi in comune e ho deciso di vendere, per acquistarne un'altra con meno vincoli.

Scopro però adesso che se vendo prima dei 5 anni ci sono dei soldi da pagare (e non pochi).
Ora, la casa la vorrei prendere con il mio compagno.
C'è modo di non farsi spennare??

Io non sto speculando, ma cambiando abitazione perché i lavori previsti sono stati bocciati dal comune, che scatole...
Grazie a chiunque risponderà