Recessione contratto

Salve,
abbiamo stipulato un contratto preliminare che prevedeva l'ultimazione dei lavori entro la fine di settembre con una eventuale penale da parte del costruttore di 500 euro al mese. Dopodiché abbiamo richiesto al costruttore una serie di modeste modifiche che erano state promesse "in tempo". Tuttavia a causa di alcuni ritardi nella fornitura dei materiali (nella fattispecie le porte interne in un colore diverso da quello previsto da capitolato) i lavori sono slittati di oltre due mesi.
Nel contratto era previsto che il 30% del costo dell'appartamento venisse pagato al rogito e quindi a fine settembre.
Noi non abbiamo MAI preteso la penale e ci siamo offerti di fare un ulteriore pagamento prima del rogito, visto che il resto dell'immobile é stato completato e gli altri appartamenti, senza le modifiche sono stati terminati.
Il venditore ci ha mandato una raccomandata dicendoci che "come da accordi verbali" o andiamo al rogito entro dieci giorni oppure ci ritorna i soldi e si tiene appartamento.
Oltre al fatto che non ci sono stati "accordi verbali", con quali ragioni puó ora il venditore fare una tale pretesa? Ha fondamento oppure é solo una "sparata" per farci paura?!?
Cero non é una bella situazione