Fase di compromesso: restituire la caparra?

Ho dato mandato ad una agenzia per la vendita di un quando.
In agenzia abbiamo concordato con il compratore una cifra che andava bene ad entrambi, lui mi ha fatto un versamento di 2000 euro sul mio conto rimande che al momento del compromesso mi avrebbe dato il restante della caparra.
Adesso il compratore pare non riesca ad avere i soldi dalla banca pet il mutuo e forse non puo comprare.
Il mediatore che si occupa adesso della nostra pratica mi dice che io devo ridare i 2000 euro perché sarei moralmente tenuto a devolverli.
Però io per colpa di questo tira e molla fatte di cose tacite anche dal mediatore che in precedenza aveva preso carico della mia pratica io ho perso soldi viaggiando, senza contare che visto che mi avevano dato tutto per certo mi ero già preparato per traslocare ecc ecc adesso é giusto che io debba ridare questi soldi?
E poi visto che questa agenzia ha l'esclusiva fino a fine anno non posso uscire dal contratto con l'agenzia visto per come si sono comportati?
Vi ringrazio