Help affitto casa tramite agenzia (scadenza mandato)

Dopo aver presentato una proposta di affitto a un'agenzia immobiliare, il proprietario - dopo il nostro primo incontro in agenzia - ha deciso di ritirare il mandato all'agenzia e di passare a trattative private (non ci ha spiegato esattamente il motivo, ma forse perché hanno chiesto spese di mediazione anche a lui???). Comunque, lui sostiene di non aver mai dato all'agenzia un mandato scritto e ci ha chiaramente detto che sottrarci all'agenzia era la condizione per affittare l'appartamento.
Quando ho ritirato l'assegno dall'agenzia, mi hanno fatto firmare un foglio su cui tra l'altro c'è scritto che se le trattative con il proprietario dovessero riprendere, siamo tenuti ad avvalerci della loro mediazione e quindi a pagare il relativo compenso.
Premesso che ho ritirato la proposta dall'agenzia solo perché il proprietario l'ha messa come condizione per affittarci l'appartamento e che mi sembrerebbe giusto pagare le spese di mediazione, cosa rischiamo se ora affittiamo l'appartamento privatamente?
Tra la prima visita all'appartamento e la nostra disdetta all'agenzia sono passati 2 mesi.
Grazie a chiunque mi risponderà.