Cauzione e riconsegna chiavi

Buonasera,

a fine dicembre ho lasciato il vecchio appartamento nel quale ero in affitto da oltre 20 anni.Dopo averlo liberato e tinteggiato ero d'accordo con il proprietario che aspettavo una sua chiamata per la riconsegna delle chiavi contestualmente con la riconsegna della cauzione comprensiva di interessi legali.

Ebbene oggi mi chiama il proprietario e mi dice che fino a quando non gli riconsegno le chiavi è come fossi ancora in affitto.

Il contratto di affitto è scaduto a metà 2006 e per motivi famigliari gravi abbiamo stabilito un accordo per una proroga (che non ha mai firmato e depositato) sufficiente a sistemare le cose con un canone raddoppiato.
Io ho sempre pagato con bonifico bancario per dimostrare gli avvenuti pagamenti.

Non so per quale motivo la tira per le lunghe.
Come devo comportarmi?

Grazie a tutti.