Chiusura servitù di passaggio alla piscina

Salve.
Vi espongo il mio problema,trattandosi secondo me non di una semplice disputa su una servitù di passaggio.
Circa tre anni fa acquistai una casa con giardino.
La casa era in origine il piano terra di una villa più grande che fu divisa appunto in due appartamenti.
Al momento dell'acquisto fu stabilito sul contratto che avevo diritto all'uso di una piscina che si trova nel giardino confinante al mio.
Per accedere alla piscina fu deciso dal notaio un corridoio, come servitù di passaggio,che partiva appunto dal mio giardino, attraversava per pochi metri la proprietà confinante, fino ad arrivare ad un cancelletto che dava accesso alla piscina, cancelletto di cui ho sempre posseduto una copia delle chiavi fornitami dal proprietario della piscina, che è anche l'ex proprietario della mia casa e proprietario del giardino confinante attraversato dal corridoio per raggiungere la piscina.
La piscina è in disuso da due anni, quindi vuota, ma io ne ho comunque conservato l'accesso, ma una settimana fa il proprietario in maniera del tutto arbitraria ha chiuso con una rete il varco che dal mio giardino dava sulla servitù di passaggio e cambiato lucchetto al cancelletto della piscina.
Di fronte alle mie proteste nei confronti di quello che mi sembrava un atto di prepotenza, adduceva come motivazioni il fatto che essendo la piscina vuota e quindi inutilizzabile, era inutile tenere aperto il corridoio di passaggio che attraversa la sua proprietà e quindi di conseguenza l'aveva chiuso e aveva chiuso pure l'accesso alla piscina cambiando il lucchetto.
Ora la mia domanda è la seguente: l'accesso alla piscina è subordinato al fatto che la piscina si inutilizzabile?
E se voglio ad esempio solo andarmi a prendere il sole in quello spazio, ha il diritto comunque di chiudere tutto, servitù di passaggio e piscina?
grazie.