Permesso di costruire scaduto

Avendo a disposizione una vecchia capanna con relativo terreno io e mia moglie abbiamo deciso qualche anno fa di effettuare una ristrutturazione procedendo alla demolizione e fedele ricostruzione così come imposto dalla legge.
Sono state naturalmente avviate tutte le pratiche necessarie e ci è stata rilasciata una SCIA nel Gennaio del 2011 per procedere con i lavori.
Abbiamo subito provveduto alla demolizione del vecchio fabbricato dopodichè, per motivi personali che non sto a spiegare, abbiamo dovuto rinunciare ai lavori per cui, adesso, abbiamo semplicemente un terreno senza alcun immobile edificato.
Ormai sono praticamente passati ben 4 anni e tutti i permessi sono decaduti.
Visto che abbiamo deciso di mettere in vendita il terreno come "edificabile" l'incaricato dell'agenzia immobiliare ci ha detto di informarci bene perché, considerato quanto sopra, potrebbe anche essere che, decorsi i termini, il terreno sia passato agricolo e quindi non sia più possibile edificarci sopra, tanto più che la vecchia capanna che vi risiedeva ora non c'è più.
E' possibile che possa verificarsi questa situazione?