Voglio costruire casa sulla mia terra ma il comune non vuole

Salve a tutti,

ho 29 anni e da qualche tempo ho maturato la volontà di costruire la mia prima casa. Abito in campagna in una casa di c.ca 200 mq circondata da c.ca 1,5 ettari di terreno coltivati, vorrei costruire dietro casa, in un'area ora adibita a boschetto ed orto.
Oggi sono andato dal geometra del mio comune chiedendo la prassi per eseguire la costruzione ed abbamo verificato se prima di tutto è possibile costruire nella zona in cui abito.
Non mi ricordo bene in che area mi ha detto che mi trovo (E3, E qualcosa...) mi ha detto che non c'è la possibilità di costruie una casa singola sul mio terreno ma forse c'è la possibilità di ampliare ad 800mcubi quella in cui sono ora costruendo un annesso. Forse.:-s
Per costruire un nuovo edificio è necessario che io o l'intestatario dell'edificio sia un coltivatore, abbia un'azienda agricola, e che presenti un piano finanziario della propria azienda (o cose del genere) al comune. O magari scrivendo una lettera al sindaco e muovendo sui suoi sentimenti.
Ora, i miei vicini di casa hanno da poco costruito una casa (uguale a come voglio fare io, dietro quella dei genitori, staccata) ed a quanto pare l'hanno dichiarata ad uso agricolo...con deposito attrezzi e via dicendo...ma ad uso agricolo alla fine non è (...)
A quanto pare le possibilità ci sono ma il geometra mi ha detto che da poco le leggi sono cambiate.....

AIUTO (sconforto e desolazione)

Il mio progetto è di una casetta di un centinaio di mq su un piano, totalmente in legno (casaclima si chiama), con pannelli solari e via dicendo.

Cosa posso fare?

Grazie della disponibilà, scusate se mi sono dilungato troppo.....