Detrazione 36% spese sostenute da unico condomino

Nel 2003 ho rifatto la facciata della casa che era diventata condominio.
L'assemblea dei 4 proprietari io ed i miei fratelli decise che per problemi economici degli altri solo il sottoscritto avrebbe sostenuto le spese e di conseguenza le detrazioni relative al 36%.
Si fece verbale e venne inviato a Pescara con la doc relativa.
Ora l'Agenzia delle Entrate contesta questo e rivuole le quote delle detrazioni che secondo loro spetterebbero ai fratelli anche se ho pagato solo io.
E' vero che il pagamento è stato fatto come condominio, ma il bonifico è partito comunque dal mio conto personale come si evince dalla documentazione presentata.
Grazie