La storia di questa villa è estremamente complessa, con molti passaggi di proprietà che si riflettono nelle varie denominazioni che ebbe.

Nel '600 la proprietà apparteneva agli eredi di Gian Francesco Bellezia, il sindaco che amministrò con saggezza Torino durante la peste del 1630. Nel 1672 ne era proprietaria la contessa Anna Berardino di Azighiano. Probabilmente danneggiata durante l'assedio del 1706, venne infatti definita“vecchia di casa” quando nel 1708 il conte Buronzo d'Asigliano la vendette al banchiere di Corte Francesco Antonio Colomba. In seguito egli fallì clamorosamente, a seguito delle severe leggi emanate da Vittorio Amedeo II sui feudi dell'antica nobiltà (1720) e della crisi economica che attraversò l'intera Europa.
La casa venne però venduta all' asta nel 1723 per un prezzo molto alto, che prova dei lavori di ristrutturazione commissionati ed effettuati nel 1716 dal Colomba stesso. Per la tipologia architettonica di questi importanti lavori si è ipotizzata l'opera di Filippo Juvarra.
Ne divennero proprietari i Dal Pozzo della Cisterna, in seguito i Padri Barnabiti che la vendettero nel 1742 alle sorelle Bogetto figlie di un banchiere. La ereditò Paola Bogetto maritata con il conte Carlo Felice Demorri di Castelmagno, ministro di Stato, e per più di un secolo la villa venne detta "Il Castelmagno", dal nome del feudo dei proprietari. La vigna passò quindi in eredità al figlio Renato Ignazio Demorri che in seguito la vendette al banchiere Giovanni Angelo Morelli.
Anche se non si conosce quando passò al Duca del Chiablese, una planimetria del 1796 testimonia che l'ultimogenito di re Carlo Emanuele III, Benedetto Maurizio Duca del Chiablese unì la tenuta della villad'Aglié con la vicina ed antica villa Margarita (ora villa Magri, già Vigna Margherita). E' noto che egli, nel periodo di occupazione francese, si faceva chiamare Conte di Aglié, in quanto proprietario del Castello ducale di Aglié. E' probabile che da ciò derivi il nome della villa. Nel passato si ipotizzò anche che il nome fosse legato a Filippo d'Aglié, che possedeva però la vigna Sammartino, ora Imperiali Becker, all'inizio della Valsalice.
Nel 1806, dopo il sequestro dei beni del Duca, fuggito a Roma a seguito dell'occupazione francese, la villa venne aggiudicata al conte Tarino di Chauvannaz. Con la Restaurazione passò in seguito al baronetto sir John Foster, ministro di Sua Maestà britannica alla Corte dei Savoia, che si dedicò con grande passione alla cura del giardino, piantando molte piante esotiche e fiori.
Nel 1842 venne acquistata dalla marchesa Carolina Pilo Boyl di Putifigari, che la mantenne per circa ottant'anni. In quel periodo i Reali visitarono spesso la Villa e la Regina Margherita si innamorò degli stucchi di Ignazio Collino che ornano il salone e ne volle copia in Palazzo Reale.
Dal 1928 al 1948 fu nuovamente proprietà di stranieri, gli svedesi Reinius, quindi subentrarono i Giacosa. Durante la seconda guerra mondiale, uno spezzone incendiario colpì il salone centrale che ha perduto la volta affrescata.
Nel 1947, i nuovi proprietari incaricarono il famoso architetto paesaggista, Russell Page , di ridisegnare gli spazi del giardino riportandoli al disegno originale seicentesco e dal 2007 è incluso nell'elenco ufficiale dei Giardini storici di interesse botanico della Regione Piemonte.

L'ultima denominazione, Villa d'Agliè, venne rispolverata durante l'epoca fascista. In questa villa furono girati alcuni film, tra cui La donna della domenica, tratto dall'omonimo romanzo torinese di Fruttero e Lucentini.