Le prime notizie che possiamo ritrovare sul feudo e sul castello di Aymavilles risalgono al 1278, quando il castello era costituito semplicemente da una torre quadrangolare circondata da una cinta muraria, secondo la diffusa tipologia del castello recinto tipica dei primi castelli valdostani.

Della torre duecentesca esistono ancora oggi le grosse murature d'ambito, caratterizzate dall'essere fortemente scarpate, ed un muro di spina che la divide, per tutta l'altezza, in due ambienti.
E' ipotesi generalmente accettata che la torre fosse conclusa da torricelle sospese agli angoli e da una merlatura corrente.

Internamente la torre, coperta da un tetto in legno poggiante sulla merlatura, era divisa in sei livelli dei quali quello interrato, che ospitava la cappella, la cucina e le cantine, era coperto da volte in pietra tuttora esistenti, mentre i restanti erano separati tramite solai lignei.

Nel 1357 Aimone di Challant, infeudato tre anni prima del feudo di Aymavilles da parte di Amedeo VI, diede il via ad opere di rinforzo difensivo della struttura, probabilmente ritenuta troppo vulnerabile soprattutto per via dell'andamento pianeggiante del terreno circostante.

Vennero quindi realizzate le quattro torri angolari: queste hanno pianta circolare e sono disuguali tra loro per diametro ed altezza; fu inoltre costruita una merlatura con feritoie, oltre ad una cinta muraria doppia dotata di fossato e ponte levatoio. Le quattro torri angolari sono realizzate in blocchi di tufo e di travertino e sono caratterizzate dall'ampio spessore della muratura; almeno due delle torri in origine contenevano delle scale in pietra di cui effettivamente rimane qualche traccia.

Nel contempo nella torre quadrangolare le finestre vennero incorniciate in pietra e dotate di sedili, sempre in pietra, analogamente a quanto avviene nel castello di Fénis edificato dallo stesso Aimone di Challant.

Nel 1450 Giacomo Francesco II conte di Challant realizzò un fabbricato semicircolare ad uso residenziale di fronte alla torre di sud est, ma a parte questo intervento il castello non subisce alcuna modifica strutturale per un periodo di circa tre secoli e mezzo.
Dobbiamo infatti arrivare al 1713 per trovare il barone Joseph Fèlix di Challant impegnato a trasformare il castello di Aymavilles in residenza signorile, essendo ormai venute meno le esigenze difensive che giustificavano la struttura fortificata; questi interventi ebbero termine nel 1728, come testimonia la data incisa nell'intonaco del sottotetto.

Furono realizzate gallerie e logge a collegare tra loro le torri trecentesche, nascondendo così alla vista la primitiva torre quadrangolare.
L'accesso al castello, sulla faccia esposta a sud est, è segnalato da una doppia scala che conduce ad un loggiato, con funzione di portico, sormontato da un balcone. Inoltre, l'intervento di Joseph Félix comportò la demolizione del corpo semicircolare eretto nel 1450 da Giacomo Francesco II e delle fortificazioni esterne, mentre il terreno circostante - circa otto ettari - venne trasformato in giardino.

Nel 1882, allorchè il castello di Aymavilles, dopo numerosi passaggi di proprietà, fu acquistato dal senatore Bombrini, vennero rinvenute nelle soffitte del castello due tavole rappresentanti rispettivamente la Madonna e l'Arcangelo Gabriele.

Nel 1970 fu venduto all'Amministrazione regionale valdostana.
Nel corso del 2000, sono stati eseguiti importanti interventi di ristrutturazione sul castello di Aymavilles.

Il Castello non è visitabile all'interno.