La parte più antica del castello fu eretta nel 1185 a scopi difensivi da Jacques de la Porte de Saint Ours capostipite della Signoria di Quart.

Il castello subì, in epoche diverse, parecchie trasformazioni. Le più rilevanti risalgono all'epoca in cui fu occupato dai Savoia (1378-1550).
Adibito a cascina per circa un secolo perse molto del suo carattere originario. Il castello, ancora in restauro, non è visitabile. Al termine dei lavori ospiterà il Museo Etnografico Valdostano.

Il suo stesso nome (QUART) è legato al capoluogo e significa "ad quartum lapidem", cioè posto alla quarta pietra miliare a partire da Aosta. A Vollein, caratteristico villaggio della collina di Quart, nel 1968 si scoprirono i resti di una necropoli di epoca neolitica che rappresentano, secondo gli archeologi, le prime tracce di insediamenti umani in Valle d'Aosta.

Nei dintorni del castello si possono anche visitare:
Fontin - uno dei numerosi alpeggi comunali dove la tradizione narra fu affinata la tecnica della lavorazione della Fontina che derivò la sua denominazione proprio dal nome dell'alpeggio (...la tesi è molto controversa).
Trois Villes - Altro villaggio molto bello della collina situato su tre piccoli pianori, completamente distrutto dai nazi-fascisti durante la seconda guerra mondiale; a ricordo di questa tragedia fu eretto, in tempi recenti, il Monumento al Partigiano ed un faro illumina la notte, con i colori della bandiera italiana.