Studi recenti hanno dimostrato che il castello fu costruito nell'aspetto attuale verso il 1275, anche se il toponimo "Castrum Argenteum" figura già dal 1176.
Il costruttore fu probabilmente Master James of Saint Georges, architetto del conte Pietro II, già attivo nel Galles. Il promontorio su cui sorge il castello, e che sovrasta l'abitato di Villeneuve, era già abitato in epoca protostorica, così come ai tempi dei Romani.
La sua posizione strategica ha fatto si che il castello restasse sempre nelle mani del conte di Savoia.
Il castello è un vasto recinto con fortificazioni ed una torre di vedetta anche all'esterno.
Sul lato est si trova la Cappella, la parte più antica del complesso (sec. XI-XII). La parte ovest del recinto è delimitata da un muro difensivo nel quale è praticato l'ingresso. Questa seconda recinzione conteneva il corpo d'abitazione ormai distrutto, addossato alla cinta, la cisterna voltata ed il mastio a pianta circolare.
La porta d'ingresso era posta a diversi metri d'altezza, mentre le uniche luci sono le feritoie quasi invisibili esternamente.
Il castello è accessibile a piedi, in un quarto d'ora, dalla stradina che parte dal ponte sulla Dora Baltea.