E' situato nell'abitato omonimo sul versante destro della Dora, di rimpetto alla cittadinanza di Verres, dove si trova un altro celebre castello-fortezza. Il castello di Issogne in origine appartenne al vescovo di Aosta; in seguito passò alla famiglia dei Challant. Il castello, la cui apparenza estrerna è più simile ad una residenza rinascimentale, ha torri angolari non molto alte. Fu restaurato nel 1400 da Ibleto di Challant ma solo un successivo restauro, (nel 1494) al tempo di Giorgio di Challant (Priore di S. Orso), consentì alla struttura di divenire dimora per sua cugina Margherita de la Chambre e suo figlio Filiberto e assumere l'aspetto che ancora oggi propone ai visitatori.
Giorgio di Challant trasformò il primitivo maniero nell'attuale sontuosa dimora arricchendolo con splendide pitture murali, opera dei migliori artisti dell'epoca.
Dalla famiglia Challant il castello passò ai Madruzzo e ritornò ai Challant dopo un processo per la successione durato più di un secolo. Dopo vari passaggi di proprietà, nel 1872 fu acquistato dal pittore Vittorio Avondo il quale, con l'aiuto di altri artisti suoi amici, tra i quali Alfredo d'Andrade artefice del restauro di Fénis, lo riportò all'antico splendore con accorti interventi conservativi e restauri. Ultimati i lavori, che durarono alcuni anni, il castello venne donato allo Stato, che a sua volta lo cedette in proprietà all'Amministrazione Regionale della Valle d'Aosta.
Severo e quasi anonimo all'esterno, il castello rileva le preziosità architettoniche dei volumi interni e la magnificenza delle sue stanze e saloni. La pianta dell'edificio, di forma quadrangolare, è chiusa su tre lati; il quarto è formato dal giardino delimitato verso l'esterno da un semplice muro di cinta.
All'interno vi è il cortile nel quale si trova la celebre fontana ottagonale con l'albero del melograno in ferro battuto. Il cortile è il disimpegno aperto, dal quale si accede agli ambienti interni dei singoli piani, suggeriti in facciata dalle finestre a crociera e dalle logge aperte dell'ultimo piano.
Sul lato ovest si affaccia il porticato, corredato da panche a muro con schienale.
Le pareti dei prospetti sul cortile sono interamente decorate con soggetti araldici della casa Challant e delle varie famiglie ad esso imparentate.
All'interno dell'edificio si accede mediante un porticino, aperto sul cortile e riquadrato da un massiccio ornato di pietra simile a quello del portone esterno.Al suo interno, l'androne e il porticato sono entrambi decorati con affreschi riproducenti scene di vita quotidiana e mestieri di straordinaria freschezza espressiva (la bottega del sarto, la farmacia, la macelleria, il corpo di guardia, il mercato di frutta e verdura, la bottega del fornaio e beccaio, quella del formaggiaio e del salumiere), mentre la tipica decorazione geometrica quattrocentesca sottolinea, come del resto in tutti gli altri ambienti, la nervatura delle volte gotiche.I locali del castello sono una cinquantina, molti di questi visitabili e arredati: tra le più suggestive nella visita è da citare la "stanza delle armi".
Al piano terra si può visitare la sala da pranzo che comunica con la cucina tramite il passapiatti che si apre sotto la cappa del camino; la cucina, dove si trovano tre grandi camini, è divisa in due parti da una doppia arcata: una parte era riservata ai Signori e l'altra al personale di servizio; la sala baronale dove ci sono un bel camino in pietra con lo stemma dei Challant affiancato da un leone e da un grifone, le pitture sulle travi lignee del soffitto, e gli affreschi delle pareti raffiguranti paesaggi, scene di caccia e il Giudizio di Paride.
Al primo piano, che si raggiunge salendo la scala a chiocciola di pietra (il cosiddetto "viret"), vi è la cappella dalle volte finemente decorate, con affreschi alle pareti e con l'altare gotico in legno intagliato e dorato adorno di un trittico fiammingo. Anche qui una cancellata in legno divide la parte riservata ai Signori da quella destinata alla servitù. Sullo stesso piano si trovano altre stanze, tra cui quella della contessa con l'oratorio ornato di pitture e quella del Conte Renato. Al secondo piano, oltre alla stanza del conte, troviamo la stanza del re di Franciacon il soffitto a cassettoni e un camino che reca sulla cappa lo stemma con i gigli dorati sul fondo e il motto "Vive le Roi" (viva il Re).
Nella stanza si trova il letto gotico a baldacchino, originale dell'epoca, rintracciato dai restauri presso un contadino di Ussel. Al fianco di questa camera si trova quella detta dei "Cavalieri di San Maurizio": anche qui il soffitto è a cassettoni e in esso è dipinta la croce di quest'ordine. Tutto il resto del castello ha conservato la suggestiva atmosfera dell'epoca feudale, resa con maggiore vivezza dal raffinato arredamento costituito dai rari ed autentici pezzi unici, alcuni ricostruiti altri provenienti da vari castelli e case nobili valdostane.