La torre castellata di Oyace è probabilmente il più antico castello della Valle d’Aosta, leggendariamente costruita da un gruppo di Saraceni rifugiatisi nella Valpelline intorno al 1000 d.C.; è già stata citata in un documento del 1197 che parla di un “allodio ad Ayacy”, donato ad un certo Ricalmo alla chiesa di Sant’Orso.

Nel complesso fortificato furono infeudati i Signori di Oyace, di cui si hanno poche informazioni. Amedeo IV di Savoia, tra il 1233 e il 1253 decretò che il castello venisse distrutto per punire i signori di Oyace, rei di comportamenti poco corretti nei confronti di Casa Savoia. Della casa-forte non restò in piedi che la sola torre. Tra il 1253 e il 1287 Oyace passò in mano ai potenti Signori di Quart. Tali Signori nella seconda metà del Trecento cedettero il controllo diretto ai Savoia. Nel 1612 passò nuovamente di mano andando ai Perrone di San Martino. È l’unico caso di torre a pianta ottagonale in Valle d’Aosta. Alta 11,7 metri, ha un diametro esterno di 7 metri e mezzo e un diametro interno di 3 metri e mezzo: lo spessore dei muri portanti arriva quindi quasi a 2 metri. La porta d'accesso, com'era d'uso nel medioevo in Valle d'Aosta, è sopraelevata di alcuni metri per permettere agli occupanti di difendere meglio la postazione. Per accedere alla torre si usava una scala rimovibile, probabilmente di legno.

Delle mura che circondavano la torre non resta che qualche traccia: la parte più facilmente raggiungibile aveva una doppia cortina difensiva, invece l'ingresso rialzato era più protetto perché affacciato sullo sperone roccioso.

Oyace durante la peste del 1630 evitò il contagio installando un cancello nel villaggio di le Bouyoz, in modo da impedire l’accesso agli stranieri che avrebbero potuto veicolare la malattia. Si possono ancora osservare i resti di una croce in pietra che fiancheggiava il cancello.