Nel 1314 Fossano è ceduta ai Principi d’Acaja; dieci anni dopo Filippo I fa erigere il castello con fini prettamente difensivi. Solo ad inizio ‘500, con l’arrivo della duchessa Bona di Savoia, si procede ad una modifica strutturale che lo trasforma in residenza signorile, utilizzata anche nel secolo successivo per Madama Cristina. A fine ‘600 è adattato a prigione per i Valdesi, perseguitati per motivi religiosi; negli anni successivi sarà adibito a caserma e a carcere. Dopo un periodo di abbandono – durante il quale divenne una dimora per famiglie disagiate – sono iniziati gli imponenti lavori di recupero e restauro, durati circa vent’anni. Dal 1986 è sede del dipartimento Servizi Culturali della città; attualmente ospita la biblioteca civica, l’archivio storico e le annesse strutture per attività culturali, convegni, esposizioni d’arte. All’interno si può ammirare la Sala delle Grottesche, con affreschi di fine ‘500 del fiammingo Giovanni Caracca.