Die erstmalige Erwähnung des Schlosses findet sich 1434, wenngleich die gegenwärtige Gestalt auf einen Ausbau von 1550 zurückgeht.
Was mit dem Entwurf eines Bücherregals begonnen hatte, entwickelte sich über die intensive Zusammenarbeit mit den Auftraggeberinnen, den Schwestern Oberrauch, zu einem komplexen Umnutzungs- und Renovierungsprojekt: von Bodenabsenkungen auf das ursprüngliche Niveau, Mauertrockenlegungen, neuen Raumbezügen, Barrierefreiheit, haustechnischen und akustischen Maßnahmen, bis zur Gestaltung der gesamten Ausstattung.
Die bestehende Loggia fungiert als überdachter Vorplatz für den neuen Eingang. Ein Tor öffnet sich zum Mehrzweckraum mit der Roten Bar, von hier aus erschließt eine weitere Flügeltür in einem neu geschaffenen Wanddurchbruch den längsrechteckigen Bibliotheksraum mit seinem Tonnengewölbe.
Bei dem Umbau wurde eine Strategie der möglichst unsichtbaren Eingriffe in die Bausubstanz verfolgt. In der Ausstattung hingegen kamen kräftige Farben und Formen zum Einsatz, und das Wechselspiel mit Referenzen – von frühen Druckwerken bis zur Gegenwartskunst.