1809 kam Aistersheim mit dem Innviertel nach der verlorenen Schlacht bei Wagram im Frieden von Schönbrunn bis 1814 an Bayern, nachdem sich dessen damaliger Besitzer, Otto Adolf Graf Hohenfeld, drei Monate zuvor in der für Österreich siegreichen Schlacht bei Aspern derart ausgezeichnet hatte, dass er als Major im Juli 1809 gemeinsam mit Radetzky zum Feldmarschall befördert wurde. Dessen Schwester Ann war die Gemahlin des Fürsten Karl Philipp Schwarzenberg, eines Hauptgegenspielers Napoleons. Neben den Funktionen als Schlossherren eines Grenzstützpunktes an der Hauptverbindungsstraße zwischen dem bis 1779 bayerischen Ried und dem österreichischen Wels, sowie als Diplomaten, Beamte am Kaiserhof und Soldaten sahen die Besitzer ihre Aufgabe im Schutz und in der Pflege des christlichen Glaubens. Dies zeigte sich darin, dass immer wieder Angehörige der Schlossbesitzerfamilie geistliche Berufe ergriffen, wie Hadmar von Aistersheim, Domherr in Passau. In der Zeit der Reformation war das Schloss ein Zentrum des Protestantismus. Achaz von Hohenfeld, der den Besitz 1568 bis 1603 innehatte, wurde als lutherischer Papst bezeichnet. Dessen Enkel Otto Achaz kehrte 1636 zur katholischen Konfession zurück und widmete sich in besonderer Weise der Förderung einer Reihe von ihm betreuter Kirchen, wie der kunsthistorisch bedeutenden Pfarr- und Patronatskirche von Aistersheim, der Filialkirche von Aistersheim,

der Filialkirche in Höft sowie der Kirche in St. Michael in der Wachau, wo die damalige Herrschaft Aistersheim 20 Hektar Weinbaufläche besaß. Im Laufe der 856 Jahre des Bestehens des Schlosses scheinen im Grunde genommen zwei Besitzerfamilien auf: von 1150 an die Familie der Aistersheimer, die im Jahre 1443 durch die Einheirat von Hanns Hohenfelder auf dessen Namen überging. 1830 kaufte Johann Carl Dworzak den Besitz von der damaligen Erbengemeinschaft, darunter die Fürstin Anna Schwarzenberg. Elisabeth Birnleitner, geborene Korompay, Gattin des Botschafters Dr. Heinrich Birnleitner, war Erbin nach ihrer Tante Elisabeth Dworzak und kaufte Teile des Besitzes von Miterbinnen. Nach ihrem Tod ging das Wasserschloss an den derzeitigen Besitzer, Dr. Heinrich Birnleitner über.
Die Baugeschichte des Schlosses lässt sich weitgehend vom derzeitigen Erscheinungsbild ablesen. Aus der Zeit vor der Beschädigung im Jahre 1471 sind drei gotische Tore im Innenhof erhalten. Das vierte derartige Tor wurde später in das Pfleghaus integriert. Der gotische Bau wies einen quadratischen Grundriss auf. Im Zuge der im Renaissancestil erfolgten Wiederherstellung wurde das Schloss bergseitig verlängert mit dem Rittersaal, der Bibliothek und der Kapelle. Im Jahre 1603 erhielt das Gebäude mit dem zweistöckigen Arkadengang und den zwei Stiegenhäusern im Wesentlichen seine heutige Form.