Seit dem Mittelalter und zwar ab dem Jahre 1280 nachweisbar, besaß Kirrweiler ein Wasserschloss. Die Rundburg lag damals innerhalb des derzeitigen Weinbaugeländes des Weingutes Schwaab. Das Schloß selbst besteht nicht mehr. Es wurde bei den Wirren während der französischen Revolution abgerissen.
Im Mittelalter besaßen in und bei der Burganlage die Burgmänner (Ritter und Ministerialen) ihre Häuser. Es waren die Edlen von Kirrweiler, wie sie damals hießen. Unmittelbar südlich der Kirche steht das ehemalige Wachthaus, dessen Wahrzeichen seine Bogenfriese und die starken Sandsteinquader sind. Zum ehemaligen Wachthaus gehört dann noch unmittelbar anschließend die ehemalige Zehntscheuer, deren Einfahrten auch heute noch gut erkennbar sind. Weiter im Süden kommt dann unmittelbar nach dem später eingeschobenen Winzergehöft das stattliche Edelhofgebäude. Errichtet wurde dieser Bau Ende des 16. Jahrhunderts. Nach den bereits erwähnten Edlen von Kirrweiler wohnten dort später die Angehörigen der Bischöflichen Verwaltung. Im Untergeschoß waren Scheune und Stallungen untergebracht. Nach der französischen Revolution mit dem Ende der bischöflichen Regierung wurde auch dieses Gebäude dann an Private veräußert. Die östliche Hälfte erwarb dann später die Gemeinde zur Unterbringung der katholischen Schwestern und des Kindergartens. Die westliche Hälfte war als Winzerhaus genutzt. Das Gebäude wurde früher als sogenanntes Halbwasserschloß errichtet. Auf der Südseite sind heute noch erkennbar die zum Wasser hin offenen Gewölbe vorhanden.
Heute befinden sich im historischen Gemäuer das Dorfgemeinschaftshaus der Gemeinde und das Edelhofrestaurant.
