1802 war das örtliche Symbol der vorrevolutionären Staats- und Gesellschaftsordnung durch Kauf in den Besitz des letzten Amtmannes Joseph Lenders gelangt, und schließlich richtete der Fabrikant Felix Wilhelm Hüsgen in dem ausgedehnten Gebäude eine Wattefabrik und Baumwollspinnerei ein, in der, so wird man durchaus mutmaßen dürfen, der Brandschutz keine große Rolle gespielt hat. Denn sonst hätten die Flammen wohl kaum eine derart vollkommene Vernichtung bewerkstelligen können. Eine Abbildung des Schlosses wenig vor der Brandkatastrophe zeigt es mit zwei rauchenden Schornsteinen, wie ein stolzes Zeichen der neuen frühindustriellen Zeit.

Vögte, also Schutzherren von Neersen, wurden bereits knapp 600 Jahre früher, im Jahre 1263 erstmals genannt. Die nach der Niers benannte Burg taucht aber erst rund 100 Jahre später ausdrücklich in einer schriftlichen Quelle auf, und zwar im Zusammenhang mit der Nennung der Burgmühle („molendinum ante castrum“).

Die Jahrhunderte lange Besitz- und Herrschaftsgeschichte ist gut erforscht. 1405 wird von dem „sloss vander Neersen“ gesprochen. Ende des 16. Jahrhunderts tauchen dann die aus dem Hessischen stammenden Herren von Virmond auf. Sie wurden vom Kurfürsten von Köln mit Neersen belehnt und erreichten ansehnlichen politischen Einfluß sowie großen weiteren Besitz. Das höchste politische Amt erreichte Ambrosius Franz Graf von Virmond (1682-1744), der mit der Würde des Präsidenten des Reichskammergerichtes in Wetzlar eine der wichtigsten Funktionen in der Rechtsordnung des Heiligen Römischen Reiches Deutscher Nation innehatte. Sein Großvater Adrian Wilhelm (1613-1681) war Festungsgouverneur von Düsseldorf und Jülich gewesen. Sein Vater Ambrosius Adrian Adolf (1640-1688) hatte die spätmittelalterliche Burganlage durch ein anspruchsvolles barockes Schloss ersetzt, jenes eben, das vor 160 Jahren in Flammen aufging. Die Kosten für den „so nötigen wie auch nützlichen, commoden und zierlichen Bau an Stelle des geborstenen und sonst baufälligen und in Gefahr gestandenen Hauses“ hatte Virmond bis 1669 mit der riesigen Summe von 18.139 Reichstalern bezahlt. Zu den besonders aparten historischen Reminiszenzen des Schlosses gehört bis heute das farbige Allianz­wappen über dem Schlossportal. Es erinnert an Graf Ambrosius Franz von Virmond und die hochadelige Eleonora Magdalena Gräfin von Bentheim. Ambrosius Franz bekleidete übrigens nicht nur das Amt eines Reichskammergerichtspräsidenten, sondern war auch kurkölnischer Amtmann von Kempen und Oedt.