Die Schelenburg, »eine der schönsten Wasserburgen des Landes«, wie der Reiseführer sagt, hat eine wechselvolle Geschichte. Urkundlich wurde die Burg 1160 erstmals erwähnt, ist aber mindestens 100 Jahre älter.
	Als »Burg Schledehausen«, war sie bis Ende des 14. Jahrhunderts Stammsitz derer von Sledesen. Im Jahr 1396 ging die Burg durch Heirat Rabodos von Schele mit Elisabeth von Sledesen an die Familie von Schele über. Der älteste Teil der Wasserburg ist der mittelalterliche Wehrturm im gotischen Stil. Er steht mit seinem über 2,50 m mächtigen Mauerwerk auf Eichenpfählen im Wasser und besitzt kein Kellergeschoß. Um die Burganlage gab es ein heute noch in großen Teilen erhaltenes gestaffeltes Grabensystem. Das Erdgeschoß des Wehrturms hatte ursprünglich von außen keinen Zugang. Auch das erste Stockwerk war nur durch einziehbare Leitern von außen zu erreichen. Anno 1490 brannten die den Turm umgebenden Wohn- und Wirtschaftsgebäude ab, der massive gotische Wehrturm selbst blieb von dem Feuer weitgehend verschont. Von 1528 bis 1532 wurde unter der Leitung des Baumeisters Jörg Unkair aus Tübingen zum Teil auf den Grundmauern des abgebrannten Wohnhauses ein Renaissancebau in Bruchstein mit Sandsteinverblendungen errichtet. Kunsthistoriker loben vor allem die gelungene Verbindung von Gotik und Renaissance. Geschickt verband Unkair die beiden Gebäude auch im Inneren, indem er ein massives Sandsteintreppenhaus einzog.
	Seit Anbeginn, d.h. seit über 900 Jahren, ist die Burg in Familienbesitz, nie erobert oder veräußert worden. In diesem Jahrhundert war die Schelenburg viele Jahre unbewohnt, teilweise verpachtet und schließlich stark renovierungsbedürftig.
		Die lange Familientradition (die Mutter des jetzigen Eigentümers, Joachim Kellermann, war eine geborene Freiin von Schele, die den Besitz von ihrem Onkel erbte) und das persönliche Interesse der Eigentümer sind die maßgebliche Triebfeder für die umfangreichen Renovierungsarbeiten und Restaurierungsmaßnahmen, die der Schelenburg seit Mitte der 80er Jahre zuteil werden. Seit dieser Zeit ist das Schieferdach komplett erneuert worden, die Sandsteinfassade wurde restauriert, der Westflügel sowie die Wirtschaftsgebäude auf dem Betriebshof neu verputzt und gestrichen. Die ehemalige Schlossküche ist heute der Hauptgastraum, von dem aus man auf die malerische Terrasse am Burggraben hinausgehen kann. 1994 konnten die Renovierungsarbeiten des Rittersaals im alten Wehrturm fertiggestellt werden, der dem Restaurant ebenfalls zur Verfügung steht.