Nachdem um 1285 der Hochmeister des Deutschen Ordens der Neugründung einer Niederlassung des Ordens in Wetzlar zugestimmt und Marburger Ordensbrüder ein  innerstädtisches Gelände vom Wetzlarer Marienstift erworben und bebaut hatten, zog ein kleiner Konvent in das „Haus Wetzlar“ ein. 

1293 wird erstmals ein eigener Vorsteher der Niederlassung Wetzlar erwähnt. 
Erst in der frühen Neuzeit ging die Verwaltung des wetzlarer Hauses von Ordensangehörigen auf weltliche Bedienstete des Deutschen Ordens über, die dann als „Verwalter“ oder „Amtmänner“ bezeichnet werden. 
Da die Komturei als das wohl älteste Gebäude auf dem Ordenshof – die der hl. Elisabeth geweihten Ordenskapelle befand sich 1293 noch im Bau, die große Zehnscheune wurde erst um 1535 errichtet – weiterhin als Unterkunft den Ordensleuten vorbehalten blieb, die das Haupthaus Marburg zur Aufsicht nach Wetzlar entsandte, scheint die Errichtung eines eigenen Wohn- und Dienstgebäudes für die hier nun ständig anwesenden Verwalter erforderlich geworden zu sein. Ein entsprechendes Gebäude wurde 1653 in Fachwerkbauweise errichtet und erscheint auf älteren Plänen als „dass hölzerne Haus“ oder „Wohnhaus wo der Verwalter wohnt.“ 
Als 1740 Heinrich Adam Buff, zu Steinbach im Amt Gießen 1711 geboren, als Verwalter in den Dienst des Deutschen Ordens trat und die Führung der wetzlarer Ordensgeschäfte übernahm, war das Verwalterhaus bereits über achtzig Jahre alt. Nachdem er zehn Jahre „im unverheurateten  Stand dem Hohem Orden unter thänig gedient“ hatte, erwirkte er am 13. August 1750 die Erlaubnis zur Heirat mit Magdalena Feyler. 
Zwei Jahre zuvor hatte er Pläne für die  Erweiterung und Modernisierung des Verwalterhauses eingereicht. 
Die rasch wachsende Familie forderte mehr Raum. Sechzehn Kinder, von denen zwölf das Erwachsenenalter erreichten, wurden dem Ehepaar Buff geschenkt. 1770 verstarb am Tag nach der Geburt des letzten Kindes die Mutter und hinterließ die vielköpfige Familie, die überwiegend aus Kleinkindern bestand, in einer schwierigen Lage. Bekanntlich vertrat die zweitälteste Tochter, die am 11. Januar 1753 geborene Charlotte Sophie Henriette die Mutterstelle an den Geschwistern, die sich offenbar bald an diese Situation gewöhnten. Goethe / Werther hat an ihr vor allem die mütterliche Fürsorge für ihre jüngeren Geschwister gefallen.
Der Familienüberlieferung nach erhielt Lotte, wie sie im Hause gerufen wurde, das kleine Zimmer neben dem Staatszimmer, von diesem durch eine Tapetentüre getrennt. In den übrigen Zimmern in diesem Stockwerk dürfte eine drangvolle Enge geherrscht haben, selbst wenn mehrere der kleinen Kinder zur Nacht jeweils gemeinsam ein Bett benutzten.