1822 überließ die Stadt Weinsberg dem Oberamtsarzt und Dichter Justinus Kerner ein Grundstück am Fuße des Burgbergs, auf dem er sich ein einstöckiges Haus errichten ließ. In der Folgezeit wurde das Anwesen durch angrenzende Grundstücke mit weiteren Gebäuden (darunter dem sog. Geisterturm) erweitert. Durch die große Beliebtheit Kerners und die Gastfreundschaft seiner Frau Friederike wurde sein Wohnhaus schnell zum Anziehungspunkt für die Dichter der schwäbischen Romantik und weiterer namhafter Persönlichkeiten des 19. Jahrhunderts. Als Kerner starb, übernahm sein Sohn Theobald das Haus. Nach dessen Ableben verkaufte die Witwe 1907 das Anwesen an den 1905 gegründeten Justinus-Kerner-Verein, der es ein Jahr später der Öffentlichkeit zugänglich machte und seither bis heute leitet und betreut. In den Jahren 1985/86 wurden aus Anlass von Justinus Kerners 200. Geburtstag umfangreiche Renovierungsarbeiten durchgeführt mit dem Ziel, einen authentischen und auratischen Gedächtnisort zu erhalten.