Friedrich Hölderlin wurde von 1807 bis zu seinem Tod 1843 wegen seines labilen psychischen Zustands von dem Tübinger Schreinermeister Ernst Friedrich Zimmer (und später seiner Tochter Lotte) gepflegt. Er bewohnte die Kammer in einem ehemals zur mittelalterlichen Stadtbefestigung gehörenden Wehrturm, den Zimmer Anfang 1807 erworben hatte. 1875 brannte das mehrfach umgestaltete Gebäude bis zum Erdgeschoss ab. Auf den alten Grundmauern wurde ein Nachfolgerbau errichtet. 1921 erwarb die Stadt Tübingen das Haus, die 1954 das Erdgeschoss und den ersten Stock an die zwischenzeitlich gegründete Hölderlin-Gesellschaft übergab, die eine erste Ausstellung einrichtete. Nachdem 1978 auch das Turmzimmer zugänglich gemacht worden war, wurde das Gebäude 1983/84 grundlegend renoviert. 1985 öffnete die neue Dauerausstellung. Abermalige Sanierungsarbeiten ab 2017 machten die Einbeziehung eines weiteren Stockwerks und des Gartens möglich.
Bereits zu Lebzeiten Hölderlins reisten viele Schriftstellerkollegen nach Tübingen, um den als geisteskrank geltenden Dichter im Turm zu besuchen.
