Na místě domu U Slona stávala chalupa branného Pražské (Dolejší) brány, která byla zbořena v polovině 19. století. Roku 1824 prodala obec stavení s pozemkem zámečníku Františku Roškotovi, který si tu postavil nový dům. Z této doby je empírová fasáda i neobvyklé znamení U Elefanta. Zachovány zůstaly gotické sklepy. Součástí domu je část hradební zdi, na zasypaném městském příkopu vznikla zahrádka.
Od roku 1840 patřil L.Erbenovi, o deset let později rodině Zemkově. Pak se tu říkalo U Jandů podle hostince, který navštěvoval např. básník Adolf Heyduk. V té době to však nebyla poslední budova v Karlově ulici (dnešní název). Stál zde ještě dům číslo 4, který byl roku 1904 srovnán se zemí při rozšiřování nábřeží.
Po druhé světové válce dům U Slona chátral, v roce 1958 se částečně zřítila klenba v prvním patře.
Roku 1982 ho od města Písku koupil historik umění Jaromír Stach Černín, který pocházel ze starobylého rodu Stachů z Červeného Hrádku.
V roce 1997 došlo v souvislosti s různými úpravami v okolí k narušení statiky, své stopy tu zanechaly i povodně. V přízemí domu jsou obchody, např. pekařství.
Současný majitel se snaží o rekonstrukci domu. V rozhovoru pro Písecký deník říká: „Chtěl bych, aby dům sloužil veřejnosti.“ Proto také byl založen Spolek přátel domu U Slona.
+
+
+
+
Pozůstatek gotického opevnění města, příkop chránící původně vnější parkánovou hradbu, prostor parkánu je využíván jako zahrada.
Záměrem je vytvořit zde místo pro příjemné posezení a konání nejrůznějších společenských a kulturních akcí a zároveň výtěžky z nich použít pro nutné opravy domu.
Dýchne tu na nás kouzlo starých časů, kdy do vyhlášené hospody U Jandů chodíval básník Adolf Heyduk. Uslyšíme šumění zlatonosné řeky Otavy a možná zavane i stříbrný vítr z časů Fráni Šrámka.