Gavosdiai Sváb Sándor (1859 – Bécs, 1912) 1883-ban építtette fel bérpalotáját az Andrássy út 21. szám alatt.  Feleségével, csetei Herzog Irén bárónővel (1867 – Budapest, 1959) mégsem itt, hanem felesége családjának palotájában, az Andrássy út 93. alatti Herczog - palotában élt haláláig. 1906-ban, ahogy annyi más, a XIX. század során meggazdagodott zsidó család, a palota mellé feleségével hatalmas erdőbirtokot is vásároltak nem nagyon messze Budapesttől, Diósjenőn (Pest megye), ahol később vadászkastélyt is építtettek. Az erdő szélén álló kastélyt a korszak egyik jelentős építésze, Fellner Sándor, a kastély parkját a kor legjelentősebb tájkertésze, Hein János tervezte.