Az Ernst Múzeumhoz közeli háromemeletes, szecessziós bérházat Ernst Mór lisztnagykereskedő, Ernst Lajos műgyűjtő édesapja építtette 1906-ban. Tervezője ugyanaz a századfordulón híressé vált építész, aki később az Ernst Lajos által alapított múzeumot is tervezte.

Ernst Mór – mint a XIX. század második felének meggazdagodott iparosai és kereskedői általában – három gyermeke, Sándor, Paula és Lajos jövőjét a kereskedelmi tevékenység mellett ingatlanbefektetésekkel is igyekezett megalapozni. 1877 és 1914 között kilenc telket vásárolt. Az üres telkeken két- és háromemeletes bérházakat épített, egy részüket megtartotta, és a gyermekeire hagyta, a többit viszont eladta.  Az első bérházat 1889-ben, az Üllői út 57. alatt, a Páva utca sarkán építette fel, ettől kezdve a család itt lakott. Az 1892-ben felépített, Üllői út 53/A-B alatti háromemeletes bérházait 1901-ben Lajos fiának és menyének, Ekler Elzának ajándékozta, házasságkötésük alkalmából. Így ők továbbra is a család közelében laktak, Ernst Lajos műgyűjteményét – melynek létrejöttét édesapja vagyona tette lehetővé – az Ernst Múzeum felépüléséig itt őrizték.

Az Akácfa utca 59. szám alatti bérház is a család tulajdonában maradt egy ideig. Kisfaludy Strobl Zsigmond életrajzában azt írta, hogy 1908-ban Ernst Lajos támogatásával jutott a benne lévő műteremhez.