A trinitáriusok 1738 októberében telepedtek meg Óbudán, ekkor még csak ideiglenes otthonukban, az óbudai Fő tér közelében, a kastélytól délre. A bécsi tartományfőnök Johann Entzenhoffer bécsi építészt bízta meg a kolostor terveinek elkészítésével, aki azokat 1743 végén – 1744 elején terjesztette a rezidens elé. A kolostor építése 1745 májusában kezdődött a mai nyugati szárny alapozásával. Az építkezés mintegy 15 évig tartott. A kiscelli dombon elterülő barokk épületegyüttes látványában megőrizte egykori jellegét. A földszintes melléképületek karéjából emelkedik ki az egyemeletes kolostorépület a sekrestyével és az oratóriummal.
A Kiscelli Múzeum épülete
A trinitáriusok 1738-as letelepedésük után hamarosan általánosan megbecsült rendnek számítottak Óbudán. A fehér ruhát és mellükön vörös-kék keresztet viselő szerzetesek szükség esetén egyházi szolgálatot is elláttak. Kiscelli templomuk hamarosan kedvelt zarándokhely lett: évente mintegy ötvenezer ember kereste fel. Szeptember 8-án, Kisasszony napján mintegy tízezer zarándok látogatott ide az ország különböző vidékeiről. II. József 1782-es rendelete nyomán az addigra már meglehetősen népes kolostort is felszámolták. A templom és a rendház az állam tulajdonába került. A későbbiekben az épület kaszárnyaként, katonai korházként, hadastyánok laktanyájaként és katonai szerszámraktárként működött.
Az épület a XIX. század végén üresen, elhanyagoltan állt. Schmidt Miksa ismert bécsi bútorgyáros – akinek gyára és kiterjedt üzleti kapcsolatai voltak Budapesten – 1911-ben megvásárolta a kincstártól. 1935-ös végrendeletében az épületegyüttest a benne lévő ingóságokkal és a hozzá tartozó parkkal együtt a fővárosra hagyta azzal a kikötéssel, hogy múzeum legyen. A városatyák a Székesfővárosi Múzeumot jelölték ki az épület gazdájának.