Ekkor már nem lehetett államosítani, ezért az akkori rektor, Hajós József székesfehérvári kanonok hathatós segítségével egyik napról a másikra kipakolták az egész intézményt a romos, volt zárdaépület egy részébe. Elképzelhető, mennyi műérték (kép, szobor, könyv) ment tönkre a kincstári kilakoltatás során. A hatalmas épület honvédségi egészségügyi központ, valamint a városi és kertvárosi hadseregcsoport parancsnokságának székhelye lett. Minthogy a bazilika közelsége – a zarándokok tömegei, a gyakori harangzúgás – nem tett jót a kadétok szocialista nevelésének, 1956 után az intézmény a környék szovjet katonai egységeinek főparancsnoksága, kórháza és kultúrközpont lett. A szovjetek nem sokat törődtek az épület állagával, az folyamatosan romlott. A beázások, a szakszerűtlenül készített, illetve javított víz- és csatornavezetékektől helyrehozhatatlan károkat szenvedtek az emeleteket elválasztó hatalmas fagerendák. Az épület lakói nem voltak gazdái a háznak: ha egy helyiség használhatatlanná vált, egyszerűen odébb hurcolkodtak. A visszaadást (1991-ben) a szovjet katonai megbízottak szerették volna közvetlenül az érsekséggel intézni, de – ezúttal helyesen – közbelépett a magyar Honvédelmi Minisztérium: egyrészt, mert ők adták át az épületet a szovjeteknek, másrész, mert az épületet rendbe is kellett hozatni. A kártérítés összegének megtérítésében már nem voltak korrektek. Csak annyit fizettek (mintegy 410 millió forintot), amennyibe az elvétel állapotának visszaállítása került volna. Nem számoltak a tető- és födémcserékkel. Ezt a Honvédelmi Minisztérium fizette. Nem számoltak semmit a negyven évig tartó lakbérrel. Ebből az összegből vette meg az érsekség a lelakott Volán Szállót, és alakította át szemináriummá, a teológiai oktatás pedig a Bibliothékában folyt.
A Nagyszeminárium ügye sokáig vajúdott: az biztos volt, hogy nem lehet modern követelményeknek megfelelő szemináriummá átalakítani. Külső befektetni szándékozók egymás után visszaléptek. Szállodának is alkalmatlan volt. Erdő Péterre várt a határozott döntés és pénzszerzés felelőssége és terhe. 2006. szeptember 2-án áldotta meg a teljesen felújított objektumot a főpásztor. A korábban csak a papnevelést szolgáló épületen ma több intézmény jelenlétéről árulkodnak a táblák. Itt működik a Szent Adalbert Lelkiségi és Zarándok Központ, a Teológiai Főiskola, a Szlavisztikai Kutató Központ, a Keresztény Múzeum Új Galériája, és legújabban a Pázmány Péter Katolikus Egyetem Informatikai Karának előadótermei.
