Nem mondták, mert ők sem tudták, hiszen úgy kellett a régészeknek feltárni. Egy beszámoló szerint a XVIII. század elején még viszonylagos épségben álltak itt egy épület és egy templom romjai. Erről tanúskodik a hódoltságot követően, 1721-ben Bohuss Imre pécsi kanonok vezetésével tett első egyházlátogatás tapasztalata: „A falun kívül, kelet felé egy puskalövésnyire a hegy tetején látható egy nagyszerű épület, hatalmas templommal, amelyet a mohácsi vész után a törökök elpusztítottak. A nagy és ékes szentélynek megvannak még a faragott kövekből készült falai, ugyanígy ablakai is. A sekrestye észak felé néz, teljesen romokban. A templom hajóját oszlopok három részre osztották, oldalt kápolnákkal, faragott kövekből készült boltívekkel, melyek elválasztották a hajótól. A templom hajójában oldalt oltárok voltak, amelyeknek nyomai még láthatók. Két ajtó volt a templomon: az egyik nyugatról a templomba, a másik északról a kápolnába vezetett.”
A középkori romok kutatása, melyet G. Sándor Mária és Gerő Győző régészek végeztek, 1974-ben kezdődött, és 1980-ban fejeződött be. Az ásatás során először egy háromhajós, XIV. századi templomot, az előtte álló négyzetes alaprajzú tornyot és az együttest befoglaló körítőfal maradványait tárták fel. Megállapították, hogy a XIV. századi templom padlószintje alatt és a déli mellékhajó keleti végén kívül egy nagyobb méretû, XI-XII. századi épület állt. Alaprajzát a későbbi középkori és török időkben történt átépítések miatt pontosan nem lehetett megállapítani. A gótikus templom szentélyének falmaradványaiból például a törökök dzsámit alakítottak ki, és a templomhajó területén is több hódoltság kori épület maradványa került elő. A romterület melletti, déli irányban fekvő lankás részen még napjainkban is sok cserép- és egyéb töredéket vet ki szántáskor a föld. Feltételezhetően itt állhattak a vár szolgálónépeinek egykori lakóházai. Azt is feltételezik, hogy a XI-XII. századi nagyobb épületmaradványok arra utalnak, hogy az angol hercegek lakóhelye inkább itt, a Schlossbergen lehetett, és nem az Óbányai-völgyben levő Rékavárban. S akkor ez a hely lehetett Skóciai Szent Margit szülőhelye. Lehetett, hisz biztosat ma sem tudunk.
