A község első temploma valószínűleg a XIII. században épült. Abban az időben már plébániája is volt a falunak. A XV. században a mai templomépület az átalakítások következtében „csaknem teljesen elveszítette eredeti alakját.” Megmaradt viszont eredeti helyén, a régi hajó déli falrészében a portálé. Ez a templom legértékesebb része. Pontosabban a portálé hornyos és csavaros pálcatagokkal díszített rovásírásos kőgerendája és szamárhátíves timpanonja, amely sötétkék alapon egy középkori freskómaradványt rejteget.
A portálé timpanonját és a kapu felső részét elválasztó díszített kőgerendába vésett írásról először Püspöki Nagy Pétertől hallottam, s az ő írása után utaztam el ide, hogy lefényképezzem a kőbe vésett, rovott betűket. Erről már a múlt században is publikáltak néhány tanulmányt. Ezek a Magyar Sionban jelentek meg. Az 1865-ös számokban közölt dolgozatokban többek közt azt feltételezték, hogy valamiféle XV. századi szláv feliratról van szó. A téves feltevéseket Rómer Flóris cáfolta meg, aki a lapban közölt „fametszetvény” alapján állította, hogy a szöveg magyar; olvasata szerint az 1485-ös évszámot és az akkori lelkész, IACO(BP)LEBANUS nevét tartalmazza. Több mai leírásban is ezt a dátumot fogadják el, mint a templomépítés pontos időpontját. Püspöki Nagy Péter történész viszont már 1968-ban közölte a rovásírásra vonatkozó tudományos kutatómunkájának eredményét. Eszerint a kőgerendán az építés dátuma s kilenc egyéb rovásjel látható. A szöveg pedig, melyet a kutató megfejtett, így hangzik: „1482. Kűrakó János mester.” Püspöki Nagy Péter szerint a késő gótikus kőportálé felirata „jelenleg a magyar rovásírás legrégibb, pontosan datált, hiteles emléke. (…) Jelentőségében felülmúlja az eddig nyilvántartott feliratok értékét.”
Előkerült újabban egy másik rovásírásemlék is Felsőszemeréden. 1987-ben a fából készített tetőszerkezetet javították, s a szentély felett, egy szarufához erősített fémkereszten figyelt fel Snírer János a furcsa jelekre. A felirat hét jelből és tizenkilenc pontból áll. Megfejtését Tipary László közölte, mely szerint a rovásírás olvasata a következő: „SZENTSÉGES HELY, SZERÉNY, DICSÉR E FELÍRÁS. 1482.” Csáky Károly írja a templommal kapcsolatos javításokról és átalakításokról, akárcsak annak berendezéseiről egyébként sokat olvashatunk a Fábián János, Viszolajszky Károly tudós plébánosok és mások által vezetett alsószemerédi Historia Domusban is. 1876-ban például ezt jegyzeték be ide: „Szeptember hónap végével készült el a felső szemerédi templom javítása, hol egészen új stuckaturest csináltattam, s világos sárgás színre bemeszeltettem belülről. Kívül csak fehérre lett egészen meszelve.” Azt is megemlítette Viszolajszky Károly plébános, hogy a templom ezen alkalommal „több jótéteményben részesült”. 1877-ben a templom tetejét zsindelyeztette be a plébános, 1888-ban pedig ezt írta a plébániatörténetbe: „Ez év május 23-án kezdtünk Isten segítségével hozzá a felsőszemerédi templom megnagyobbításához, melyet 8 méterrel hosszabbítottunk meg az országút felé. A régi templom igen szűk és kicsiny volt a hívek befogadására.” A mai templom egyhajós, egyenes záródású szentéllyel, sima mennyezetét 1935-ben kapta. A külső átalakítások során az épület barokk-klasszicista jellegűvé vált.
