1942-ben kinevezték a Szatmári egyházmegye püspökévé, majd nagyváradi apostoli kormányzóvá. 1948-tól az újraegyesített Szatmár–nagyváradi egyházmegye közös püspöke lett. Aromán kormány ugyanabban az évben felmondta a Szentszékkel kötött konkordátumot, az új állami kultusztörvény pedig megszüntette a Szatmár–nagyváradi egyházmegyét. A püspököt a kormány nyugdíjassá nyilvánította. Scheffler János titokban megszervezte a kispapok úgynevezett földalatti teológiai oktatását. 1949-ben letartóztatták titkárát és püspöki tanácsosát, a titokban püspökké szentelt Bogdánffy Szilárdot, fél évvel később pedig általános helynökét, Pakocs Károlyt. 1950-ben őt is kényszerlakhelyre vitték, Körösbányára. A román kommunista hatalom őt nézte ki a Rómától függetleníteni akart, Erdélyben egyedülinek elismert egyházmegye vezetésére, Márton Áron helyére.
Az állami érdekeket kiszolgáló, bábként irányított püspököt akartak. Scheffler János nem vállalta a neki szánt szerepet, ezért letartóztatták, és 1952-ben fél évig a bukaresti belügyminisztériumban tartották fogva. Onnan szállították át Jilava föld alatti börtönébe. Koncepciós pert kezdeményeztek ellene, de a tárgyalására már nem kerülhetett sor, mert a kínzások és a börtön embertelen körülményei miatt 1952. december 6- án meghalt. Ezek voltak csendes nyugalommal kiejtett utolsó szavai: „Ibi vacabimus…”, azaz „Ott időzünk…” Cellatársa, Dan Mizrahy zsidó származású zeneszerző negyven év múltán is pontosan tudta idézni Szent Ágoston latinul írt sorait, a püspök kedvelt gondolatát, amelyre megtanította, s amelyet meg is magyarázott neki: „Ott időzünk és látunk majd, látunk és szeretünk, szeretünk és dicsőítünk. Íme, mi lesz végül vég nélkül. Mert mi más a mi végcélunk, ha nem eljutni az országba, melynek nincs vége?”
