Az 1961-es Regnum-perben „a népi demokratikus államrend megdöntésére irányuló szervezkedésben való tevékeny részvétel bűntettében” bűnösnek találva két év börtönre ítélték, ám az 1963-as amnesztia miatt néhány hónappal korábban szabadult. 1964. december 8-án azonban ismét letartóztatták, és az 1965-ös Regnum-perben négy év börtönbüntetést kapott.
Rabtársától, Lénárd Ödön atyától hallott először a Jézus Kistestvérei szerzetesrendről. Szabadulása után nyilvánosan nemigen vállalt papi funkciót, a munkásemberek egyszerű életét élte, volt rovarirtó és kazánfűtő. Olaszországi mestere útmutatásai alapján készült a szerzetesi életre, és megtanult franciául. 1980-ban titokban tett életre szóló szerzetesi fogadalmat, és tagja lett a Charles de Foucauld (1858–1916) atya lelkisége nyomán létrejött szerzetesrendnek.
1968 óta egy római dekrétum így írja le a Jézus Kistestvérei szerzetesrend hivatását: „Követvén Jézus alázatos és rejtett példáját, célját és annak megvalósítását a szemlélődő életben találja, melynek jellemzője Krisztus imádása az Oltáriszentségben, az evangéliumi szegénység gyakorlása, a kétkezi munka és a tényleges osztozás azoknak a szociális helyzetében, akiknek nincs nevük és befolyásuk a társadalomban.”
A rendnek a világban harminc nemzetből kétszáznegyven tagja van, két-három-négy fős közösségekben élnek, amelyeket fraternitásoknak neveznek. A fraternitások célja Jézus útját járni. Nemcsak követni a názáreti Jézust a munkában és szolid szociális helyzetben, hanem a hiteles osztozás által Jézussal megváltóvá válni.” „A kistestvérek az emberek között élnek, nem azért, hogy pásztoraik és vezetőik legyenek, hanem hogy egyszerűen testvéreikké váljanak” – fogalmaz a rend szabályzata.
Amikor a hetvenes évek közepétől az elnyomás már enyhülni látszik, Hagyó József a fogyatékosok, valamint a Hit és Fény közösség felé fordul. Velük nem törődik a hatalom. Szülei halála után 1988-ban Biatorbágyra költözik, és Jean Vanier Bárka közössége mintájára alapozza meg a fogyatékkal élők nappali ellátását a biatorbágyi Táncsics utcai foglalkoztatóban.
„A kerámiatárgyak készítésével sikerül megtalálni az utat… sérült barátaink kreatív tevékenységükkel a föld anyagából szép és használható tárgyakat készítenek, miközben személyes fejlődésük napról napra tapasztalható változáson megy keresztül” – írja Hagyó József. Lugossy Istvánnak a kerámiaműhelyről készült Hit és fény című egyórás riportfilmjéből sokan megismerhették, milyen gonddal és örömmel dolgoznak a sérültek a kerámiatárgyak elkészítésén.
Hagyó József rendszeresen fordította Charles de Foucauld, Jean Vanier és René Voillaume írásait, valamint szerzetesi közössége francia nyelvű kiadványait. Dolgozott a kerámiaműhelyben, a fizikai munkától a lelkigondozásig vállalt mindent, amit kellett. Kisgyermekes családok számára rendszeresen mutatott be szentmisét, élő kapcsolatot tartott a családokkal. Kicsinyek és nagyok jártak hozzá lelki beszélgetésre és szentgyónásra. Sokan szinte családtagként kötődtek hozzá.
2013-ban veszélybe került a műhely, mert a munkáltató bezárta a biatorbágyi telephelyet. Kérésére ekkor karolta fel a műhelyt Kozma Imre atya és a Magyar Máltai Szeretetszolgálat Közép-magyarországi Régiójának vezetése. A munka Pátyon, a szeretetszolgálattól kapott házban folytatódott, ahol a fogyatékkal élők biztos munkahelyre és nyugalomra találtak. A pátyi műhelyben még a halála előtt egy héttel is együtt dolgozott a sérültekkel.
2000-től a biatorbágyi Gizella Otthonban lakott, az öregeket sorstársainak, barátainak tekintette. Alapító tagja volt a biatorbágyi Pászti Miklós vegyes kórusnak. Egy breton Szent Anna-ének nyersfordítását is elkészítette. A szöveget Palovics Lajos versbe szedte, így egy újabb darabbal gyarapodott a Bián énekelt Szent Anna-énekek sora.
A helyi társadalmi és kulturális életben való részvételéért Hagyó József 2005-ben Dévay Gyula Közművelődési Díjban részesült Biatorbágyon. A Mindszenty Társaság 2006-ban Mindszenty-emlékéremmel tüntette ki. Pest Megye Önkormányzatától 2007-ben A szegényekért és az elesettekért díjat vehette át. 2013-ban lakóhelye Biatorbágy városért életműdíjjal ismerte el munkásságát.
A hamvait tartalmazó urnát a gyászmise után a józsefvárosi Szent József-templomban helyezték el. A temetés utáni agapén, aki akart, magával vihetett egy-egy példányt Hagyó József saját fordításában és kiadásában megjelent két könyvből. Az egyik Charles Lepetit írói álnevű rendtársa Párosan szép – Charles de Foucauld című kötete, a másik pedig a Jézus kistestvérei a világ szívében – A testvériség levelei 1960 és 2002 között című válogatás volt. Ez utóbbi kötetben a rend tagjai számolnak be a nagy nyilvánosságnak azokról az élethelyzetekről, kulturális és vallási körülményekről, amelyet ugyanannak a hivatásnak az egységében éltek meg.
Hagyó József halálával a rend férfiága megszűnt Magyar országon, a női ág azonban továbbra is jelen van a Ferencvárosban.
