Ekkor Benedeket egy másik, szintén pap nagybátyja vette pártfogásába. Az ő támogatásával két karthauzi kolostorba is jelentkezett, de visszautasították, mivel nem találták kielégítőnek a képzettségét. Később még több kudarc érte. Számos próbálkozás után 1769-ben a Moulins közelében levő Sept-Fonds-ban végre felvették a trappisták noviciátusába.
Néhány hónap elteltével súlyosan megbetegedett, ezért 1770-ben el kellett hagynia a noviciátust. Lassanként ráébredt, egészen egyéni hivatása van: belépett a ferences harmadrendbe, és nincstelen zarándokként bolyongott Európa útjain, kegyhelytől kegyhelyig, nem tartozva sem kolostorhoz, sem remeteséghez. Elutasított minden lehetőséget, hogy bárhol letelepedjen. Ez a fajta Istennek szentelt vándorló élet nem volt ismeretlen az egyházban, de csak kevesek hivatása volt.
Benedek járt Rómában, Loretóban, Assisiben, Nápolyban, Bariban, Einsiedelnben, Paray-le-Monialban, Santiago de Compostelában. Mindenhova gyalog ment, mindig csak csekély alamizsnát fogadott el, hogy éhen ne haljon, és meg ne fagyjon. 1783. április 16-án, nagyszerdán összeesett Rómában. Bevitték egy közeli házba, s ott estére meghalt.
XVI. Benedek 2012. április 16-án, nyolcvanötödik születésnapján az egyik kedves szentjeként emlegette Labre Benedek Józsefet: „Európai szent volt, akinek az volt a jellegzetessége, hogy semmi mást nem akart tenni, mint imádkozni, és tanúságot tenni arról, ami az életben fontos, vagyis Istenről – hangsúlyozta a zarándok szentről szólva a pápa. – Nem követésre buzdító példakép, inkább olyan ujj, amely a lényegesre mutat rá: életünkben elegendő Isten jelenléte, ugyanakkor aki megnyílik Istennek, az nem idegenedik el az emberektől. Testvérekre talál, mert Istenben lehullanak a korlátok.”
