Közben Tóth József 1960-tól 1980-ig hittanárként is tevékenykedett Bécsben, majd 1969-től 1971-ig egyetemi főlelkész volt az osztrák fővárosban. Ezután 1989-ig a Bécsi főegyházmegye papnevelő intézetének rektori feladatait látta el. 1987-ben inkardinálták a Bécsi főegyházmegyébe. 1989-ben kinevezték kanonoknak, és megbízták a papok lel ki vezetésével. 1990 és 2012 között Höbersdorf plébánosa volt – az ezzel járó kötelezettségeket kora és meggyengült egészségi állapota ellenére az utolsó időkig hűségesen és fáradhatatlanul vállalta. A bécsi Szent István-dóm préposti feladatát 1997 és 2007 között látta el. Sok éven át volt a Collegium Pázmáneum szemináriumi tanácsának tagja. 2009-ben XVI. Benedek pápa ruházta fel apostoli protonotáriusi címmel.
Személyét nagy tisztelet övezte, sokaknak életre szóló segítség volt emberséges, figyelmes, teológiailag nagyon képzett, odaadó és alázatos papi szolgálata, tanító-nevelő munkája. Mind a magyar, mind az osztrák hívek és papság nagy hálával emlékeznek rá.
Temetése augusztus 8-án volt a bécsi Szent István-dómban. A gyászmisét követően a dóm kanonoki kriptájában helyezték örök nyugalomra.
