Jómódú gazda fiaként született. 1833-ban szentelték pappá, majd Torinóba ment továbbtanulni. A janzenizmus, a szigorúság és az állam-egyháziság szelleme azonban, amely az érseki szemináriumban és az egyetemen uralkodott, nem volt kedvére. Szellemi és lelki otthonát az Assisi Szent Ferenc templománál levő papi konviktusban találta meg, ahol Szalézi Szent Ferenc lelkisége uralkodott.
József először az erkölcstan professzora lett, idővel pedig az intézet rektora. A papság nevelése mellett különös elhivatottsága volt a rabok felé. Egyedül és papjaival is buzgón látogatta a börtönöket. A halálraítéltekről való gondoskodása miatt sokan az „akasztófák papjának” nevezték. Hatvannyolc elítéltet kísért el utolsó útján, és olyan lelki támaszt nyújtott számukra, hogy Isten akaratában megnyugodva és kegyelmében bízva haltak meg. Gyakran mondta a vesztőhelyről visszatérőben: „Istennek hála, megint egy lélekkel több imádkozik értünk az égben.” Ha ezen csodálkoztak a környezetében lévők, így válaszolt: „Igen, biztosan sokat vétkeztek, de Isten nem becsüli-e nagyra bánatukat és töredelmes lelkületüket, amellyel halálukat gonosztetteikért való engesztelésül fogadták? A magam részéről meg vagyok győződve arról, hogy az ilyen ember számára nincs már tisztítótűz sem.”
Torinóban halt meg 1860-ban. Első életrajzírója Don Bosco volt. Így írt róla: „Hiszem, hogy még a szentek között is ritkán található olyan, aki személyében annyi bölcsességet, az emberi dolgokban annyi tapasztalatot, nagylelkűséget, erőslelkűséget, mértékletességet, az Isten dicsőségéért és a lelkek üdvösségéért való buzgóságot egyesít, mint amennyi Don Cafassóból sugárzik.”
