Munkáscsaládban született, egy kis tiroli faluban. A középiskolát Hallban, a ferences gimnáziumban végezte. Az I. világháború során besorozták, és az osztrák frontra vezényelték. 1916 áprilisában megsebesült – hősies helytállásáért később kitüntették. 1918-ban hadifogolyként Riva del Gardába internálták, ahonnan 1919 augusztusában tért haza.
Otthon egy rokona révén megismerkedett a Mária Társaságával, és 1920-ban belépett a rendbe. Grazban a teológiai tanulmányok mellett tanárként és sekrestyésként szolgált. Az örökfogadalom letétele után, 1925-től Svájcban, Fribourgban tanult tovább, a rend nemzetközi szemináriumában. 1930-ban szentelték pappá.
Hazatért Ausztriába, ahol Freistadtban, Lanzenkirchenben, majd Grazban, a társaság iskoláiban volt tanár, illetve lelkipásztorként is szolgált. A gazdasági válság idején mindent megtett, hogy segítsen a munkanélküliség és szegénység miatt szenvedőkön. Élelmiszert gyűjtött a rászorulóknak, és télen nem fűtötte a szobáját, hogy a fűtőanyagot odaadhassa a családoknak.
A náci ideológia előretörésével az iskolában és prédikációiban is nyíltan beszélt arról, hogy az összeegyeztethetetlen a keresztény értékekkel. A német megszállás után kénytelen volt elhagyni Grazot. Néhány hónap elteltével Freistadtból is mennie kellett, elöljárói Tirolba küldték. Káplánként szolgált, de alig két hónappal később a Gestapo megtiltotta számára a papi hivatás gyakorlását. Ám ő továbbra is fölszólalt a náci ideológia ellen, és hirdette: a szeretet parancsa származástól és vallási hovatartozástól függetlenül minden emberre vonatkozik. 1938. december 11-én szülőfalujában arra buzdította az embereket, hogy a propagandák helyett olvassanak keresztény irodalmat. Valószínűleg följelentették; néhányan szóltak neki, hogy meneküljön. Elöljárói segítségével átjutott a határon.
Bordeaux-ban lelkipásztorként és könyvtárosként szolgált, de 1939 májusában újra menekülnie kellett. Spanyolországban San Sebastiánban, Cádizban és Valenciában dolgozott, a társaság intézményeiben. A Gestapo ügynökei azóta követték, hogy elhagyta Ausztriát. Amikor már nem álltak mellette támogatók, csapdát állítottak. Két férfi fölkereste azzal, hogy Berlinből menekült zsidók, és szeretnének megkeresztelkedni. Miután elnyerték a bizalmát, meghívták egy utazásra. A francia határ közelében elrabolták, Franciaországban pedig letartóztatták, majd Németországba vitték. Berlinben 1943. július 2-án halálra ítélték, a bírósági döntést néhány héttel később hajtották végre. Jakob Gapp testét az anatómiai intézetbe szállították tanulmányozásra, majd megsemmisítették.
