Az ifjú Hilárion, miután pogány szülei Alexandriába küldték tanulni, kapcsolatba került a kereszténységgel. Tizenöt évesen, 306-ban megkeresztelkedése után csatlakozott Remete Szent Antalhoz Egyiptomban. Nemsokára visszatért hazájába, ahol örökségét szétosztotta a szegények között, majd elindult a Gáza kikötővárosa, Majuma melletti homokdűnékhez. Itt imádsággal és a Szentírás olvasásával, böjttel, vezekléssel és kemény munkával teltek napjai.
Huszonkét évig élt remeteként pusztai tanyáján. Híre elterjedt az egész környéken, sokan felkeresték mint tanácsadót és csodatevőt. Legendája számos gyógyulásról szól.
Életmódját mind többen követték Dél-Palesztinában. Hilárion évente egyszer felkereste remetetestvéreit, imádkozott velük és oktatta őket. Időközben Elusza városában megalapította az első keresztény közösséget.
Mire hatvanéves lett, nagy kolostor és számos remeteség jött létre Gáza környékén, s minden égtáj felől áramlottak hozzá az emberek. Mélységes vágy fogta el korai éveinek magányossága után, és attól is tartott, hogy a felé áramló tisztelet miatt elveszti szerzetesi életének gyümölcsét.
Két év múlva sikerült elhagynia Palesztinát, megkezdődött vándorélete. Először néhány hitvallót keresett fel egyiptomi száműzetésükben, majd a 356-ban elhunyt Antal „hegyére” ment, és felkereste a szent életének helyszíneit. Ezután remetetestvéreit elhagyva megkísérelt a pusztába vonulni. Ám hiába, egyik esőcsodája után újból elhalmozták tisztelettel. Ez elől kitérve Alexandria szélén, egy kis kolostorban talált búvóhelyet.
Gáza többségében pogány lakói már régóta nyugtalansággal szemlélték az eleven keresztény élet kibontakozását Dél-Palesztinában, és hitehagyott Iulianus császár (361–363) idején véget vetettek ennek. A kolostortelepet a földdel tették egyenlővé, a szerzeteseket megölték vagy elűzték, és Hilárion nyomába eredtek. A remete a Líbiai-sivatagban egy oázisban talált menedéket, majd amikor új, keresztény császár lépett trónra, Szicíliába ment.
Itt sem lelt tartós nyugalomra, kedvelt tanítványa, Hészükhiosz rátalált. Hilárion ezért előbb a dalmáciai Epidauruszba, majd Ciprus szigetére távozott, ahol egy gyümölcsöskertben telepedett le, élete utolsó öt évét már viszonylagos békében töltötte.
371-ben, nyolcvanéves korában, halálát közel érezve az ifjúkorában általa másolt evangélium kéziratát, valamint tunikáját, kukulláját (csuklyás szerzetesi köntös) és köpenyét Hészükhioszra hagyta. Ezután békében meghalt, kívánságára a kertjében temették el. Nemsokára azonban szeretett tanítványa Majumába vitte holttestét, és a régi kolostor helyén helyezte nyugalomra.
Hilárion utolsó szavai legendája szerint ezek voltak: „Távozz, mitől félsz? Távozz, lelkem, miért késlekedsz még? Csaknem hetven évig szolgáltál Krisztusnak, és még félni mersz a haláltól?”
