Gazdag thébai családból származott, kiváló képzésben részesült, jól ismerte a görög és egyiptomi irodalmat. A hagyomány szerint tizenhat évesen elvesztette szüleit, és egyedüli örökösként – nővére már férjnél volt – nagy vagyon birtokosa lett.
249-ben kitört a Decius-féle keresztényüldözés. Az ifjú Pál a vértanúk mellett olyan keresztényekkel is találkozott, akik – megtörve a kínzásoktól – megtagadták hitüket. Talán ő sem érezte magát elég erősnek a vértanúsághoz. Vidéki házába húzódott, mivel félt sógorától, hogy feljelenti a római hatóságoknál. Ez valóban meg is történt, és Pálnak menekülnie kellett. Alsó-Théba pusztaságában egy barlangra talált, amely tökéletes búvóhelynek bizonyult: bejárata rejtve volt, közelében datolyapálmák nőttek, és egy tiszta vizű forrás is volt mellette.
Itt úgy döntött, teljesen Istennek szenteli életét, és többé nem tér vissza a világba. A legenda szerint a pálmafák leveleiből készített magának ruhát, és mindennap egy holló vitt neki fél cipót.
Ő az első név szerint ismert remete. Valójában keveset tudunk életéről, de ismerve a remeték életmódját, feltételezhetjük, hogy Pál körül kialakult egy laza közösség. Nem éltek szabályozott közösségi életet, talán csak az istentiszteletre gyűltek össze.
Életének legismertebb jelenete, amikor meglátogatta Remete Szent Antal, aki égi szózatot hallott, amely figyelmeztette: nem ő a legidősebb, legszentebb remete, hanem Pál. A kilencvenéves Antal többnapi vándorlás után megtalálta barlangjában a száztizenhárom esztendős Pált. Együtt dicsőítették Istent, elmélkedtek, beszélgettek. Közben megérkezett a holló, aki ezúttal nem fél, hanem egy egész cipót hozott. Hálát adtak Istennek, aki így gondoskodik szolgáiról.
Az átimádkozott éjszaka után Pál kérte Antalt, hozza el neki Szent Atanáz püspöktől kapott köpenyét. Antal sietve útra kelt, de amikor visszafelé tartott, érezte, hogy Pál meghalt. A legenda szerint látta a lelkét, amint angyalok, próféták és szentek kísérik a mennybe.
Sietve tette meg a hátralévő utat. Pált térdelve, ég felé emelt karokkal, holtan találta. Beburkolta testét Szent Atanáz köpenyébe, pálmalevélből készített ruháját pedig megtartotta (ettől kezdve a legnagyobb ünnepeken mindig azt hordta), majd a szent testét eltemette abba a mélyedésbe, amelyet két váratlanul megjelenő oroszlán kapart ki.
Később Antal tanítványai, az első szerzetesek kegyelettel zarándokoltak el minden remete fejedelmének és mesterének barlangjához s egyben sírjához, hogy ott tegyenek fogadalmat.
