Hamarosan ismert tanítóvá vált. Elöljárója nemcsak testvéreket, hanem magas rangú látogatókat is küldött hozzá, hogy lelki tanácsot kérjenek tőle. A kolostorban az a hír kelt szárnyra, hogy Maleinasz Atanázt szeretné utódjának. Ő azonban az Athoszra menekült a tisztség elől.
Már akkoriban is voltak a szent hegyen szerzetesek, de szervezetlenül, szétszórva éltek, és nem volt regulájuk. Atanáz álnéven csatlakozott egyikükhöz, de nem sokáig rejtőzködhetett. Amikor Leo Phokasz bizánci hadvezér a szkítákon aratott nagy győzelme (958–959) után az Athosz-hegyre zarándokolt, hogy győzelméért hálát adjon Istennek, felismerte a rejtőzködőt, így Atanáznak vissza kellett térnie Küminaszba.
Megint áramlani kezdtek hozzá az emberek, s ő ismét kerülni akarta ezt. Athosz sűrű erdeibe menekült, ahol azonban saját bőrén tapasztalta meg a magány, a teljes remeteélet veszélyeit. Letörtté vált, és arra érzett kísértést, hogy mindent feladjon. Vergődése egy teljes évig tartott, végül felismerte, hogy a világtól elvonult szerzeteseknek is szükségük van a közösségre.
Niképhorosz Phokasz későbbi keletrómai császár, aki régi tisztelője volt, a szükséges pénzzel ellátva megbízta Atanázt és néhány társát, hogy építsenek kolostort és templomot az Athoszon.
Az építkezés 962 vége felé elkezdődött, és gyorsan haladt. A templom hamarosan elkészült, és két kis oratóriumot is illesztettek hozzá. Körülötte cellák, malmok, konyha, refektórium, kórház, vendégotthon és fürdő épült a betegek számára. Gyorsan nőtt a szerzetesek közössége, a hegyen régóta élők közül is sokan csatlakoztak.
969-ben Niképhorosz Phokaszt megölték. A trónon gyilkosa, Jóannész Tzimiszkész követte. Ugyanekkor az Athoszon vita robbant ki. A szerzetesi élet két különböző eszménye, a magányos remeteség és a közösségi élet került szembe. „Atanáz a világot hozta fel az Athoszra” – vélték sokan. Atanáz regulájának középpontjában a közösség állt. Számára a közösség ekklészia, amely nem más, mint Krisztus testének egysége. A vita idővel csillapodott, és Atanáz haláláig, 1002-ig a hegyen maradt.
