Tehetős görög–szír családba született. Édesapja, aki magas rangú császári katonatiszt volt, korán meghalt. János tizennyolc éves korában keresztelkedett meg. Nem sokkal retorikai és filozófiai tanulmányai után lemondott a világi karrierről, és visszavonult a rétorságtól. El akart menni a pusztába, a remeték közé, de édesanyja visszatartotta ettől. Így aztán a város kapujának közelében bérelt lakást, hogy aszketikus életet éljen, és a Szentírás tanulmányozásának szentelje magát.
Egy idő után édesanyja tiltakozása ellenére kivonult a hegyek közé, hogy ott kemény vezeklés és virrasztás közepette szolgáljon az Úrnak. Miután a szerzetesi élet próbáját kiállta, a missziós tevékenység felé fordult. Visszatért Antiochiába, ahol az öreg Szent Meletiosz püspök 380-ban diakónussá szentelte. Ekkor 34 éves lehetett. Tizenkét éven át prédikált, állandóan szem előtt tartva a célt, hogy a pogány erkölcsöktől és az ünnepek szenvedélyétől megszabadítsa az embereket. Született szónok volt. Szemléletesen beszélt, és ha kellett, marón gúnyos is tudott lenni. Híre hamarosan eljutott a birodalom fővárosába, Konstantinápolyba is. 397-ben meghalt Nektariosz, a pompakedvelő konstantinápolyi püspök. Eutropiosz, a császár nagy hatalmú minisztere úgy látta, hogy János lesz a legalkalmasabb utód. Kiválasztásával azt akarták elérni, hogy a császári udvar fénye és híre növekedjék – ám ő megújulást akart vinni a fővárosba. A püspöki udvartartást megszabadította a fényűzéstől. Különös gondja volt a szegényekre és a szerencsétlenekre. Tiltakozott az uralkodó réteg fényűzése miatt, ezáltal maga ellen ingerelte a császári udvarnál leginkább befolyásos köröket.
A papság és a püspökök is támadni kezdték. 403-ban, az úgynevezett Tölgyfa-zsinaton a püspököt megfosztották hivatalától, és számkivetésbe kellett mennie. Ám a nép általános fölháborodása miatt a hatalom a zsinati végzés felülvizsgálatára kényszerült. János újra elfoglalta hivatalát, de nem sokkal később ismét letartóztatták.
Az örmény határ közelében fekvő, Kukuszosz nevű városba száműzték. Bár egészségi állapota leromlott, amerre csak ment, mindenütt hirdette az evangéliumot. Emiatt a császári hatóságok még inkább felbőszültek ellene, és úgy határoztak, hogy távolabbra, egészen a Fekete-tenger keleti partjára száműzik. Közvetlenül halála előtt érkezett meg Komanába, ahol az emberek nagy szeretettel fogadták. Alig indult ismét útnak, öt kilométer megtétele után összeesett. Bevitték egy kápolnába, ahol még egyszer magához vette az Eucharisztiát. Ezek voltak az utolsó szavai: „Hála legyen Istennek mindenért. Ámen.”
Számos szentbeszéde, bibliamagyarázata és levele maradt ránk. A keleti egyházatyák közül ő a hellenizmustól leginkább független gondolkodó. Nagy hatással volt a liturgiára is – a keleti katolikus és ortodox egyházak (a bizánci rítusban) a mai napig használják az Aranyszájú Szent János-liturgiát.
