Atyja Gilbert gróf, anyja Medici Margit, IV. Piusz pápa nővére. Károly gyermekkorától papnak készült. 1552-től a paviai egyetemen tanult. 1559-ben nagybátyja, Giovanni Angelo Medici lett a pápa, aki Rómába hívta őt és bátyját, Federicót.
Később bíboros lett, a milánói egyházmegye adminisztrátora, a Santa Maria Maggiore bazilika gyóntatója. Fontos szerepe volt a tridenti zsinat (1545–63) utolsó ülésszakának szervezésében, majd gyakorlati határozatainak megvalósításában. A pápa a jobb szemének nevezte; ő tekinthető az első szentszéki államtitkárnak.
Feddhetetlenül élt, de életének ebben a szakaszában fényes udvart, fogadásokat, vadászatokat és hangversenyeket tartott, kedvelte a humanista irodalmat. A művészetek támogatására alapította 1562-ben a Notti Vaticane akadémiát. Támogatta a keresztény Róma ókori emlékeinek kutatását is, Néri Szent Fülöppel együtt a keresztény régészet atyja lett.
Bátyja halála után rá maradt a családi vagyon, ami a világi boldogulás lehetőségeit csak növelte. Bár pápai felmentéssel meg is nősülhetett volna, épp ekkor szigorú, aszketikus életet kezdett, két jezsuita lelkivezetése alatt. Udvarát fölszámolta, teológiát tanult, a Notti Vaticanét jámbor társulattá alakította. 1563-ban pappá, majd püspökké szentelték, 1564-ben megkapta az érseki palliumot. Aszketikus gyakorlatait a pápa egy ideig ellenezte, majd élete utolsó éveiben maga is követte.
IV. Piusz halála után részt vett a konklávén, mely 1566-ban megválasztotta Szent V. Piusz pápát. Károly áttelepült Milánóba, egyházmegyéjét és a plébániai rendszert átszervezte. A tridenti zsinat szellemében átalakította a papnevelést is; a nagyszeminárium mellett gimnazisták számára kisszemináriumot, kései hivatásoknak intézetet alapított.
Amikor V. Piusz megbízta a humiliáták brerai kolostorának megreformálásával, a szerzetesek ellenálltak. Egyikük rálőtt a magánkápolnájában imádkozó Károlyra, aki csodálatos módon sértetlen maradt. A merénylő elmenekült, de később bűntársaival együtt kivégezték.
Károly a szegénység és nyomorúság minden formáját próbálta intézményesen is orvosolni: árvaházakat, menhelyeket, ispotályokat, éhínségek idején népkonyhákat szervezett. Amikor 1576-ban pestis tört ki Milánóban, vizitációs útjáról visszasietve a polgári vezetőségtől magára hagyott nép mindene lett. Külön kis útmutatót készített a betegápolás módjáról. Életében Krisztus keresztútját akarja megélni, kemény vezeklő volt.
1584. november 3-án, Milánóban halt meg, 1610-ben avatták szentté.
