A szóban lévő bibliai történetek az ő szavaival 1831-ben kerültek nyomdába. Mintha maga is rácsodálkozott volna szokatlan tárgyú munkájára, amikor őszintén vetette papírra: „mint a gyermek, gyermeki lelkem által oly dolgokra hagyom kapatni magamat, melyek nem tartoznak rám.” Felesége, gyermekei kedvében járt, amikor a Szentírást hűen adta közre a szavaival, s nem csupán gyerekeknek, hanem felnőtteknek is szánta. Más szent történetek, elmélkedések, fordított és saját imádságok is kerültek a könyvbe, amelyek azt bizonyítják, hogy a lelkiségi irodalom sem volt közömbös számára. A levelében említett Johann Hübner német pedagógus volt, ötvenkét bibliai története 1714-ben jelent meg. Saját szavaival fogalmazott történeteinek írásakor Pyrker László egri érsek ószövetségi históriáit is fordította – egy időben.
Amikor 1991-ben Busa Margit tudományos főmunkatárs postán elküldte címemre az általa gondozott, 1831 után először megjelent Kazinczy- Bibliát, és elolvastam, a költő, nyelvész alakját munkácsi várbörtönének ablakrácsai mögé képzeltem, amint széphalmi otthona felé tekint; az elvadult kertre, a házra, ahol majd melengethet családi fészket, és írhatja Bibliáját, imádságait.
Gyönyörű nyelve a XIX. századból példa arra, hogy lehet a gondolatiságot és az érzés tisztaságát továbbadni, és valóban úgy, ahogyan egy „felnőttgyermek” teheti. Eugénia lánya, amikor bérmálkozott (lányai katolikusok voltak felesége vallása után), a gyermek Jézust kereszttel a vállán ábrázoló emlékképecskére
Bizakodás című imádságának szavait írta: „Keresztedet zúgolódás nélkül viseld.” Hétesztendei börtön, sok benső küzdelem hitelesítette kérését.
Ez az imádsága az egyik legbensőségesebb bizonylata Kazinczy hitbéli meggyőződésének, etikai tartásának. Álljon itt egy részlete úgy, ahogy ő eredetiben leírta:
„Nyugva vetem alá magamat rendeléseidnek éltem’ minden viszontagságai közt, ‘s erős hittel tészem le annak sorsát a’ mindenek’ jó és nagy hatalmú atyja’ kezébe.
Borús napjaimban nálad keresek vígasztalást, ‘s lelkem jóságodban leli fel szenvedései közt az enyhületet; nem hagysz te engem bánatomban elcsüggedni.
Jóságodnak nincs határa, mint hatalmadnak; nincs olly örvény, mellyből ki ne kaphass, ha bölcseséged jónak látja.
Bár késsék segedelmed, én tebenned bízni nem szűnök; megtartasz te engem végtelen jóságod szerint.
Azon megszámlálhatatlan sokaságában, mellyre atyáskodó gondjaid kiterjednek, te rólam meg sem feledkezel. Hányszor nem tapasztalám már, hogy karod akkor tarta meg, midőn úgy hittem, hogy már oda vagyok.
Tégy velem, nagy Isten, a ‘szerint mostan is. Bizakodva ajánlom a ‘te kezeidbe sorsomat. Te nem akarhatsz egyebet mint ‘mi énnekem is javamra van, és ha tereád hagyom dolgaim’ intézését, gondod lészen rám.”
Az idézett bekezdést, bár nem könnyű a mai olvasónak, gondolati gazdagsága miatt érdemes többször elolvasni. Ökumenikus imádságnak szánta az író, s elküldte észrevételezésre a bencés költő Guzmics Izidornak is.