Családja Lengyelországból vándorolt Amerikába (anyja felmenői állítólag Sárospatakról származtak), ő New Yorkban született Herman Harold Potok néven. Szülei héber nevet (Chaim Cvi) is adtak neki, írói nevét e kettő keverékéből alkotta meg. Ortodox környezetben nevelkedett, 25 éves korában rabbivá avatták. Írói érlelődése is erre az időre esett, saját bevallása szerint Joyce, Hemingway, Faulkner, Evelyn Waugh művei hatottak rá leginkább. 1955-57-ben főhadnagyi rangban tábori rabbiként szolgált, 15 hónapot az egészségügyi és a műszaki alakulatnál töltött a koreai fronton. Itt szerzett tapasztalataiból, élményeiből készült el 1981-es önéletrajzi ihletésű regénye, a Fények könyve.

A hatvanas évek elején családjával Izraelben töltött egy évet, hazatérve a Conservative Judaism magazin szerkesztőjeként dolgozott. 1965-ben megszerezte az irodalomtudományok, valamint a filozófiai tudományok doktora címet, ebben az évben a Jewish Publication Society of America kiadói szerkesztője, 1974-ben főszerkesztője lett.

Első és legsikeresebb regénye, A kiválasztott 1967-ben jelent meg. A mű két különböző vallási hátterű fiú barátságán keresztül mutatja be a kelet-európai gyökerű ortodox hászid zsidó közösség életét, s keres válaszokat az emberi lét általános problémáira is. A könyv sikere magát a szerzőt is meglepte, aki egy interjúban elmondta, azt gondolta: jó, ha ötszáz embert érdekelhet két zsidó fiú története. A műből 1981-ben Jeremy Kagan rendezett filmet, amelyben az író egy Talmud-oktatót alakított.

Következő regénye, Az ígéret az előző mű hőseinek további sorsát követi nyomon. 1972-es regénye, A nevem Asher Lev egy ortodox környezetben felnőtt, festővé váló fiatalember belső vívódásait, a környezetével folytatott harcát mutatta be. Ennek is elkészült a folytatása, az Asher Lev öröksége, amely 1990-ben jelent meg. Sikert aratott a Davita hárfája és az önéletrajzi elemekkel átszőtt regénye, a Kezdetben is.

A regények mellett Potok számos esszét, tanulmányt, ismeretterjesztő művet is írt, amelyek közül kiemelkedik a Vándorlások: A zsidó nép története, valamint az orosz zsidóság problémáit feldolgozó November kapui. Fiataloknak írt novelláskötete Zebra és más történetek címmel jelent meg.

A Malamud, Singer, Philip Roth, Saul Bellow alkotta amerikai zsidó írói csoport körébe sorolt Potok írásművészetének fő értékeként a kritikusok a történelmi pontosságot, az élvezetes stílust, a drámai feszültség hiteles ábrázolását, az elmélyült lélekrajzot említik. Méltatói szerint műveivel ablakot nyitott a zsidó lélekre, ugyanakkor kérdésfeltevéseivel, a műveiben megfogalmazott erkölcsi dilemmákkal nem zsidó olvasóihoz is szólt.

Chaim Potok 2002. július 23-án hunyt el Philadelphiában, halálát agytumor okozta.