Budapesten született 1921. november 27-én, ősei között lengyelek és franciák is voltak. Egyik nagynénje a szervita rend főnöknője, és egy lánynevelő intézet igazgatója volt, így Pilinszky gyerekkora egyszerű apácák és fiatalkorú prostituáltak között telt. Innen is eredeztethető mély katolikus hite, valamint a bűn és a büntetés tematikája a költészetében.

A piarista gimnáziumban már költőnek készült. Az egyetemen előbb jogot, majd művészettörténetet hallgatott, de diplomát nem szerzett. Első verseit a Napkelet, a Vigilia és az Élet közölte, ez utóbbinak segédszerkesztője is volt. 1944-ben behívták katonának. Németországba vitték, közelről láthatta az emberi nem legmélyebb nyomorúságát, a koncentrációs táborok világát, és ez későbbi költészetének alapélménye lett.

1945 őszén hazatért, 1946-tól az Újhold című folyóirat társszerkesztője volt, de szoros szellemi és személyes kapcsolat fűzte a Vigiliához és a Válaszhoz is. Első kötetét, a Trapéz és korlát címűt a Szent István Társulat adta ki, s elnyerte érte a Baumgarten-díjat. 1947-48-ban ösztöndíjasként Rómában tartózkodott. Hazatérve "pesszimizmusa" miatt kiszorították az irodalmi életből, kiadói korrektorként dolgozott éveken keresztül. Az irodalomba 1957-es Aranymadár című kötetével tért vissza, és ekkor lett az Új Ember című katolikus hetilap belső munkatársa. Haláláig nagyrészt itt jelentek meg tárcái, művészetkritikai írásai, filozófiai mélységű vallásos és bölcseleti elmélkedései, amelyeknek nagy része a Szög és olaj című kötetben olvasható. 1959-ben jelent meg a háború, az embertelenség, a holokauszt borzalmai inspirálta Harmadnapon című kötete, amelyet számos kritikusa legjelentősebb gyűjteményének tart.

A hatvanas évektől kezdve egyre többet utazott külföldre, nemzetközi elismertségét kiváló fordítóknak köszönhette, franciára Pierre Emmanuel, angolra Ted Hughes fordította, és az ő meghívására Londonba is eljutott.

A hetvenes évektől itthoni népszerűsége is nőtt, 1971-ben József Attila-, 1980-ban Kossuth-díjat kapott, sorra jelentek meg kötetei (Szálkák, Végkifejlet, Tér és kapcsolat, Kráter). A versek mellett írt forgatókönyvet Rekviem címmel. A hirtelen jött népszerűség nem változtatott alapvetően visszahúzódó, szorongásos személyiségén. Önpusztító életet élt, láncdohányos volt, erősen ivott, gyógyszereket szedett, mellé literszámra fogyasztotta a kávét. Kétszer nősült, évekig tartott viharos kapcsolata Jutta Scherer német vallástörténésszel.

Katolikus költőként szeretik definiálni, ám ő ezt a "költő vagyok és katolikus" kijelentésével következetesen elhárította magától. Világlátásában, verseiben és egyéb írásaiban is tetten érhető az isteni megváltásba, a kegyelembe, a szeretetbe vetett hite, a bűnösök, az elesettek iránt érzett részvéte, ugyanakkor a rideg létbe vetettség szorongató élménye, az ember feloldhatatlan magányának érzése is.