Anyja különös jelentőséget tulajdonított annak, hogy fia 1929-ben épp Ady Endre halálának tizedik évfordulóján jött a világra. Földbirtokos családból származott, apja, Marczonnay Tibor hányatott életű lírikus volt, anyja nehéz körülmények között egyedül nevelte. Garai Gábor tisztes polgári pályára vágyott, érettségi után, 1948-ban közgazdasági tanulmányokba kezdett, de apja jobboldali múltja miatt eltávolították az egyetemről. A vasútnál dolgozott pénzügyi előadóként 1958-ig, amikor az Európa Könyvkiadó lektora lett. 1960-ban magyar szakos tanári diplomát szerzett, s ettől kezdve vezette az Élet és Irodalom versrovatát. Négy évig a Magyar Írók Szövetségének külügyi titkára, 1968-tól az irodalmi hetilap főszerkesztő-helyettese, 1972-től az írószövetség főtitkár-helyettese, 1976-tól főtitkára, 1982-től a Látóhatár című irodalmi folyóirat főszerkesztője volt. 1966 és 1980 között tagja volt a Magyar Szocialista Munkáspárt Központi Bizottságának, 1982-től a Magyar PEN Klub alelnöki tisztét is betöltötte.

Első versei már az 1940-es évek végén megjelentek, de szélesebb körben csak 1957-58 táján lett ismert Tűz-tánc című versével. Avantgárd stíluselemek felhasználásával kísérletet tett a lejáratott szocialista költészet megújítására, leghíresebb költeménye 1958-ban egy jelentős antológia címe is lett. 1958-ban megjelent második önálló kötetével, mely Ének a gyógyulásért címet viselte, Garai Gábor egy új, szocialista elkötelezettségű ifjú nemzedék vezéralakja lett, aki sajátos értelmezésű, humanista rendet áhított. Költészetét "közügyekben elkötelezett líraként" határozta meg, műveiben a tartalmas élet lehetőségeit kutatta, az emberi kapcsolatok foglalkoztatták. Tagadta azonban, hogy intellektuális költő volna, verseit heves indulatok ihlették. "Gyűlölöm a költészetben a szemfényvesztést, a szélhámosságot. Játszani csak a rímekkel és színekkel (...) szabad - adott szavakkal vagy bombákkal, életekkel nem" - nyilatkozta egyszer. Örökös elégedetlensége saját művével szemben folyamatos megújulásra, elmélyedésre sarkallta. Posztumusz kötetében életre hívta Doktor Valaki alakját, önnön alteregóját, akinek körülményei hasonlítanak az övéihez, de "gyöngéd iróniával és öniróniával reagál" megpróbáltatásaira.

Poéta doctus volt, művelt, tájékozott, világlátott költő, esszéista és publicista. (Indiai úti élményeit nemcsak versben, prózában is feldolgozta az 1970-es évek elején.) Több nyelven tudott, egyike volt legszínvonalasabb műfordítóinknak, az angol, a német, az orosz nyelvű költészet nagyjainak, a Duna-menti népek legkiválóbbjainak tolmácsolását vállalta.

Munkásságát 1965-ben Kossuth-díjjal és három alkalommal József Attila-díjjal ismerték el. Garai Gábor 58 éves korában, 1987. szeptember 9-én hunyt el Budapesten.