Színészcsaládba született 1907. február 13-án, Budapesten. Útja színi tanulmányok nélkül is a világot jelentő deszkákra vezetett, először 15 éves korában lépett színpadra. A pályát a debreceni társulatnál kezdte, ezt követően hosszú évekig Pécsett, majd Szegeden szerepelt, ahol operettek táncos-komikusaként ismerték és szerették meg.

Nemcsak elragadó humora volt, hanem rendkívüli, higanyszerűen fürge, már-már akrobatikus mozgáskultúrával is rendelkezett - olyannyira, hogy amikor úgy hozta a sorsa, artistaként is meg tudta keresni kenyerét.

Kiss Manyihoz, Dajka Margithoz, Rátkay Mártonhoz hasonlóan ő is a könnyű műfaj felől érkezett, és vált igazi jellemszínésszé. 1951-ben szerződött a Vígszínházhoz, a következő évben a Nemzetihez, s ettől kezdve nyugdíjazásáig az ország első társulatának tagja maradt.

Ő volt a színpadon a csöndes, kötelességtudó, mégis öntudatos kisember. Hihetetlen kapcsolatra volt képes a közönséggel: az őt nézőknek, hallgatóknak az volt az érzése, hogy velük beszélget.

Kiváló humorérzéke segítette abban, hogy az emberi gyengeségeinkből kiindulva létrehozza azt a figurát, amelyben magunkra ismerünk.

A Nemzetiben játszotta a Dudást a Szentivánéji álomban, a Kikiáltót a Marat halálában, Harpagont a Fösvényben, Corvinót a Volponéban.

Számtalan sikeres filmje közül a Dollárpapa címszerepe a legemlékezetesebb, de felejthetetlen volt mint a Gázolás altisztje, a Vasvirág öreg koldusa, avagy a Liliomfi dadogós csendőrje. Hosszú évekig ő játszotta Szabó bácsi szerepét a Magyar Rádió nagy sikerű, de mára megszűnt Szabó család című sorozatában.

Alacsony termete, szokatlan, rekedtes orgánuma egyedivé formálta minden színpadra lépését. Neve egyet jelentett a biztos sikerrel, nem csak a közönség szerette, a kritikusok is csak jót írtak róla.

Embernek is olyan volt, mint amilyen színésznek: magánéletében, hivatásában mindenkor a kötelességtudás és a szerénység volt a jellemzője.

Amikor 1976-ban nyugdíjba vonult, búcsúját azzal tette emlékezetessé, hogy alapítványt hozott létre, amelynek pénzösszegét minden évben a Nemzeti Színház társulatának egy-egy tehetséges fiatal női és férfi tagja kapja. A díj rangját a művésztársak ítélete adja, igazi erkölcsi elismerést jelentve a kitüntetettek számára.

Munkásságát 1957-ben Jászai Mari-díjjal, 1958-ban Kossuth-díjjal, 1973-ban kiváló művészi címmel ismerték el. Rajz János 1981. július 20-án halt meg.