1869. január 18-án született Hódmezővásárhelyen zsellérszülők gyermekeként. Kivételes tehetségét már az elemi iskolában felismerték. Néhány év gimnázium után a budapesti Mintarajziskolában Székely Bertalan, Lotz Károly és Greguss János növendékeként szerezte meg a szakmai ismereteket. 1894 és 1896 között szülővárosa ösztöndíjával Párizsban a Julian Akadémiát látogatta. Nagy hatást tett rá Munkácsy Mihály kritikai realizmusa és szellemisége. Német- és olaszországi tanulmányút után tért vissza szülővárosába, ahol 1919-ig lakott. Noha 1894-től rendre szerepelt a Műcsarnok tárlatain, kezdetben megélhetési gondokkal küzdött, műteremhez is csak 1903-ban jutott. A Műcsarnok 1904. évi tavaszi tárlatán a Juss című képe első változatával Ráth György-díjat, a Barcelonai Nemzetközi Kiállításon pedig aranyérmet nyert.

Tornyai művészetének első szakasza kapcsolódik a Munkácsy-hagyományhoz. Főként életképeket festett, eleinte lírai, később drámai előadásban a paraszti életet ábrázolta. Az 1910-es években festette legjellegzetesebb alföldi tájlépeit: Gémeskút, Mártélyi nagy fa, Bús magyar sors. A pusztán élt, hogy azonosulhasson annak világával, ahogy ő nevezte, a "nagy sömmivel".

Festészete mellett kulturális tevékenysége is jelentős: komoly szerepe volt abban, hogy a század első évtizedében művésztelep fejlődött ki Hódmezővásárhelyen, s az 1905-ben alapított (1951 óta nevét viselő) városi múzeum létrehozásában is része volt. 1919-ben a városvezetés elvette a műtermét, ekkor elhagyta Hódmezővásárhelyt, a kecskeméti művésztelepre, majd Budapestre költözött. Társa lett egy nála 30 évvel fiatalabb nő, 1932-ben házasságot kötöttek - kapcsolatuk azonban nem volt felhőtlen.
Tornyai János 1928-29-ben Baján, 1933-34-ben néhány hónapig Szentendrén dolgozott. Öregkori alkotásait megélénkült színek, gazdagabb témaválasztás jellemzi. 1929-ben Csokorkötés című művét a Barcelonai Nemzetközi Kiállításon aranyéremmel jutalmazták, akárcsak Műteremben című képét az 1933. évi Nemzeti Képzőművészeti Kiállításon.
1934-ben Hódmezővásárhelyen művészek, írók és műbarátok Tornyai Társaságot alapítottak, a betegeskedő mestert hazahívták. Műveiből nagyszabású kiállítást rendeztek, a város életjáradékot is megszavazott részére. Élete utolsó éveit szülővárosában töltötte, s Hódmezővásárhelynek ajándékozta 426, a múzeumnak 90 képét. A combnyaktörést szenvedett művészt felesége a fővárosba hozatta, Tornyai akkor végrendelettel neki juttatta összes művét.

Halála után az özvegy és Hódmezővásárhely között perre került sor, amelyben a Kúria döntött. E szerint a városnak ajándékozott művek a múzeumé maradtak, az özvegy pedig életjáradékot kapott. Noha az asszony akkor azt állította, nincs a birtokában Tornyai-kép, halála után lakásában 717 festményre és rajzra bukkantak az egykori műterem padlója alá rejtve. A kitűnő állapotban megtalált festményeket még abban az évben, 1984-ben a közönség elé tárta a Magyar Nemzeti Galéria.