1830. december 14-én született a Gömör vármegyei Csetneken (ma: Stítnik, Szlovákia) egy vasgyár igazgatójának gyermekeként. A szabadságharc kitörése után félbehagyta jogi tanulmányait, és belépett a honvédseregbe. A világosi fegyverletételig harcolt, a bukás után egy ideig bujdosnia kellett. Jogi diplomáját végül a pécsi egyetemen szerezte meg, de 1853-tól már a bécsi festészeti akadémia növendéke is volt. Az intézmény konzervatív légköre fojtogatta, ezért inkább átiratkozott Ferdinand Waldmüller liberálisabb szellemű magániskolájába, jóllehet az ottani képzés jobbára csak témáiban volt más. Ekkor festette a Kuruc és labanc, valamint Thököly álma című képeit.

1856-ban a magyar festők közül elsőként ment Párizsba, ahol az École des Beaux-Arts-ban tanult. Itt készült első képei (Zrínyi Péter a fogságban, Zrínyi Miklós) a nemzeti ellenállás szellemét hirdetik. Az 1859-ben festett Hunyadi László siratása nagy sikert aratott a Pesti Műegylet kiállításán, majd az 1861-es párizsi Szalonon megkapta a francia állami nagy aranyérmet. Ezt a képet tekintik Madarász főművének, Théophile Gautier, a korszak neves kritikusa kiemelte az alkotás "romantikusan gyászos költőiségét".

A festő állandó kapcsolatban volt a magyar emigráció kossuthi szárnyával, témáit szinte kizárólag a magyar történelemből merítette, a szabadságharcban szerzett élményeit dolgozta fel a régmúltba helyezve. Hősi és tragikus emlékeket idézett, bár legtöbb nagy képét - Zrínyi Ilona elfogatása, Dobozi, Zách Felicián, Zrínyi és Frangepán - Párizsban festette. Az önkényuralom idején népszerűsége vitathatatlan volt, az ő műveiből készült a legtöbb reprodukció.

Párizsi népszerűségét mutatja, hogy Krisztus az Olajfák hegyén című vásznát Eugénia császárné vásárolta meg. A francia fővárosban születő modern irányzatok, Delacroix, Courbet, Manet stílusa nem hatottak rá. Élete végéig ragaszkodott a "forradalmár festő" patetikus, lassan idejétmúlt szerepéhez, nem változtatott kifejezési eszközein sem, jóllehet több képe mutatja, hogy lett volna érzéke a realizmushoz is. A másik nagy historikus festővel, Székely Bertalannal együtt ő is azt vallotta, hogy "ha valaha magyar festészet lesz, az a történeti festészethez fog tartozni". Festészete egyre inkább a történelem illusztrálásában merült ki, s az egykor az akadémizmus ellen lázadó művész maga is akadémikus stílusban festett, színpadszerű jelenetekkel, pszichikai patronokkal pótolva a művészi ihletet.

Párizsból 1870-ben tért haza, de idehaza inkább fanyalgás fogadta, mert a kiegyezés után kiment a divatból a forradalmi hangú, osztrák-ellenes festészet. Erről tanúskodott, hogy egy pályázatra készített képe, a Bethlen Gábor tudósai között alulmaradt Benczúr Gyula alkotásával szemben. (Képe sokak számára mégis ismerős lehet, mert ez látható a kétezer forintos bankjegy hátoldalán.) Az elkedvetlenedett, egyre nehezebb anyagi helyzetbe kerülő festőt támadások is érték. Megfestette Izabella királynét, de képét nem tudta eladni, a hanyatlás jeleit mutató, színpadias Petőfi halála témája miatt mégis népszerű lett. A közöny végül annyira elkedvetlenítette, hogy letette az ecsetet, és az apja után rá maradt fémáru-kereskedésből próbált megélni. Festőnek tehetségesebb volt, mint üzletembernek, cége 1902-ben csődbe ment.

Ekkor újra festeni kezdett, ám a nagy tehetségű művész régebbi művei kvalitását meg sem közelítő, olykor már-már giccsbe hajló képeket alkotott (Önarckép, A koldus sírja, Feltámadás). A magyar romantikus történelmi festészet nagy mestere 1917. január 10-én szinte elfeledve halt meg Budapesten.