A keszthelyi izraelita hitközségi kántor fia 20 testvérével együtt elképesztő nyomorban nevelkedett, elszigeteltségüket növelte, hogy magyar környezetben voltak német anyanyelvűek. Ilyen körülmények között az iskola szóba sem jöhetett, Károly még elemibe sem járt (így lett élete végén a budapesti Tudományegyetem díszdoktora.) Tizennégy évesen látott először zongorát, s kezdett hegedűórákra járni - ehhez télen-nyáron napi négy órát gyalogolt.

Tizenhét évesen került a bécsi konzervatóriumba, de életében csak annyi változott, hogy most már a császárvárosban koplalt: előfordult, hogy eszméletlenül találták az utcán, s csak a kórházban derült ki, hogy napok óta nem evett. Tanulmányait félbe kellett szakítania, volt színházi zenész és zenetanító, miközben autodidaktaként képezte magát, s rendületlenül komponált.

1857-ben került sor első szerzői hangversenyére, s anyagi helyzete fokozatosan javulni kezdett. 1865-ben bemutatták Sakuntala nyitányát, amely meghozta számára az oly áhított sikert. Élete 1875. március 10-én változott meg végképp, amikor a bécsi Operaház Liszt közbenjárására bemutatta Sába királynője című operáját. Goldmark több évig dolgozott művén, s majdnem ugyanennyi ideig harcolt azért, hogy a darab végre színre kerülhessen. A párját ritkítóan hatalmas siker (a szerzőt negyvenszer tapsolta vissza a tomboló közönség) mindenért kárpótolta, feledtette a fiatal évek nyomorát, megpróbáltatásait. Goldmark másnap európai hírű zeneszerzőként ébredt, művét egy évtizeden belül Európa szinte minden nagy operaháza műsorra tűzte, s Amerikában is bemutatták.

Anyagi gondjai megszűntek, villát vett Gmundenben, ahonnan csak műveinek előadására mozdult ki. A következő évben született legnépszerűbb szimfóniája, a Falusi lakodalom, 1877-ben máig népszerű Hegedűversenye, s számos kiváló kamaradarabot komponált.

Bár a Sába királynője sikerét nem tudta megismételni, további operái - Merlin, A hadifogoly, Téli rege - is elnyerték a közönség tetszését. Nyolcvanadik születésnapját külföldön és Magyarországon is nagy pompával ünnepelték meg, díszelőadásokat rendeztek alkotásaiból, a budapesti Tudományegyetem díszdoktorává fogadta. Szellemi erejének bizonyítéka, hogy 84 évesen komponált zongoraötösének partitúráját egy vonatúton elvesztette, de emlékezetből újra le tudta írni a darabot.

Goldmark 1915. január 2-án halt meg Bécsben. Életműve hamar feledésbe merült, a harmincas-negyvenes években származása, később zenéjének "idegenszerűsége" miatt mellőzték szerzeményeit. Stílusa magányosan áll az utóromantika zenéjében, ahogy ő írta: "minthogy vezetni nem tudtam, másokkal menni pedig nem akartam, egyedül maradtam". Operáiban Wagner, kamarazenéjében Brahms, szimfonikus alkotásaiban a liszti programzene befolyása mutatható ki, ám e hatásokat teljesen egyéni stílusvilággá integrálta. A magyar zene jövőjét nem ő, hanem Bartók és Kodály jelentette, de zenetörténeti érdemei elvitathatatlanok.