1899. november 18-án Budapesten látta meg a napvilágot Blau Jenő néven. Csodagyerek volt, hallására jellemző, hogy egy koncerten bekiabált a szólistának, hogy F helyett fiszt játszott.

A Zeneakadémia hegedű szakára ötévesen vették fel, s Hubay Jenő kedvenc tanítványa lett. Diplomáját 14 évesen külön minisztériumi engedéllyel kapta meg, s 19 évesen, a Tanácsköztársaság idején rövid ideig tanított is a Zeneakadémián.

Hegedűművészként sikert sikerre halmozott, mígnem 1921-ben egy turné ígéretével Amerikába csábították, de impresszáriója cserben hagyta. Öt centtel a zsebében állt a New York-i utcán, végül egy nagy mozi zenekarának magyar karmestere felvette a némafilmeket kísérő együttesbe, majd egy rádiózenekar hegedűse is lett.

1924-ben egy mozizenekar élén, beugróként elvezényelte Csajkovszkij 4. szimfóniáját, olyan sikerrel, hogy ott helyben helyettes karnagynak nevezték ki. Ettől kezdve főállású karmester lett, a világ azonban csak 1931-ben ismerte meg nevét. Történt ugyanis, hogy Arturo Toscanini megbetegedett, s az összehasonlítástól félve csak Ormándy vállalta helyettesítését. Nem vallott kudarcot, s a turné másodkarnagya lett, Toscanini oldalán.

Ezután a középszerű Minneapolisi Szimfonikusokhoz hívták meg, s az együttest néhány év alatt az amerikai zenekarok élvonalába emelte. 1936-ban Leopold Stokowski hívására Philadelphiába ment, ahol a helyi zenekar állandó karmestere lett. Stokowski 1938-ban távozott, s utódául Ormándyt nevezték ki főzeneigazgatónak. A posztot 42 éven át, 1980-as nyugalomba vonulásáig töltötte be, s még ezután is többször fellépett a zenekar élén.
Zenéjének legfőbb ismertetőjele a vonósok bársonyosan telt hangja volt, ő teremtette meg az erőteljes hangszíneken és a tökéletes vonósjátékon alapuló modern zenekari hangzásideált. 1948-ban ő vezényelte az első televíziós hangversenyt, a következő években zenekarával rendszeresen turnézott Európában - erre a II. világháború befejeződésével feleslegessé vált bombázógépek teremtettek lehetőséget.

Ormándy 1985. március 12-én halt meg Philadelphiában.
Vendégkarmesterként a világ szinte minden jelentős hangversenypódiumán fellépett.

Klasszikus és modern művek előadásában egyaránt kiváló volt, megesett, hogy Bruno Walter helyébe beugorva emlékezetből dirigált. Rendszeresen műsorára tűzte a magyar zeneművészet értékeit, Bartók és Kodály műveit, 1946-ban ő vezényelte Philadelphiában Bartók 3. zongoraversenyének ősbemutatóját. Budapesten utoljára 1936-ban lépett fel, Budavár visszafoglalásának 250. évfordulóján vezényelt. A háború előtt és alatt származása, később amerikai állampolgársága miatt nem hívták szülőhazájába. 1967-ben, Kodály 85. születésnapjára budapesti koncertet tervezett, de az ünnepelt nem érte meg azt.

Ormándy a világhírű magyar karmesterek sorában, Fricsay Ferenc, Szél György, Reiner Frigyes és Solti György mellett öregbítette zenei életünk és zeneoktatásunk hírnevét.