Zenekedvelő zsidó kereskedő családból származott, első hegedűjét ötévesen kapta. Hatévesen már közönség előtt lépett fel, első moszkvai szólókoncertjét 1930-ban adta. 1933-ban megnyerte az össz-szovjet hegedűversenyt, majd 1937-ben a Brüsszelben első alkalommal megrendezett Erzsébet királyné zenei versenyt is.1934-től tanított a moszkvai konzervatóriumban, neve ekkor már az egész Szovjetunióban ismert volt. A második világháború alatt számtalanszor lépett fel nehéz körülmények között, egyik emlékezetes koncertjét 1942 telén a körülzárt Leningrádban adta, amikor csikorgó hidegben vezényelte Csajkovszkij D-dúr hegedűversenyét, német bombák, szirénák és lövések "kísérete" mellett.A nemzeti értéknek minősített Ojsztrah külföldre csak a háború után utazhatott, elsőként a Prágai Tavasz Fesztiválon aratott hatalmas sikert 1946-ban. Első "nyugati" koncertjét Helsinkiben adta 1949-ben, ugyanebben az évben lépett fel először Budapesten. Az ötvenes évek első felében meghódította Párizst és Londont, 1955-től pedig az amerikai közönség is lábai előtt hevert. 1959-től a karmesteri pálcát is kezébe vette, szólistaként a zenei tökéletesség fanatikusaként ismert Szvjatoszlav Richter zongoraművésszel koncertezett. Számtalan hanglemez őrzi művészetét, a legnagyobb szerzők - köztük Aram Hacsaturján, Dmitrij Sosztakovics, Szergej Prokofjev - írtak számára zenét, barátjának mondhatta Yehudi Menuhint, Sibeliust, Ormándy Jenőt, Kodályt. A hegedű mellett a sakkban is jeleskedett, 1937-ben nagy érdeklődés övezte Prokofjevvel vívott (és megnyert) páros mérkőzését.A kritika főként káprázatos technikáját, játéka sokszínűségét és érzelmi gazdagságát emelte ki. A hegedűvirtuóz Stradivari-hangszereken nyűgözte le közönségét, az elsőt a belga királynő adományozta neki. (Az 1671-ben készült, egymillió dollár értékű hegedűt Ojsztrah halála után a moszkvai Glinka múzeumban állították ki, ahonnan rövidesen ellopták). Közel tíz évig egy 1702-es Stradivariuson zenélt, amit 1966 júniusában egy 1705-ös darabra cserélt.A feszített ütemű munka miatt 1964-ben szívrohamot kapott, de ezt még túlélte. 1974. október 24-én hollandiai turné közben vitte el egy újabb szívroham, hamvai a moszkvai Novogyevicsi temetőben nyugszanak. Róla nevezték el a 42516. számú kisbolygót, emlékére az észtországi Parnuban rendszeresen zenei fesztivált szerveznek. Születése 100. évfordulója tiszteletére képével díszített ezüst kétrubeles emlékérmét adtak ki Oroszországban.