Jómódú polgárcsalád sarja, Budapesti reálgimnáziumi tanulmányokat követően 1910-től Münchenben, Hollósy Simon festőiskolájában tanult. Művészeti tanulmányai közben alkalma nyílt arra is, hogy a német indológiai szakirodalmat behatóan tanulmányozza. Az I. világháború kitörésekor besorozták, híradós tisztként került a harctérre, hadnagyként szerelt le. A háború utáni években orientalisztikai tanulmányokat folytatott, az ind eszmeiség iránti érdeklődése elmélyült. Ebben szerepe volt családjának is: nővére egy szikh főnemes felesége volt, lányukat, Amrita Sher-Gilt Baktay vezette be a festészet világába.

Első jelentősebb írásai a neves költőt, Rabindranath Tagorét mutatták be, őt elemezve a hinduizmus eszmevilágáról adott átfogó képet, egyúttal bemutatta a keleti és nyugati gondolkodásmód közötti különbséget. Az ő nevéhez fűződött az indiai szerelmi tankönyvnek, a Káma Szútrának a fordítása is.

Baktay Ervin 1926-ban Indiába utazott, s három év alatt bebarangolta csaknem az egész országot, közben a maharadzsák udvarában vállalt portréfestésből tartotta fenn magát. Útja során tanulmányozta a vallásokat, a filozófiai irányzatokat, a művészeteket, kapcsolatba került szinte minden társadalmi réteggel, így későbbi műveiben mély empátiával ábrázolhatta az indiai emberek gondolkodásmódját, szokásait, lelki világát. 1928-ban merész vállalkozásba kezdett: Kőrösi Csoma nyomában Ladakh hegyei közé utazott, s Zanglában és Pouktalban felkereste azokat a kolostorokat, ahol neves elődje élt és dolgozott. Élményeit A világ tetején című munkájában adta közre. Indiai útja során felkereste Gandhit is.

Hazatérése után a Magyar Földrajzi Társaság tagja lett, ismeretterjesztő írásaival, előadásaival, könyveivel (India, Magyar utazó Indiában, Messzeségek vándora) a szélesebb közönség számára is elérhetővé tette az indiai kultúrát. 1933-ban a debreceni egyetemen bölcsészdoktorrá avatták, 1934-ben a Földgömb című folyóirat szerkesztője, a földrajzi ismeretterjesztés egyik fő szervezője lett.

1946-ban a Hopp Ferenc alapította Kelet-Ázsiai Művészeti Múzeum munkatársa, az indiai osztály vezetője lett, s ezzel párhuzamosan a budapesti egyetemen az indiai művészet történetének meghívott előadója is volt. 1956-57-ben az indiai kormány meghívására részt vett a Buddha születésének 2500. évfordulójára rendezett buddhista kongresszuson. 1958-ban jelent meg hatalmas ívű munkája, a három kötetes India művészete, amelyet németül is kiadtak.

1958-ban nyugdíjazták. 1962-ben egykori tanítványa hívására Londonban, a School of Oriental and African Studies-ban tartott előadássorozatot.

Baktay Ervin Budapesten halt meg 1963. május 7-én.