Pesten született szepességi származású evangélikus családban. A több városban tanult és több nyelvet is elsajátító Schulek a szünidőt rendszeresen Pesten töltötte, ahol képzeletét megragadták a palotaszerű házak és a Lánchíd.

Gimnazistaként a szünidőben kőműves segédként dolgozott, érettségi után a budai József Műegyetemen, majd Bécsben Friedrich von Schmidt, a neogótikus dómépítő keze alatt tanult. Ez idő alatt bejárta a Habsburg Birodalom szinte egész területét, műemlékek felmérésében és restaurálásában vett részt.

1867-ben rövid párizsi kitérő után érkezett haza. 1869-ben itáliai tanulmányutat tett. A kiegyezés utáni fellendülés idején Steindl Imre műtermében vállalt állást, nem sokkal később az ulmi székesegyház restaurálásának vezetésére kérték fel, de ő inkább a Mintarajziskola vezetését vállalta el, majd a Műegyetemen oktatott professzorként középkori építészetet.

1872-ben kinevezték az újonnan létrehívott Műemlékek Országos Bizottságának építészévé. E minőségében ő irányította a budavári Nagyboldogasszony-templom, a Mátyás templom restaurálását, a munkálatok a millennium idejére, 1896-ra fejeződtek be.

A gótikus templom szinte minden kövét kicserélték és újra faragták, a barokk toldásokat eltávolították. Ahol Schulek nem talált eredeti dokumentumot, maga tervezte meg az új részleteket, mint például a déli harangtorony kősisakját és az előcsarnokot.

Az immár szabadon álló templom mögötti egyszerű városfalat is átépítette, így született meg a tér hangulatát emelő neoreneszánsz Halászbástya, egy középkori erődítmény "fantáziadús utánérzése". Az épületegyüttes a Szent István-szoborral Budapest egyik leghatásosabb és legismertebb látványossága lett.

Schulek más restauráló munkái is jelentős átépítéssel jártak, mint például a lőcsei városháza, a jáki, a kisszebeni, a pozsonyi templomok; ő konzerválta a visegrádi várat és rekonstruálta a Salamon-tornyot is.

Önálló munkáira is a történeti stílus jellemző, mint például a szegedi "kakasos" református templom és Fogadalmi templom, a szegedi Dóm - ennek terveit Foerk Ernő dolgozta át - és a János-hegyi Erzsébet kilátó.

A szerény Schulek soha nem indult pályázatokon, az anyagiak sem nagyon érdekelték, de megbízásait rendkívül alaposan és szakmai alázattal végezte. Munkájának elismeréseként 1889-ben lett az Magyar Tudományos Akadémia levelező, 1917-ben rendes tagja. 1903-ban kinevezték a Műegyetem középkori építészeti tanszék tanárának, 1924-ben a Műegyetem díszdoktori címét vehette át.

Élete utolsó éveit Balatonlellén töltötte, ahol hetvennyolc éves korában 1919. szeptember 5-én érte a halál.