1844. március 18-án született a novgorodi kormányzóságban, Tyihvin városkában. Zenei tehetsége korán megmutatkozott, kilencévesen már komponált. Apja kívánságára tengerésztisztnek tanult, de közben zeneileg is képezte magát. Közeli barátja és mentora lett Milij Balakirev zeneszerző, később ők ketten, továbbá Cézár Kjui, Mogyeszt Muszorgszkij és Alekszandr Borogyin alkották az Ötök csoportját, a "Hatalmasok kis csapatát".

Két és fél évig a tengert járta, ekkor szerzett élményei ihlették később egzotikus témaválasztású, különleges hangszerelésű műveit. A hajón született Első szimfóniája is, e műfajban az első orosz darab. 1871-ben képesítés nélkül nevezték ki a szentpétervári konzervatórium hangszerelés- és zeneszerzés tanárának, így titokban kellett pótolnia elméleti hiányosságait. 1872-ben megnősült, egy év múlva a flottazenekarok felügyelője, majd az Ingyenes Zeneiskola igazgatója lett. 1886-tól az orosz szimfonikus koncerteket szervezte, így nagy része volt abban, hogy az 1889-es párizsi világkiállításon orosz szerzők műveit mutatták be. 1905-ben tanári állásából rövid időre elbocsátották, mert a sztrájkoló diákok védelmére kelt, nyílt levélben tiltakozott a cári rendőrség önkénye ellen.

1867-ben írta Szadko című zenekari fantáziáját, az első orosz "szimfonikus költeményt". Második szimfóniáját (Antar) szintén keleti mese ihlette, az 1872-ben született A pszkovi lány című operája Rettegett Iván korában játszódik, s sok rokonságot mutat Muszorgszkij Borisz Godunovával.

Rimszkij-Korszakov az orosz témákhoz, a nemzeti történelemhez, hősi énekekhez, mesékhez és mondákhoz vonzódott, bizonyíték erre a Mese Szaltán cárról és a Szadko, a mese a láthatatlan Kityezs városáról című opera, de megigézte a kelet világa is, így született az Ezeregyéjszaka meséire íródott Seherezádé. Az orosz népdalok hatását mutatta Hópelyhecske című operája. Tizenöt operája közül az utolsó, a Puskin ihlette Az Aranykakas a cári önkényuralom kíméletlen szatírája. Egyes operáinak betétei, mint A dongó című virtuóz hegedűdarab a Mese Szaltán cárról, a Hindu dal a Szadko című operából ma is gyakran csendül fel a koncerttermekben. Rimszkij-Korszakov hangszereléssel is foglalkozott, egyebek között ő fejezte be (sokak szerint azonban átdolgozta) szerzőjük halála után Muszorgszkij: Hovanscsina és Borogyin: Igor herceg című operáját.

Műveire a kiváló hangszerelés, a romantikus álmodozás, az érzelmi gazdagság jellemző. Az orosz zenetörténetben korszakos jelentőségű Ötök tagjai közül ő a "legnyugatosabb", a romantika mellett az európai újításokat is befogadta, egyben hidat teremtett Glinka és a modernizmus között. Tanítványai között tudhatta többek közt Szergej Prokofjevet és Igor Sztravinszkijt.

Rimszkij-Korszakov 1908. június 21-én halt meg Ljubenszkben szívroham következtében. Születése századik évfordulóján szülővárosában múzeuma, 1971-ben Leningrádban lakásmúzeuma nyílt, s az ő nevét viseli a szentpétervári konzervatórium.