1839. március 21-én született a pszkovi kormányzóságban, gyermekkorát apja vidéki birtokán töltötte. Az itt hallott népdalok életre szóló élményt jelentettek számára, első zenei próbálkozásait dajkája meséi ihlették. Hétévesen már kiválóan zongorázott, tízévesen jelent meg első szerzeménye. A zenével ugyan nem hagyott fel, de a családi hagyományt folytatva katonai pályára lépett, gárdatiszt lett. 1856-ban találkozott az orosz zene történetét meghatározó Ötök későbbi tagjaival (a "Nagyok kis köreként" emlegetett csoportot Muszorgszkij, Balakirev, Borogyin, Rimszkij-Korszakov és Kjui alkotta.) Az Ötök elvetették Wagnert és az olasz zeneízlést, a középpontba a valóság ábrázolását állították.

A szalonokban zongoristaként és bariton énekesként is kedvelt Muszorgszkij 1859-ben otthagyta a katonai pályát és állami hivatalt vállalt. Sokat nem keresett, élete végéig anyagi gondjai voltak, számtalanszor szorult uzsorakölcsönre. Az egyre inkább az orosz népzene felé orientálódó komponista szívesen nyúlt irodalmi alaphoz, belekezdett az Oidipusz király és Flaubert Salambo című regényének feldolgozásába is, az elkészült részeket későbbi műveiben használta fel.

Művészi kiteljesedésének első jele az 1866-ban komponált Egy éj a kopár hegyen című, a népi mondavilágot megjelenítő szimfonikus költeménye. A művet Balakirev bírálatára többször átdolgozta, ezt szelídítette később még tovább Rimszkij-Korszakov. Legmonumentálisabb és legismertebb alkotása a Borisz Godunov című opera, amelynek szövegkönyvét is ő írta Puskin műve alapján. A darabot, amely a gyötrődő cár mellett Oroszországot, az orosz népet állította a középpontba, előbb elutasították, majd át kellett dolgoznia, de még így sem játszották sokáig. A kortársak a hangszerelést túl durvának, merész újításait szakmai hibának minősítették, ezért az operát Muszorgszkij halála után Rimszkij-Korszakov átdolgozta. Eredeti változatát csak az 1920-as évektől játszották ismét.

Talán legnépszerűbb műve az Egy kiállítás képei című zongoraciklusa (1874), amelyet festő barátja, Viktor Hartmann tiszteletére komponált. Alkotását többször is meghangszerelték, legnépszerűbbnek a Ravel-féle változat bizonyult. Muszorgszkij több dalciklust is írt: Gyermekszoba, Napfény nélkül, A halál dalai és táncai.

A zeneszerző édesanyja, majd unokahúga halála után a magány elől az alkoholba menekült, s idegbetegsége is rosszabbra fordult. 1875-ben még belekezdett a történelmi alapokon nyugvó Hovanscsina című operába és a Gogol novelláján alapuló Szorocsinci vásár című vígoperába, de mindkettő torzóban maradt. Az elsőt Rimszkij-Korszakov fejezte be a zongorakivonat alapján, a másodikat Nyikolaj Cserepnyin, Muszorgszkij más műveiből vett részletekkel kiegészítve.

Muszorgszkijt élete végén barátai is elhagyták, utolsó éveit egyik távoli rokonánál töltötte. 1880 nyarán a szentpétervári katonai kórházba került, itt festette róla Repin az egzaltált, őrült zsenit ábrázoló portréját. Az orosz zene egyik legnagyobb alakja 42 évesen, 1881. március 28-án halt meg.