Első zeneóráit Cherubini hatévesen apjától vette, majd Velencében tanult zeneelméletet, és a polifón technika mestere lett. Tizenhat éves korára már túl volt jó néhány kantáta megírásán, és hamarosan megpróbálkozott az operával is.

Nápolyi stílusú dalművei sikert arattak, nevét hamarosan Európa-szerte megismerték. 1784-ben III. György brit udvari zeneszerzője lett, nyarait Franciaországban töltötte. 1788-ban végleg Párizsban telepedett le, a közönség gyorsan megkedvelte meglepő hangszereléseit, újszerű harmóniáit, drámai temperamentumát.

Stílusát Bach, Händel, Haydn és a francia operaszerzők műveit tanulmányozva, Glucknak a zene és dráma egységét középpontba állító "zenedráma" gondolatát átvéve, és mindezeket az olasz opera hagyományaival ötvözve alakította ki; a vokális részek dallamosságához a zenekari részek drámaisága párosult.

1791-ben íródott és egy évad alatt kétszázszor előadott Lodoiska című operája már a nevéhez fűződő "szabadító opera" jellegzetes példája: e művek témája általában a szorongattatásból való megmenekülés, az önfeláldozás. 1797-ben született a Medea, három évvel később pedig talán legismertebb operája, A vízhordó (ennek eredeti címe: A két nap). A Medea Maria Callas egyik legtöbbet énekelt szerepe volt, a már fakuló hangú szoprán ezzel a szereppel búcsúzott a milánói Scala közönségétől. A vízhordó Beethoven egyetlen operája, a Fidelio közvetlen előzménye, és sok tekintetben mintája.

Cherubini érdeklődése az 1810-es évektől az egyházi zene felé fordult. Több misét is írt, egyebek közt XVIII. Lajos és X. Károly koronázására, valamint rekviemet a kivégzett XVI. Lajos emlékére, illetve saját temetésére. Egyetlen (D-dúr) szimfóniáját londoni vendégszereplésén mutatták be. Utolsó nagy színpadi műve az 1833-ban komponált Ali baba, ismertebb darabja még az Anakreon nyitány.

Kiváló zenepedagógus is volt: zeneszerzést tanított a párizsi Konzervatóriumban, amelynek 1822-től igazgatója lett. Működése alatt nőtt az intézmény híre, ugyanakkor temperamentuma miatt számos konfliktusa is támadt, például az ifjú Berliozzal, aki később nem túl hízelgő képet festett róla. Ugyanakkor Beethoven igen nagyra tartotta, Brahms tökéletes operának nevezte a Medeát, Schumann és Wagner is lelkesedett Cherubini műveiért. Bár neve nincs az operatörténet legnagyobbjai között, hatása jelentős, C-moll rekviemje felhangzik David Lynch Twin Peaks - Tűz, jöjj velem! című filmjében is.

Fordulatos élete során tanúja volt az ancien régime bukásának, a forradalom kitörésének (amit lelkesen üdvözölt, forradalmi dalokat és himnuszokat komponált), átélte a napoleoni korszakot (a császár nemigen szívlelte, mert Cherubini kétségbe vonta, hogy értene a zenéhez), a Bourbon-restaurációt, utolsó évei pedig a "polgárkirály" Lajos Fülöp uralkodása alatt teltek. 1842. március 15-én halt meg Párizsban, hamvai a Pére Lachaise temetőben nyugszanak.