Egy gazdag orosz földbirtokos és egy protestáns német polgárlány törvénytelen gyermeke volt. Családi nevét apja gondolta ki, a Herzen (a német Herz - szív szóból eredően) arra utalt, hogy a fiú igazán a szíve szerint való gyerek volt. Herzen tizenhárom évesen tanúja volt a dekabrista lázadást követő kegyetlen megtorlásoknak, amelyek életre szóló nyomot hagytak benne.

Apjának köszönhetően a szokásos nemesi nevelésben részesült, külföldi tanítókat is szerződtettek mellé, megismerte a külföldi - elsősorban a XVIII. század végi - külföldi irodalmat. Az ifjú 1829-ben beiratkozott a Moszkvai Egyetemre, ahol matematikát és fizikát tanult, stúdiumait 1833-ban fejezte be. Egyetemi évei alatt hasonló gondolkozású fiatal társaival közösen tanulmányozták a francia utópista szocialisták, Saint-Simon és Charles Fourier eszméit, rá leginkább Saint-Simon "látomása" hatott, aki egy teljesen új, megnemesedett emberiséget vizionált, új keresztény hitet, amely az egyén és a közösség szerepét egyformán fontosnak tartja, s véget vet az ember ember általi kizsákmányolásának.

1834-ben társaival együtt őt is letartóztatták és a Moszkvától több száz kilométerre fekvő Permbe, majd Vjatkába deportálták, ahol a kormányzó kancelláriáján dolgozott. A vád szerint a cár személyét sértő dalokat énekeltek, az ügy aktái Herzent a társadalomra veszélyes szabadgondolkodóként jellemezték. Később tanácsosként a Moszkvához közelebbi Vlagyimirba helyezték, ahol megnősült.

1840-ben Herzen visszatérhetett Moszkvába, kapcsolatba került Sztankevics és Belinszkij hegeliánus körével. Hegel műveit már a száműzetésben tanulmányozni kezdte. Megragadta a német gondolkodó dialektikus történelemfelfogása, amely szerint szükségszerű a politikai és társadalmi változás.

Ebből azt a következtetést vonta le, hogy a lázadás a fennálló elnyomó renddel szemben észérvek által igazolható, mint mondta, "Hegel filozófiája a forradalom algebrája". Herzen veszélyesnek tartotta a korában oly népszerű szlavofil eszmerendszert, mert annak híveiben a fennálló rendszer támogatóit látta. Ugyanakkor - bár ő a nyugatosok pártján állt - jó néhány gondolatukat átvette, maradéktalanul osztotta hitüket az egyszerű népben, lenyűgözte a falu közösségét hangsúlyozó kollektivista szellem.

Herzen apja halála után 1847-ben elhagyta Oroszországot, mert fullasztónak érezte I. Miklós önkényuralmi rendszerének légkörét. Az 1848-as francia forradalmakat nagy reményekkel üdvözölte, a véres megtorlás pedig a szocializmus irányába lökte. Proudhon nézeteivel szimpatizált, együtt is dolgozott vele és a francia kispolgári szocializmus más képviselőivel. 1849-ben a bonapartista rezsim elől Párizsból Svájcba, majd a Szárd Királysághoz tartozó Nizzába utazott, a forradalmak utáni európai radikális emigráció köreiben forgolódott. Ekkor született írásaiban leszámolt korábbi liberális nézeteivel.

Az ideálok összeomlása, az egész Európát elborító reakciós hullám hatására kiábrándult a régi Európából, a nyugati intézményrendszerekből, s megfogalmazódott benne, hogy Oroszország és a szláv világ hivatottak megvalósítani a szocialista eszmét. Meggyőződésévé vált, hogy külön orosz útra van szükség, az orosz szocializmusra, amely megkerüli a kapitalizmust és a földközösség (obscsina) alapján jut el a szocializmusig. Egy ilyen átalakulás szerinte csak az értelmiség vezetésével vihető végbe, amelynek e feladatot mintegy vezeklésként - lévén hogy eddig a nép számlájára élt - kell teljesítenie.

Felesége halála után 1852-ben Londonba költözött és megalapította a Szabad Orosz Nyomdát. 1857-től jelentette meg a Kolokol (Harang) című hetilapot, amelyet a hatósági tiltás ellenére rendszeresen becsempésztek Oroszországba, s amely nagy hatással volt az oroszországi belpolitikai fejleményekre. Az orosz kormány nyomására a lap szerkesztősége 1865 márciusában kénytelen volt elhagyni Angliát és Svájcba költözött (Herzen ekkor már svájci állampolgár volt), ahová egy hónap múlva követte a Szabad Orosz Nyomda is.

Herzen az idők során tompította politikai nézeteit és kevesebbet foglalkozott a forradalommal, többet az időközben trónra lépett II. Sándor cár reformjaival. Óvatosan lavírozott a reformok és a forradalom között, így elveszítette a reformerek és a forradalmi demokraták támogatását is. 1864-ben érdeklődése a Karl Marx vezette I. Internacionálé felé fordult.

A politikai harcok között megfáradva megírta az orosz irodalom egyik klasszikusát, saját életrajzát Múltam és gondolatok címmel. 1870. január 21-én halt meg Párizsban, művei, gondolatai még évtizedekig hatottak hazájában.