Yorkshire-ban született, a gitárral 11 éves korában kezdett foglalkozni. Kezdetben a blues és a swing vonzotta, és olyan művészekkel dolgozott együtt, mint Georgie Fame, Graham Bond, Brian Auger és Ginger Baker. Saját csapatot 1968-ban toborzott, és a következő év elején már tető alá is hozta debütáló albumát Extrapolation címmel.

Ugyancsak 1969-ben New Yorkba költözött, ahol előbb Tony Williams fúziós zenekara, a Lifetime tagja lett, majd csatlakozott Miles Davis együtteséhez. Közreműködött a trombitás korszakos jelentőségű Bitches Brew és In a Silent Way című lemezein, de ekkor már az akusztikus és a keleti zene is foglalkoztatta - My Goal's Beyond című albumán már megjelentek az indiai zenei hatások.

Hamarosan megvált Davistől, és egy újabb szólólemezt készített Devotion címmel, amelynek készítésekor Jimi Hendrix társaságában örömzenélt.

Élete 1971-ben vett fordulatot, amikor megismerte Sri Chinmoy indiai gurut, aki bevezette a hinduizmus és a keleti misztika világába. Vegetáriánus lett, puritán életet kezdett élni, idejét kizárólag a meditációnak, a zenének és gitárjátéka tökéletesítésének szentelte.

Létrehozta a Mahavishnu Orchestrát, amely a fúziós dzsessz-rock talán legismertebb zenekara lett, stílusuk olykor a rockzenéhez idomult, de a kifinomult, improvizációkkal teli szólók inkább a dzsesszhez közelítettek. McLaughlin szakított időt arra, hogy 1972-ben Carlos Santanával rögzítse a Love Devotion Surrender című albumot.

A Mahavisnu 1973-tól folyamatos tagcseréken esett át, és 1975-ben megszűnt. A gitáros ekkor a Beyond zenei világához tért vissza az akusztikus dzsesszt az indiai zenével ötvöző Shakti megalakításával.

A 70-es évek végétől ismét szólóban dolgozott, maga mögé toborozva a One Truth Band formációt. Közben megszülettek a legendás gitár-trió albumai, amelyeket Al di Meola és Paco de Lucia társaságában rögzítettek; a hármas a kilencvenes években Budapesten is fellépett.

A nyolcvanas években a klasszikus zene és a dzsessz vegyítésével kísérletezett, és rövid időre a Mahavisnu is összeállt. A kilencvenes években folyamatosan játszott elektromos és akusztikus formációkban.

Az új évezred nosztalgikus hangulatban találta: a Remember Shakti: The Believer című albumával régi együttesének szellemét idézte fel.

2004-ben 17 CD-n jelentek meg 1974 és 1996 között a montreux-i dzsesszfesztiválon rögzített koncertjei. 2008-ban Chick Coreával szupercsapatot rántottak össze egy világkörüli turné és egy album erejéig, eddigi utolsó albuma 2010-ben jelent meg To The One címmel.

McLaughlin, aki a Rolling Stone magazin minden idők száz legjobb gitárosát összegző listáján 2003-ban a 49., majd a tavalyi frissítés után a 68. helyen szerepelt, több alkalommal is sikeres koncertet adott Magyarországon.