Magdeburgi protestáns lelkészcsaládból származott. Autodidakta módjára tanult meg hegedűn, fuvolán, oboán és zongorán játszani, tizenkét évesen a zene iránt cseppet sem érdeklődő helyi polgárok legnagyobb megdöbbenésére és rosszallására már első operáján is túl volt. Azt azonban nem engedték, hogy zenésznek tanuljon, a magdeburgi közvélemény ennél még a bohócot és a kötéltáncost is többre tartotta. Telemann így a lipcsei egyetem jogi fakultására iratkozott be - igaz, az univerzitásra tartva tett egy hallei kitérőt, hogy megismerkedhessen Ha:ndellel.

Egyetemi éveiben inkább a templomi kantáták, az operák komponálásában jeleskedett, mígnem 1702-ben hátat fordított a jognak és elvállalta a lipcsei operaház vezetését. Az ifjúság ezután szívesebben választotta Telemannt, mint a professzorok előadásait, úgyhogy az egyetemisták körében egyre népszerűbb, a hivatalos zenészek körében egyre népszerűtlenebb lett. 1705-ben a soraui herceg udvari karmesternek hívta meg, a herceg rendelésére több francia stílusú darabot szerzett, a francia zene iránti érdeklődése a későbbiekben is megmaradt. 1708-tól az eisenachi herceg szolgálatába állt, s megismerkedett a Weimarban dolgozó Bachhal. Ezután frankfurti zeneigazgató lett, ő kezdeményezte, hogy belépőjegyet kérjenek a nyilvános templomi hangversenyekért.

1721-től 1767. június 25-én bekövetkezett haláláig Hamburgban működött kántorként, majd az öt főtemplom zenei igazgatójaként, idővel ő lett a hamburgi opera művészeti irányítója is. Hivatali kötelességként minden vasárnapra két kantátát írt, külön felkérésre egyéb egyházi zenét szerzett, éneket és zeneelméletet tanított. Hamburgban olyan jól érezte magát, hogy visszautasította a lipcsei Tamás-templom kántori állását, így került a posztra az őt a listán követő Johann Sebastian Bach.

Telemann 1709-ben nősült először, de felesége a következő évben belehalt a szülésbe. 1714-ben másodszor is megházasodott, nem tudván, hogy az asszony megrögzött szerencsejátékos. Telemann csak úgy menekült meg a csődtől, hogy a hamburgiak gyűjtést rendeztek számára; a feleség úgy fejezte ki háláját, hogy faképnél hagyta egy svéd katonatiszt kedvéért.

Telemann minden bizonnyal a zeneirodalom legtermékenyebb komponistája, egyedül többet alkotott, mint Bach és Ha:ndel együttvéve, állítólag hamarabb megírt egy nyolcszólamú motettát, mint más egy levelet. Több mint ezer alkotása között 40 opera, 40 passió, számtalan kantáta és triószonáta, több száz szvit, nyitány, kamaradarab szerepel (a hatalmas életmű egy része még mindig kiadatlan). Átdolgozta Ha:ndel néhány operáját is, németre írva át az olasz recitativókat, beillesztve néhány saját áriáját is. Mindemellett ő alapította az első német zenei folyóiratot, a nyilvános előadások révén a zenét a szélesebb néprétegek számára is elérhetővé tette. Csekély szabadidejében leginkább egzotikus növényeit, köztük a Ha:ndeltől kapott kaktuszokat ápolta.

Emlékére szülővárosában rendszeresen tartanak Telemann-napokat, a Nemzetközi Telemann Társaság elnöke a 2005-ben Telemann-díjjal kitüntetett Székely András magyar zenetudós.