Operetténekes apja nem sokat törődött vele, gyakori turnéi miatt fiát ötéves korában kadétiskolába küldte.

Az érzékeny gyermeket megviselte a poroszos fegyelem, vigaszt a zenében keresett és talált. Loewe 13 évesen már a berlini filharmonikusokkal lépett fel, egy 15 évesen komponált dalából egymillió kottát adtak el, 1916-tól a berlini konzervatóriumban tanult.
1924-ben elkísérte apját egy amerikai turnéra és végleg az Egyesült Államokban maradt.

Eleinte New York német negyedének bárjaiban zongorázott és némafilmekhez szolgáltatott zenekíséretet. Rögtönzéseit még elnézték neki, azt viszont már nem, hogy nem ismerve az amerikai himnuszt "saját változattal" állt elő a vetítések előtt. Loewe a gazdasági világválság idején nyomorgott, éhezett, télen egy padon aludt a Central Parkban. Később volt cowboy, lovaspostás és díjbirkózó, majd 1934-ben újfent komponálni kezdett, immár alkalmazkodva a testközelből megismert közízléshez.

1942-ben társult Jay Lerner szövegíróval, és az ötvenes években kasszasikerek hosszú sorát produkálták együtt.

A Paint Your Wagon arról is nevezetes, hogy egy dala (They Call The Wind Mariah) ihlette a népszerű énekesnő, Mariah Carey keresztnevét. 1956-ban mutatták be a G.B. Shaw Pygmalion című vígjátékából készült My Fair Ladyt, a főszerepben Julie Andrews-zal és Rex Harrisonnal; utóbbi neve ezután összeforrt Higgins professzoréval. Az egyvégtében 2717 előadást megélt darab áradó zenéjéből számos dal önmagában sláger lett. A musicalre lecsapott Hollywood is, az 1964-ben készült filmváltozat (amelyben Eliza szerepét Audrey Hepburn alakította Rex Harrison oldalán) nyolc Oscar-díjat söpört be.

Loewe és Lerner az MGM stúdió megbízásából írta Maurice Chevalier és Leslie Caron számára a Gigi című musicalt, amely 1958-ban minden fontosabb kategóriában elvitte az Oscar-díjat. Utolsó közös művük, a Camelot az első előadáson megbukott.

A főszereplők másnap este a legnézettebb amerikai tévéműsorban tűntek fel és persze dalra is fakadtak - a hangulat megfordult, a jegyeket pillanatok alatt szétkapdosták.

Loewe sikerei csúcsán visszavonult, hátralévő éveit a francia Riviérán töltötte. A komponáláshoz csak egyetlen alkalommal tért vissza, amikor régi alkotótársával Saint-Exupéry A kis herceg című meséjét dolgozta fel. A bensőséges hangulatú darabot a szerzők ellenkezése dacára látványos külsőségek közepette állították színpadra, és meg is bukott.

A Zeneszerzők Dicsőségcsarnokába is bekerült Frederick Loewe 1988. február 14-én halt meg a kaliforniai Palm Springsben.