1920. október 1-jén született New Yorkban orosz zsidó bevándorló családban. Matthau, akiről soha nem lehetett tudni, mikor tréfál, komolyan állította, hogy eredeti neve Matuschanskayasky volt, ami nem csak az amerikaiak számára nyelvtörő feladvány. Szegénységben nőtt fel, de már hétévesen Shakespeare-t olvasott, s sokat járt a jiddis színházba - előbb büfésként, később gyermekszínészként.

Volt erdész, ökölvívó, a háborúban egy bombázógép rádiósa, leszerelése után színészmesterséget tanult. Első komoly szerepét 28 évesen kapta, egy aggastyán püspököt alakított Rex Harrison partnereként. A színház örök szerelme maradt, 1962-ben és 1965-ben is megkapta a szakma legmagasabb elismerését, a Tony-díjat.

A hórihorgas, cammogó járású, gyűrött arcú, de csibészes tekintetű és dörzspapírhangú színészt 1955-ben hívták először filmezni. Kezdetben cselszövő gazembereket alakított, de idővel rátalált igazi műfajára, a komédiára. Először 1966-ban játszott együtt Jack Lemmonnal, s a Sógorom, a zugügyvéd című film meghozta számára a legjobb férfi mellékszereplőnek járó Oscar-díjat. A legendás páros két év múlva a Furcsa párban mulattatta a közönséget, a színpadon már kirobbanóan sikeres komédia két elvált férfi közös albérleti kalandjait mesélte el fergeteges humorral. A darabot Neil Simon külön Matthau számára írta, aki sokáig vonakodott, mondván, hogy a szerep túlságosan is közel áll saját énjéhez.

Matthau 1969-ben Barbra Streisand partnere volt a Hello Dolly című filmmusicalben, s még ugyanebben az évben Ingrid Bergman oldalán sziporkázott A kaktusz virágában. A hetvenes években következtek az olyan klasszikusok, mint a Szenzáció, a Napsugár-fiúk, a Kaliforniai lakosztály, majd a Várlak nálad vacsorára - utóbbiban egy szoknyavadász orvos szerepében hódította meg Glenda Jackson szívét.

Matthau 1976-os szívműtétje után visszavett a tempóból, de nem tudott nemet mondani Roman Polanskinak, aki a Kalózokban egy rettegett hajóskapitányt játszatott vele (félig komolyan). A JFK - A nyitott dosszié című filmben megcsillanthatta drámai tehetségét is, 1994-ben Albert Einstein volt az I.Q. - A szerelem relatív című romantikus vígjátékban, a Még emlékszem a szeretetre című drámában pedig fia instruálta. Régi barátjával, Jack Lemonnal A szomszéd nője mindig zöldebb (1993) és a Még zöldebb a szomszéd nője (1995) című filmekben komédiázott újra, majd harminc évvel az eredeti után elkészítették a Furcsa pár második részét.

Utolsó filmje a Női vonalak volt, amelyben Meg Ryan, Lisa Kudrow és Diane Keaton haldokló apját játszotta. A nagy komikus egészsége a való életben is megromlott, tüdőgyulladások és szívroham után daganatot távolítottak el szervezetéből. 2000. július 1-jén szívinfarktus következtében halt meg, utolsó napjait Billy Wilder rendező-barátjával töltötte egy kórházi szobában.

Matthau megrögzött szerencsejátékos volt, saját bevallása szerint több mint ötmillió dollárt költött fogadásokra. A sokarcú színész, aki utálta, ha komédiásként skatulyázták be, szabadidejében szívesen hallgatott zenét, s énekelt maga is, elsősorban Mozartot. Két házasságából három gyermeke született.