Dopo aver ottenuto un diploma al Gustavus Adolphus College di Saint Peter, Minnesota nel 1989, si iscrive all’Università di Chicago dove interrompe gli studi tre anni dopo, a pochi esami dalla laurea.
Esordisce come jazz vocalist con l’album Close Your Eyes (1995, etichetta Blue Note) e si fa notare per la sua voce baritonale, per le quattro ottave di estensione, per una sillabazione fluida e per un assoluto controllo della tecnica scat. Tra il 1997 e il 2003 pubblica, sempre per la Blue Note, altri sei album, due dei quali dal vivo. Il suo successo esordisce per tutta l’America. Nello stesso periodo collabora con numerose personalità del mondo jazzistico, tra cui David Amram, Bob Belden, Joanne Brackeen, Oscar Brown, Jr., Billy Corgan, Orbert Davis, George Freeman, Buddy Guy, Jon Hendricks, Laurence Hobgood, Charlie Hunter, Randy Bachman, Bob Mintzer, Rex Richardson e gli Yellowjackets. Nel 1997 prende parte alla registrazione dell’album Swing dei Manhattan Transfer. Nel 2007 lascia la Blue Note e pubblica Nightmoves, primo album con la Concord Records in cui, al fianco di vecchi amici come Bob Mintzer, Christian McBride e John Pizzarelli, compaiono anche nuovi collaboratori (Rob Mounsey alle tastiere, Guilherme Monteiro alla chitarra e Grégoire Maret all’armonica). L’album è stato candidato al Grammy come miglior album di jazz vocale nel 2008.
Vincitore per tre anni di seguito dei sondaggi delle riviste Down Beat e JazzTimes come miglior voce maschile, si è ormai imposto come personalità preminente nel panorama contemporaneo del jazz vocale. Elling è anche vice presidente della National Academy of Recording Arts and Sciences, l’organizzazione che assegna annualmente i Grammy Awards e che conta circa 17 000 iscritti. Attualmente, Elling canta con una band composta da Laurence Hobgood (pianoforte), Robert Amster (basso) e Kobie Watkins (batteria). Quando non è in tour, lo si può ascoltare tutti i mercoledì sera al Green Mill Cocktail Lounge di Chicago. L’ultimo lavoro pubblicato da Elling si intitola 1619 Broadway.