Avec dix albums à son actif, Jean-François Groulx se consacre surtout au jazz, tout en œuvrant aussi dans les domaines de la musique populaire et des musiques du monde. En 1995, il remporte le Prix Du Maurier au Festival International de Jazz de Montréal et en 2006, le Prix André-Gagnon, remis par la SPACQ au compositeur de musique instrumentale de l'année.

Bien connu pour ses collaborations avec Louise Forestier (1992-2006), Gilles Vigneault (2013-2017) et Edgar Bori (depuis 2001), on l'a aussi remarqué comme compositeur de la trame sonore du film L'Erreur boréale de Richard Desjardins. En 2007-2008, il fut directeur musical pour l'émission de télé Ça manque à ma culture animée par Serge Postigo. Il est le pianiste attitré des émissions En direct de l'univers (depuis 2012) et Pour emporter (depuis 2019) avec France Beaudoin. À partir d’avril 2023, il sera le pianiste et le directeur musical de Daniel Lavoie pour le spectacle Tension attention, dont des dizaines de représentations sont prévues au Québec.