Als er am 6. September 1985 in Chicago starb, konnte er auf mehr als 50 Jahre als Bluespianist zurückblicken. Er spielte Blues, Jazz und Boogie Woogie – sowohl auf ungezählten Partys, in Clubs oder selbst in der Carnegie Hall (das war 1948 gemeinsam mit der Jazz Band von Kid Ory). Little Brother Montgomery war einer der vielseitigsten Bluespianisten überhaupt. Er spielte Boogie, Blues aber auch reinen New Orleans-Jazz.
Der Legende nach soll er schon kurz nach seiner Geburt angefangen haben, sich einfache Blues-Pattern mit drei Fingern auf dem Klavier beizubringen. Und so wurde er schon als Kind mit dem Bluesernamen „Little Brother“ gerufen. Die Grundlagen des Klavierspiels hatte er sich beim Beobachten der Spieler angeeignet, die in seines Vaters Kneipe seiner Gegend auftraten. Später kopierte und adaptierte er die Blues der älteren Musiker und machte sie sich zu eigen, auch das Umformen von populären Hits der Zeit in den Piano-Blues. Auch der Rest seiner Familie war musikalisch: sein Vater spielte Klarinette, die Mutter Akkordeon und Orgel. Und auch seine neun Geschwister spielten alle mehr oder weniger gut Klavier.
Mit 11 Jahren machte er sich als reisender Pianist selbstständig, kam nach New Orleans und später nach Chicago. Seinem erstem Job bekam er in einer Kneipe in Holton, Louisiana, wo man ihm acht Dollar die Woche (plus Kost und Logis) zahlte. Innerhalb eines Jahres hatte er seine Gagen mehr als verdoppelt. Mit den deutlich älteren Pianisten Long Tall Friday and Dehlco Robert entwickelte er eine neue Form des Blues-Piano, die sie „The Fourty Fours“ nannten. Dabei spielten beide Hände in unterschiedlichem Zeitmaß. Das Ergebnis, so Montgomery später war „the hardest barrelhous blues of any blues in history“.
Bis zur großen Flut des Mississippi spielte er in Louisiana, später zog er durch Mississippi und Arkansas bis er schließlich 1923 nach New Orleans kam. Dort war mittlerweile der Jazz in hoher Blüte und die Stadt war voller hervorragender Klavierspieler, die um die Wette spielten. Dann zog er mit eigenen und fremden Bands aber auch im Duo mit solchen Gitarristen wie Skip James oder dem Pianisten Sunnyland Slim durch die Kneipen der Region.
Schließlich wurde er 1928 von den Clarence Desdune’s Dixieland Revelers angeheuert, einer Tanzband. Das war für ihn eine gewaltige Herausforderung, denn die Band spielte komplett nach Noten. Und das hatte er bislang noch nicht gemacht. Doch mit Hilfe anderer Bandmitglieder konnte er schon bald so tun, als würde er die Pianostimmen wirklich vom Blatt spielen. Mit den Revelers zog er nach Chicago, wo er sich auch als Solist einen Namen machte bei House Rent Parties in der Nachbarschaft seiner Wohnung. Hier spielte er nicht mehr Jazz sondern nur noch Blues und Boogie.
1930 begann seine Plattenkarriere. Doch bald danach zog er zurück in den Süden und ließ sich in Jackson, Mississippi nieder. Schon 1935 war er aber wieder in den Plattenstudios zu finden. Für Bluebird, das damals führende Label, nahm er 32 Titel auf. 1942 zog er zurück nach Chicago, wo er weiter Platten aufnahm – aber vor allem die nächsten 40 Jahre in den Kneipen, Clubs und Hotel-Lounges auftrat (wenn er nicht gerade auf Tour oder als Begleiter anderer Musiker im Studio war). So spielte er etwa mit Sippie Wallace, mit Otis Rush oder Magic Sam. In Europa wurde er vor allem als Teilnehmer der American Folk Blues Festival bekannt.
1967 heiratete er Janet Floberg und gründete sein eigenes Label FM, benannt nach dem glücklichen Paar. In den nächsten Jahren nahm er dann viel in seinem Wohnzimmer auf. 1982 entstanden seine letzten Aufnahmen. Insgesamt hat er rund 30 Alben veröffentlicht.
In seiner Musik verbanden sich der Boogie aber ebenso der lyrische Blues von Carr (man muss ja immer auf die Frauen Rücksicht nehmen!) mit Jazzanklängen, mit Ragtime, mit Unterhaltungsmusik, eigentlich mit allem, was gerade gefragt war. Aber selbst so bekannte Nummern wie der „Cow Cow Blues“ von Cow Cow Davenport klingen in seiner Version wesentlich härter und brutaler als bei seinem Schöpfer.