Geboren 1949 in Boston begann er 1964 mit dem Gitarrespielen. In Rockbands wie The Indigos war er dann schon bald in der Gegend live zu erleben. Inspiriert von Chuck Berry orientierte er sich aber schon bald in Richtung Blues – und besonders Muddy hatte es ihm da angetan. Im August 1973 besuchte er ein Konzert von ihm in Boston. Und Muddy, der ihn beim Opener hatte spielen sehen, heuerte ihn als Ersatz für seinen langjährigen Gitarristen Sammy Lawhorn an. So begann er nicht nur mit dieser großartigen Band um die Welt zu touren sondern wurde auch für Aufnahmen und Konzerte, wo Muddy nur eine kleinere Besetzung brauchte, angeheuert. Beispielsweise wirkte er 1975 auf dem legendären „Woodstock Album“ mit, das Muddy gemeinsam mit den Musikern von The Band einspielte – sein letztes Werk für Chess Records. Und so kam er auch 1976 zum „Last Waltz“ von The Band nach San Francisco. Auch auf den vier letzten Alben von Muddy Waters, die Johnny Winter produzierte, war Margolin zu hören – und auch bei Winters „Nothing But The Blues“.
Als 1980 Muddys Band wegen geschäftlicher Differenzen den Meister verließ, blieb man dennoch bis zu seinem Tod 1983 befreundet. Margolin startete damals ebenso wie der andere Gitarrist von Muddy Luther „Guitar Jr.“ Johnson seine eigene Band. Bob tourte damals vor allem durch Virginia und North Carolina, spielte in Bars und anderen kleineren Läden. Davon konnte er ohne den Druck des Musik-Business leben und dachte auch nicht daran, ein Album aufzunehmen. Nur manchmal schnitt er einen von seinen zahllosen Auftritten mit und verschenkte ihn als Kassette an seine Freunde.
Neben dem Blues spielte er auch mit Rockabilly-Musikern wie Tex Rubinowitz zusammen. Und schließlich kam 1984 ein Auftritt beim New Orleans Jazz and Heritage Festival, wo er einen Tribut an Muddy Waters gemeinsam mit dem Pianisten Pinetop Perkins, den Fabulous Thunderbirds und Etta James präsentierte. Als Opener waren Taj Mahal und James Cotton zu erleben. Damit tauchte Margolin wieder auf den größeren Bühnen auf – und konnte als Opener für Shows von Stevie Ray Vaughan, George Thorogood, Johnny Winter und andere bekannte Namen auftreten.
Doch in den 80ern wurde eben auch deutlich, dass die Möglichkeiten, in den zahllosen Bluesclubs zu konzertieren abnahm – viele der Läden verschwanden einfach von der Landkarte, weil die Leute weniger zu Konzerten gingen. Und gleichzeitig gründeten sich andauernd neue Bands. Ohne Plattenaufnahmen konnte man in der Situation nicht konkurrieren.
So erschien 1989 mit „The Old School“ Margolins ersters Soloalbum, das ebenso wie ein zweites Album von Powerhouse Records in Washington veröffentlicht wurde. Gemeinsam mit James Cotton ging er auf wochenlange Tourneen quer durch die Staaten und präsentierte den traditionellen Chicago-Blues.
Daneben begann er in den frühen 90ern seine zweite Karriere als Blues-Journalist. Freunde von der Piedmont Blues Preservation Society in North Carolina hatten ihn nach einer Geschichte über den Chicagoer Harp-Spieler Carey Bell (ein Freund Margolins) gefragt. Und so begann er für eine lokale Wochenzeitung Geschichten und Plattenrezensionen zu verfassen. Schon bald wurde er auch für das neue Magazin Blues Revue Quarterly angeheuert und steuert aus seiner persönlichen Sicht Beiträge über Musiker und Platten bei. Als Berater, Produzent und Verfasser von Texten für die Booklets der „Legacy Edition“ von Muddy Waters Alben bei Sony. Dafür hat er auch bislang unveröffentlichte Tracks (etwa für Muddy „Mississippi“ Waters Live) herausgegeben.
Daneben allerdings nahm er gemeinsam mit dem Gitarristen Ronnie Earl und seiner Band sein drittes Soloalbum auf. Für ein paar Lieder kam sogar der legendäre Rhythm & Blues- Sänger Nappy Brown mit ins Studio. Ein Rohschnitt wurde an Alligator geschickt. Doch Bruce Iglauer wollte die Platte nicht veröffentlichen, gab aber Tipps über den Mix, den Margolin dann nochmals überarbeitete. 1993 veröffentlichte Alligator dann „Down in the Alley“ doch noch. Und damit hatte Margolin den größten Karrieresprung seit seinem Eintritt in Muddy Waters‘ Band erreicht. Gemeinsam mit Harplegende Billy Boy Arnold (auch ein Alligator-Künstler) tourte er in den nächsten Jahren in aller Welt bei den großen Festivals. Und mit der Muddy Waters Tribute Band (Muddys alte Bandkollegen) und B.B. King, Dr. John und den Rockern von Little Feat trat er überall in den USA auf und veröffentlichte weitere Soloalben.
Auch als Produzent war er seither aktiv – etwa 1998 für Muddys Sohn Big Bill Morganfield, der bei Blind Pig unter Vertrag war. Wegen künstlerischer Differenzen trennte sich Margolin in der Zeit auch von Alligator und unterzeichnete ebenfalls bei Blind Pig.Seither sind etliche Platten und noch mehr Tourneen ins Land gegangen. Bob erhielt Blues Music Awards als Gitarrist ebenso wie für die Wiederveröffentlichung der Waters-Alben. Und er schreibt jetzt auch für das Blueswax-Online-Magazin (ein unabhängiger Zweig des Blues Revue Quarterly). Und hält damit den Chicago-Blues ebenso am Leben wie mit seiner Musik.