Williams est né à Plaquemine, en Louisiane, il s'est enfui de chez lui à l'âge de 12 ans pour se joindre au Traveling Minstrel Show de Billy Kersands, puis a déménagé à la Nouvelle Orléans. Au début, Williams travaillait comme cireur de chaussures et faisait des petits boulots, mais il s'est vite fait connaître comme chanteur et maître de cérémonie. Au début des années 1910, il était un artiste local très respecté qui jouait aussi du piano et composait des mélodies dès 1913. Williams était un bon homme d'affaires et s'occupait de l'organisation et de la gestion des divertissements au théâtre de vaudeville afro-américain local ainsi que dans divers salons et salles de danse autour de Rampart Street, et dans des clubs et maisons à Storyville.

En 1915, Williams démarre une entreprise d'édition musicale avec le violoniste et chef d'orchestre Armand J. Piron, qui devient, dans les années 1920, le premier éditeur de musique afro-américain du pays. Il tourne brièvement avec W. C. Handy, ouvre un bureau d'édition à Chicago, puis s'installe à New York au début des années 1920. En 1921, il épouse la chanteuse de blues et actrice de théâtre Eva Taylor, avec qui il se produit fréquemment.

Il a été l'un des principaux pianistes sur des partitions de disques de blues enregistrés à New York dans les années 1920. Il a supervisé les enregistrements afro-américains (la série des 8000 courses) pour les bureaux new-yorkais de la compagnie phonographique Okeh dans les années 1920 dans l'immeuble du Gaiety Theatre à Times Square. Il a recruté plusieurs des artistes qui ont joué sous ce label. Il a également enregistré de nombreuses pièces, notamment pour OKeh, Columbia et parfois d'autres maisons de disques.

Il a surtout utilisé "Clarence Williams' Jazz Kings" pour ses côtés hot band et "Clarence Williams' Washboard Five" pour ses côtés washboard. Il a également produit et participé aux premiers enregistrements de Louis Armstrong, Sidney Bechet, Bessie Smith, Virginia Liston, Irene Scruggs, sa nièce Katherine Henderson et plusieurs autres. Deux de ses groupes de 1924, "The Red Onion Jazz Babies" et "Clarence Williams' Blue Five" mettent en vedette le cornettiste Armstrong et le saxophoniste soprano Bechet, deux des plus importants premiers solistes de jazz, dans leurs seuls enregistrements ensemble avant les années 1940. La rivalité entre Armstrong et Bechet, qui ont tenté de se surpasser par des solo , est illustrée par "Cake Walkin' Babies from Home".

La plupart de ses enregistrements étaient des chansons de sa maison d'édition, ce qui explique pourquoi il a enregistré de nombreuses fois des chansons comme "Baby Won't You Please Come Home", "Close Fit Blues" et "Papa De-Da-Da-Da". Parmi ses propres compositions "Shout, Sister, Shout" (1929), enregistré par lui et repris par les Boswell Sisters, en 1931.

En 1933, il signe sous le label Vocalion et enregistre plusieurs enregistrements populaires, la plupart avec washboard, jusqu'en 1935 (et une session en 1938) Il enregistre aussi pour Bluebird en 1937, et de nouveau en 1941.

En 1943, Williams vend son vaste catalogue de chansons à Decca Records pour 50 000 $ et prend sa retraite, mais achète ensuite un magasin de produits d'occasion à bas prix. Williams mourut dans le Queens, à New York, en 1965, et fut inhumé au cimetière Saint Charles à Farmingdale sur Long Island. À sa mort en 1977, sa femme, Eva Taylor, a été enterrée à ses côtés.

Clarence Williams est le grand-père de l'acteur Clarence Williams III.