唐時社會風氣開放，官員宴飲之時以歌妓陪伴的風氣興盛，據說白居易曾養有多名歌妓，最出名的是樊素。

　　《舊唐書》還提到另一名歌妓“小蠻”，原文：“家妓樊素、小蠻者，能歌善舞。”此外孟棨《本事詩?事感》：“白尚書姬人樊素善歌，妓人小蠻善舞，嘗為詩曰：‘櫻桃樊素口，楊柳小蠻腰。’”然而后人對于這則記事的可信度有疑問，蔡立甫《紅蕉詩話》認為樊素、小蠻指的是同一人。

　　白居易本身對歌妓并不忌諱，關于歌妓的描述常見于他的詩歌之中，如《與元九書》、《對酒吟》、《江南喜逢蕭九徹，因話長安舊游，戲贈五十韻》等詩作。《對酒歌》是這樣寫的：“一拋學士筆，三佩使君符。未換銀青綬，唯添雪白須。公門衙退掩，妓席客來鋪。履舄從相近，謳吟任所須。金銜嘶五馬，鈿帶舞雙姝。不得當年有，猶勝到老無。合聲歌漢月，齊手拍吳歈。今夜還先醉，應煩紅袖扶。”

　　白居易好友元稹、劉禹錫相互贈答詩文中，還有對于歌妓的真情流露。如元稹曾邀白居易的歌妓商玲瓏至越州，商玲瓏返回時，元稹并有詩贈白居易。白居易杭州刺史卸任后，曾帶杭州的歌妓回洛陽，這些歌妓后來返回杭州，劉禹錫曾有“其奈錢塘蘇小小，憶君淚點石榴裙”的詩句描繪這些歌妓對白居易的思念。

　　從樊素和白居易臨別時傷心落淚，從劉禹錫詩作表述的遣返杭州以后歌妓對白居易的思念，也可以看出白居易待她們是有真情的。樊素一直陪伴在白居易身邊達十四年之久，白居易曾向當時的宰相裴度要了一匹好馬，裴度大概聽說過樊素的芳名，于是寫信給白居易，并有詩說：“君若有心求逸足，我還留意在名姝。”

　　以古人‘千金名馬換小妾’為借口想要走樊素，雖然裴度是當朝宰相，有權有勢，但白居易卻依舊難以割舍，寫詩婉拒了裴度，說：“安石風流無奈何，欲將赤驥換青娥。不辭便送東山去，臨老何人與唱歌？”

　　白居易與歌妓的往來，也使他受到后人的許多批評。但大多數人認為白居易與家妓樊素和小蠻感情良好，雖未知有否越軌事，然即使有，亦非狎玩，可說是兩情相悅，故而白居易與歌妓之事，實非重要，且其時文人幾乎皆有，不應獨責白居易。晚年白居易將所有的歌妓放還，作了許多回憶的詩文，對這些歌妓多充滿了濃厚的念舊之情。