柳宗元的婚姻也很不幸。他的婚配是雙方家父戲訂的娃娃親。當(dāng)時兩家是同僚相好，柳宗元的父親柳鎮(zhèn)和柳宗元后來的岳父楊憑同在鄂岳沔都團練使李兼那共事，李兼是柳宗元妻子楊氏的外祖父。建中四年(公元784年)，柳鎮(zhèn)為鄂岳沔都團練使判官，柳宗元這時隨父在夏口。楊憑很喜歡少有文才的柳宗元，要把九歲的女兒許配給十三歲的柳宗元，后來始終也沒反悔。楊女三歲喪母，自小溫順，沒有大戶人家“驕盈之色。”

　　柳鎮(zhèn)貞元九年死，柳宗元守父喪。貞元十一年，楊女嫁入柳家，她敬侍柳宗元母親，柳家人都很喜歡她。柳宗元母親曾說：“自吾得新婦，增一孝女。”兩家又是世代交好的“通家”，柳母愛之如己子。柳宗元倆個姐姐也把她當(dāng)親姊妹看待。不幸楊氏有足疾，行走不便。結(jié)婚沒三年，懷孕難產(chǎn)，暈倒病重，二十三歲就死了。

　　柳宗元與楊氏的感情非常好，終生為喪妻失子而難以釋懷。對妻子的死，他哀痛不亦，發(fā)愿要“之死同穴”。這種喪妻之情情一直伴隨柳宗元一生。唐代婚姻有著嚴(yán)格的等級制度。男人不但娶妻，還可以納妾。唐代有個叫崔穎的，娶妻擇有貌者，稍不如意就不要了，他前后反復(fù)多次，這在當(dāng)時是很平常的事。柳宗元感情生活比較嚴(yán)肅，自楊氏死至永貞年，六年間柳宗元沒有續(xù)娶，后來遭貶到死也沒再正式婚配。

　　柳宗元岳父楊憑，兄弟三人，善文辭，皆有名。大歷中，三兄弟中進士，時號三楊。楊憑歷任顯官，做過湖南江西觀察使，刑部侍郎，京兆尹。元和四年為御史中丞李夷簡彈劾，貶為臨賀尉。后歷中書舍人，禮部尚書。柳宗元終生與楊家保持親密的交往，其間與楊家三兄弟及后人，頻有書信，贈詩。讓人看了感動。

　　柳宗元在永州時，有一女兒隨行。名稱和娘，生于長安善和里。這可能是柳宗元在京城與人同居時所生。因其母身分低微，又非婚配，和娘一直沒與柳宗元相認(rèn)。直到柳宗遭貶才隨到永州。不幸的是和娘來永州四年，于元和五年四月三日就病死了，年僅十歲。

　　孑然一身的柳宗元，是處荒蠻之中的罪人，不可能求門當(dāng)戶對的婚配，為續(xù)子嗣只能尋老農(nóng)女生男育女。他在《馬室女雷五葬志》說：“馬室女雷五，家貧，歲不易衣(終年沒衣服替換)。……以其姨母為妓于余也。”柳宗元永州后期及柳州時的子女可能為馬室女雷五姨母所生。北宋張端義《貴耳集》說：“唐人尚文好狎(好色)。”唐室王朝開創(chuàng)了經(jīng)濟文化盛世，也風(fēng)行蓄妓納妾的盛行。《新唐書·宦者列傳》載，開元天寶中，玄宗有宮女四萬多人。上行下效，州府郡縣均設(shè)官妓，兵營有營妓，達(dá)官貴人有家妓。其蓄妓數(shù)百者，史載不勝枚舉。官場宴飲娛樂，迎來送往，以妓侍之。而民間則有市妓。據(jù)文獻記載，唐代金榜題名的士子有召妓侍宴的習(xí)慣。以妓為妾是一些文人士者的時尚。劉禹錫晚年與白居易交好，詩文留有有他們召妓酬應(yīng)的記述。《劉禹錫集》有詩《懷妓四首》。而柳宗元身處困境，為求子嗣，擇取貧窮為妓的馬室女雷五姨母，實為無奈之舉，其內(nèi)心的苦痛是可以想見的。柳宗元道德人品與那些蓄妓納妾的達(dá)官貴人是不能同日而語的。