《唐才子傳》說王之渙為薊門人，或因他少有俠氣、從五陵年少游、擊劍悲歌的性格而臆猜，靳能墓志銘記載，之渙“本家晉陽，宦徙絳郡”，則晉陽(今太原)為其原籍，家居絳州(今山西新絳縣)。墓志銘說王之渙卒于天寶元年( 742年)二月，享年55歲，推之可知生于武后垂拱四年(688年)。

　　王之渙出身于太原王家，為當時望族。他的五世祖王隆之為后魏絳州刺史，可能因此而移家絳州的。曾祖王信，隋朝請大夫、著作郎，入唐為安邑縣令。祖王表，唐朝散大夫、文安縣令。父王昱，鴻臚主簿、浚儀縣令。從曾祖到父親，雖然皆為官，但均為小官。王之渙出身于普通仕宦之家，排行第四，自幼聰穎好學，年齡還不到 20 歲，便能精研文章，未及壯，便已窮經典之奧。不知何故，王之渙未走科舉之途，而以門子調補冀州衡水主簿。任衡水主簿時，王之渙父母均已去世，衡水縣令李滌將三女兒許配給他。

　　王之渙與李氏的婚姻，可能還有一段羅曼史。開元十年( 722年)兩人結婚時，王之渙是已婚并且有孩子之人，年已35歲，而李氏年方二九，比王之渙小17歲，正是妙齡女子。縣令的千余，嫁給父親部屬、35歲又已婚的小小縣尉，頗耐人尋味。這一定是為王之渙的才華所傾倒。

　　王之渙才高氣盛，不愿為了衡水主薄的卑職而折腰，加上有人誣陷攻擊，他便憤然辭官而去，“遂化游青山，滅裂黃綬。夾河數千里，籍其高風;在家十五年，食其舊德。雅談珪爵，酷嗜閑放。”在家過了15年閑散自由的生活。后來他的親朋好友覺得他這樣一直沉于下層，不是辦法，便勸他入仕。后來補文安郡文安縣尉，仍是一不起眼之小職。他在職風清白著稱，理民以公平著稱，頗受當地百姓稱道。誰料不久，他竟染病不起，以55歲之壯年，卒于官舍。