張大千的家族原住廣東番禺，在清康熙廿二年遷到四川，住在內江。父親號悲生，和母親曾太夫人育有十男一女，兄弟都是單名，大哥滎，二哥澤（善子），三哥信，四哥楫，五哥、六哥、七哥早故，他行八，名爰，九弟名端，十弟名璽。他生在1898年舊歷四月一日。

　　1916年，張大千到重慶求精中學念書，放暑假時回內江途中，被土匪綁去當了一百天黑筆師爺。押到一個叫“千斤磅”的地方，土匪們一面休息，一面清查俘虜的底細。張大千這才弄明白，土匪把他們當肉票，要他們寫信回家去勒索錢。輪到張大千寫信時，一個姓邱的土匪一看到他的字，贊賞的叫：“這娃兒字寫得漂亮，我看留他作黑筆師爺好了！”

　　雖然張大千不肯，但在生死關頭，由不得他。第二天，土匪還要去打劫峰高鋪，那個姓邱的土匪派了兩個兄弟伙，一乘轎子，送張大千回龍井口窩子里去。一路上，在路邊放哨的土匪，居然對著他的轎子行舉手禮，他弄不清該不該神氣？到了龍井口，土匪頭送他一對象牙章，帶紅結子的瓜皮帽，把他打扮成師爺樣。可是，在龍井口沒有安頓兩天，政府軍要來攻了，土匪們趕緊轉移陣地，把他移交給一個叫老康的另一個土匪頭子。

　　有一回，張大千被迫跟著老康去搶劫，他站在一旁看熱鬧。有人警告他說：“你也要動手拿東西，否則要犯忌諱的，黑道上的朋友不能空手而回。”他看看四周，有不少書，就在書房里拿了一部《詩學涵英》。另一個土匪馬上訓他：“什么不好搶？怎么搶書？‘輸’是犯忌的。”逼他換別的，他只得拿了墻上掛的四幅《百忍圖》，和《詩學涵英》一起帶走。

　　“搶”到匪窟的《詩學涵英》，真派上用場。張大千學作詩，就從那時候起。俘虜中，一個受虐待的老進士還教他平仄對仗，真是少見的奇人奇事。

　　后來，老康暗中與官方的人接頭，接受招安，到松溉去接受改編。老康被改編作了連長，恢復本姓趙，而張大千就成了趙連長的司書了。過了一個多月，地方軍隊來打趙連長，把整個連都消滅了。張大千被捕后才知道，當時地方軍隊雖說招安土匪，但絕不是真的信任土匪，等到機會，安排妥當了就圍剿。所幸，張大千被捕后不久，他的四哥就趕來營救他，結束了前后整整一百天的綁票。

　　歷險歸來，張大千原想到上海二哥處尋師學畫，可是，父母不同意，他只得在1919年，到日本京都學染織。跟日本人賭氣在日本四年，因為賭氣，他雇用一位翻譯，而不肯說一句日本話。張大千說，世界上有兩國人最沒有語言天才，一是日本人，二是印度人，他們說英語的發音真難聽。他忍不住對一個日本人說，日本人的英文真蹩腳，而那個日本人卻說：“你不知道？亡國奴的舌頭是軟的，要侍候人當然先得學好話。”“自己學不好，反而刻薄別人！”張大千發了火，“好！我就是不學日本話，我出錢，雇日本人來侍候我。”于是，他花了幾百塊錢，雇了一個在天津長大的日本人作翻譯。