唐陸羽的《靈隱寺記》說(shuō)：“有僧于巖上周圍鐫羅漢佛菩薩。”自唐以后，五代、宋、元，特別是元代造像，數(shù)量之多，規(guī)模之大，使飛來(lái)峰成了漢族地區(qū)數(shù)量最多的喇嘛教密宗造像群。

　　從山洞里側(cè)身進(jìn)入石隙，可以找到元代書(shū)法家周伯溫鐫刻的《理公巖記》，它記述了元至元十六年（1279）元帥伯顏，在此“捐金庀工，載鑿巖石，刻十佛及補(bǔ)陀大士像。”的情況。繼伯顏之后，元人石刻也就多了起來(lái)。但欣賞元代石刻之余，不免被這些石刻的遭破壞而感到遺憾，除了自然的風(fēng)化之外，人為破壞的痕跡也是很明顯的。明朝張岱在《西湖夢(mèng)尋》中就說(shuō)：曾任禮部主事等職的田汝成“錐碎其一，余少年讀書(shū)岣嶁，亦碎其一。”除此之外，田汝成在《西湖游覽志余．板蕩凄涼》中說(shuō)：“飛來(lái)峰有石人三，元西僧嘉木揚(yáng)喇勒智，閩僧聞、剡僧澤像也。蓋其生時(shí)刻畫(huà)諸佛像于石壁，而以己像雜之，到今三百年，莫為掊擊。”所以嘉靖年間，杭州知府陳仕賢見(jiàn)到后很生氣，說(shuō)：“胡為遺惡跡以蔑我名山哉！”于是就命人將它們?cè)伊恕?/p>

　　趙翼的《廿二史札記》中說(shuō)，嘉木揚(yáng)喇勒智就是楊璉真伽。“嘉木揚(yáng)”是璉真伽的前綴，楊璉真伽曾作為忽必烈的“江南釋教總統(tǒng)”，他在飛來(lái)峰造了多聞天王等不少佛像，又在旁邊刻有祝皇帝、真妃、太子等“萬(wàn)歲”、“千秋”等題字。像群中又夾雜了自己的像。但田汝成、張岱、陳仕賢都砸過(guò)他的像，未免也太多了。張岱在《岣嶁山房》中說(shuō)了他砸像的經(jīng)過(guò)：“一日緣溪走看佛，口口罵楊髡，見(jiàn)一波斯坐龍像，蠻女四五獻(xiàn)花果，皆裸形，勒石志之，乃真伽像也。余椎落其首，并碎諸蠻女，置溺溲處以報(bào)之。寺僧以余為椎佛也，咄咄作怪事；及知為楊髡，皆歡喜贊嘆。”但如此坐龍像的“波斯”像，就很可能不是楊璉真伽；八思巴文字勒石志之的，也可能是別的內(nèi)容；寺僧們不再和他理論，也是因?yàn)橹鞒志叩潞蜕惺撬淖宓堋＜热桓吖佟⒚硕荚谠遥兔獠坏糜懈L(fēng)者，正是“嗟乎談宋事而至西浮屠”，特別是在那個(gè)明末清初民族情緒高漲的時(shí)候。

　　《癸辛雜識(shí)別集》記述過(guò)盜掘宋陵的詳情：“楊髡發(fā)陵之事，起于天長(zhǎng)寺僧福聞號(hào)西山者，成于剡僧演福寺允澤號(hào)云夢(mèng)者。”福聞、允澤，就是田汝成所說(shuō)的“閩僧聞、剡僧澤。”天長(zhǎng)寺本來(lái)是埋葬魏憲靖王的地方，福聞為了討好楊璉真伽，“遂獻(xiàn)其寺。繼又發(fā)魏王之冢，多得金玉，以此遂起發(fā)陵之想。”允澤則“一力贊成之。”然后“帶同西僧及兇黨如沈照磨之徒”闖入宋陵，“劫取寶玉極多”，其中“獨(dú)理宗之陵所藏尤厚。”結(jié)果，楊璉真伽盜掘宋陵、侵吞官物被朝廷追究，從他家中抄出贓物僅黃金就有一千七百多。但元世祖忽必烈將他赦免了。所以顧炎武在《日知錄》中就說(shuō)：是元世祖縱容楊璉真伽發(fā)掘南宋帝陵，并說(shuō)這件事是“自古所無(wú)之大變。”特別是楊璉真伽將發(fā)掘出的宋理宗頭骨做成了飲器，讓人難以接受。雖然“西番僧回回，其俗以得帝王骷髏，可以厭勝，致巨富，故盜去耳。”在西藏等地，以死人頭骨做飲器，在過(guò)去是常見(jiàn)的事。

　　宋理宗頭顱飲器的下落，在《明史》里記載：楊璉真伽“截理宗顱骨為飲器。真珈敗，其資皆籍于官，顱骨亦入宣政院，以賜所謂帝師者。”洪武初年，以“驅(qū)除韃虜”為號(hào)召的朱元璋，“御札相臣宣國(guó)公李善長(zhǎng)，遣工部主事谷秉義移北平大都督府及守臣吳勉，索飲器于西僧汝納，叫其以理宗頂骨來(lái)獻(xiàn)。”最后又把它從南京天章寺，送回了重修的紹興宋陵，此事才算告一段落。