唐陸羽的《靈隱寺記》說：“有僧于巖上周圍鐫羅漢佛菩薩。”自唐以后，五代、宋、元，特別是元代造像，數量之多，規模之大，使飛來峰成了漢族地區數量最多的喇嘛教密宗造像群。

　　從山洞里側身進入石隙，可以找到元代書法家周伯溫鐫刻的《理公巖記》，它記述了元至元十六年（1279）元帥伯顏，在此“捐金庀工，載鑿巖石，刻十佛及補陀大士像。”的情況。繼伯顏之后，元人石刻也就多了起來。但欣賞元代石刻之余，不免被這些石刻的遭破壞而感到遺憾，除了自然的風化之外，人為破壞的痕跡也是很明顯的。明朝張岱在《西湖夢尋》中就說：曾任禮部主事等職的田汝成“錐碎其一，余少年讀書岣嶁，亦碎其一。”除此之外，田汝成在《西湖游覽志余．板蕩凄涼》中說：“飛來峰有石人三，元西僧嘉木揚喇勒智，閩僧聞、剡僧澤像也。蓋其生時刻畫諸佛像于石壁，而以己像雜之，到今三百年，莫為掊擊。”所以嘉靖年間，杭州知府陳仕賢見到后很生氣，說：“胡為遺惡跡以蔑我名山哉！”于是就命人將它們砸了。

　　趙翼的《廿二史札記》中說，嘉木揚喇勒智就是楊璉真伽。“嘉木揚”是璉真伽的前綴，楊璉真伽曾作為忽必烈的“江南釋教總統”，他在飛來峰造了多聞天王等不少佛像，又在旁邊刻有祝皇帝、真妃、太子等“萬歲”、“千秋”等題字。像群中又夾雜了自己的像。但田汝成、張岱、陳仕賢都砸過他的像，未免也太多了。張岱在《岣嶁山房》中說了他砸像的經過：“一日緣溪走看佛，口口罵楊髡，見一波斯坐龍像，蠻女四五獻花果，皆裸形，勒石志之，乃真伽像也。余椎落其首，并碎諸蠻女，置溺溲處以報之。寺僧以余為椎佛也，咄咄作怪事；及知為楊髡，皆歡喜贊嘆。”但如此坐龍像的“波斯”像，就很可能不是楊璉真伽；八思巴文字勒石志之的，也可能是別的內容；寺僧們不再和他理論，也是因為主持具德和尚是他的族弟。既然高官、名人都在砸，就免不得有跟風者，正是“嗟乎談宋事而至西浮屠”，特別是在那個明末清初民族情緒高漲的時候。

　　《癸辛雜識別集》記述過盜掘宋陵的詳情：“楊髡發陵之事，起于天長寺僧福聞號西山者，成于剡僧演福寺允澤號云夢者。”福聞、允澤，就是田汝成所說的“閩僧聞、剡僧澤。”天長寺本來是埋葬魏憲靖王的地方，福聞為了討好楊璉真伽，“遂獻其寺。繼又發魏王之冢，多得金玉，以此遂起發陵之想。”允澤則“一力贊成之。”然后“帶同西僧及兇黨如沈照磨之徒”闖入宋陵，“劫取寶玉極多”，其中“獨理宗之陵所藏尤厚。”結果，楊璉真伽盜掘宋陵、侵吞官物被朝廷追究，從他家中抄出贓物僅黃金就有一千七百多。但元世祖忽必烈將他赦免了。所以顧炎武在《日知錄》中就說：是元世祖縱容楊璉真伽發掘南宋帝陵，并說這件事是“自古所無之大變。”特別是楊璉真伽將發掘出的宋理宗頭骨做成了飲器，讓人難以接受。雖然“西番僧回回，其俗以得帝王骷髏，可以厭勝，致巨富，故盜去耳。”在西藏等地，以死人頭骨做飲器，在過去是常見的事。

　　宋理宗頭顱飲器的下落，在《明史》里記載：楊璉真伽“截理宗顱骨為飲器。真珈敗，其資皆籍于官，顱骨亦入宣政院，以賜所謂帝師者。”洪武初年，以“驅除韃虜”為號召的朱元璋，“御札相臣宣國公李善長，遣工部主事谷秉義移北平大都督府及守臣吳勉，索飲器于西僧汝納，叫其以理宗頂骨來獻。”最后又把它從南京天章寺，送回了重修的紹興宋陵，此事才算告一段落。