在不可考的年代，這里飛來兩快條石，大抵為孿生，一律的一擺多長，尺余見方，形似鯉魚，曰“黃石公”。許是秦末那位軍事家，不愿出山而身幻飛來石歸隱這靈杰之地。石分雌雄，雄者現(xiàn)居香山觀，整日俯瞰黃石全貌，成為該山該觀鎮(zhèn)山之寶；雌石飛到觀音寺，寺中以四柱作架，上有鐵鉤掛之，設(shè)于關(guān)帝宮左側(cè)，以物扣之，有樂聲傳出，且每部位各具佳音：激越時，如銳箭穿空，利刃飛舞；清淺時，如山泉叮咚，綠苔沁脾；厚重時，如戰(zhàn)鼓催人，狼煙四起，宏揚時，如虎嘯群峰，萬馬齊喑。

　　就是這位黃石公，秦末調(diào)教出杰出的張良，張良將所承兵法放在羅公山。數(shù)百年后的劉伯溫時任縣令，住地離此不遠，見元虐漢人，心中一直憤懣。一日無事，無意間走到羅公山前，上書“遇劉而開”，山壁頓時石門洞開，入洞得黃石兵法二卷，欲出洞，聞鳴叫聲，展睛一瞧，一猿靠壁，曰：劉公救我！伯溫愕然，猿緊鎖愁眉，黃石公派我鎮(zhèn)守兵法百年，劉公須揭我頭上之符，便算救我。伯溫輕揭符敕，猿頓感自由，飛奔洞外。伯溫徑出得洞來，石門悠然合攏。

　　因了黃石飛來之石，本地定名“黃石”。

　　唐末，黃巢起兵，軍隊所過，白骨枕籍，尤以四川最為慘烈。戰(zhàn)區(qū)勞動力嚴重不足，中央政府便下令湖南人填遷四川，江西人填遷湖南，黃石則是由江西遷來的黎、廖、蘇三姓，皇上下令，三姓插賜為標，你的田種到哪兒哪兒就是你的私田，時人修建的三姓祠上，扁額即為御筆：“皇上恩錫”，祠堂就座落在觀音寺旁。黎姓選擇了黎家峪，即今楊柳村，廖家住在五星，即今東山村，蘇家于金洪落戶，后遷往楓樹的蘇家堆。

　　這便是黃石人口結(jié)構(gòu)的最初的雛形。黎、廖兩家至今仍是黃石的大姓。