據史書記載，他10歲時就“能五經貫六藝”，過目成誦。他興趣很廣泛，常常涉獵自然科學方面的讀物，而且寫得一手好辭賦。

　　一天，張衡從一本詩集里讀到四句詩，描述了北斗星在各個季節傍晚時的變化：“斗柄指東，天下皆春;斗柄指南，天下皆夏;斗柄指西，天下皆秋;斗柄指北，天下皆冬。”他覺得這太有意思了。天上的繁星閃爍，有的像箕，有的像斗，有的像狗，又有的像熊，它們的運行義各有怎樣的規律呢?這簡直是太美妙了。于是張衡根據詩的內容又參考別的書籍畫成了天象圖，每夜只要是沒有云彩，他就默默地對著天象圖仔細觀察著夜空。廣漠的星空有多少難解之謎呀，他觀察著、記錄著、思考著，他的腦袋里裝滿了各式各樣的問題，充滿了五顏六色的幻想。后來，他終于確認那四句詩里描述得不夠準確，事實上斗柄早春指東北，暮春卻指東南。

　　少年時代對日月星辰的觀察，激發了張衡努力探索天文奧秘的決心。后來他兩度出任中央政府專管天文的太史令，在這方面取得了輝煌的成就。據《辭海》所記：他首次正確解釋月食是由月球進入地影而產生;觀測和記錄了中原地區能看到的2500顆星星，并且繪制了我國第一幅較完備的星圖;他創制了世界上第一臺候風地動儀;創造了指南車、自動記里鼓車和能飛行數里的木鳥。

　　渴求知識的張衡總是感到自己知識的不足，不滿17歲時，他辭別父母獨身一人到外地訪師求學。在古都長安，他游覽了當地的名勝古跡，考察了周圍的山川形勢、物產風俗和世態人情。在當時的京都洛陽，他結識了不少有學問的朋友，其中有一個叫崔瑗，精通天文、數學、歷法，還是很有名氣的書法家。張衡登門向他求教。正是由于他這種虛心好學的精神使得他在各方面獲益匪淺。除了在天文學方面有杰出成就外，在地震學的研究上也是舉世矚目的，他創制的候風地動儀比歐洲相類似的儀器問世早1700多年。他還是東漢六大畫家之一，他寫的《二京賦》“精思博會，十年乃成”，為人們所津津樂道。