永元年间(公元 89 年-105 年),张衡曾经被推举为孝廉,但他并未接受这份殊荣。不仅如此,公府屡次征召他,他也无动于衷。直到永元十一年(公元 99 年),张衡才从京师返回故乡南阳。
第二年,张衡应南阳太守鲍德之邀,出任其主簿一职,负责处理各类文书事务。此后,在永元十二年(公元 100 年),张衡再次应鲍德之请,继续担任主簿,依旧专注于文书工作。然而,到了永初二年(公元 108 年),鲍德调任至大司农,张衡便辞去主簿这一职务,转而全心全意地投入到学术研究之中。