古时候黄茆山曾叫亚云山。
黄茆山山名源于古代黄帝的故事。
据古史记载:黄帝被诸侯尊为天子后,以风后为相,以力牧为将,命大桡作甲子,容成造历。蚕桑、舟车、文字等皆始于黄帝。黄帝打败了炎帝后,遂率部下来到江汉流域,后到云梦泽(即洞庭湖)。一日凌晨,黄帝高兴地带着一班人乘船来到北洞庭,指着东面一座美丽山岳说:“此山可佳!”丞相风后问作甲子的大桡:“此山名何山?”大桡掐指一算,望其山说:“此时为卯(这个时候,正是卯时),朝气腾升,黄帝问其名此山就叫‘黄卯山’好了。”后来,人们见此山柴少草多,就在“卯”字上加上一个草头。于是,这山名就成了“黄茆山”。
又过了上千年,秦始皇修筑长城,到各地驱赶长形山岳代筑长城。一天,秦皇来到麋子国(即古岳阳),晚上他手握鞭子驱一座山向北走去,当赶到洞庭湖的叉湖(即今岳阳市的南湖)边上,山边村子里的公鸡打鸣了,于是山赶不动了,这山就是如今南湖南边的“赶山”。秦皇也曾想驱赶黄茆山,但见它太高、太大,筑长城不适用,便让它留下堵塞洞庭湖的凶猛洪水。后来,张果老见长长的“黄茆山”的山顶平整高峻,难以跨越,便操起铁扁担朝此山猛劈了三下,于是这山火星四溅,飞砂走石,整个山体如大海波涛连天涌荡,最后,定格成今天高低起伏、逶迤不断的山峦。从此,张果老从这山的山凹跨来走去方便多了。
这山南有储藏金碗、金筷、金杯的柜门山和狮口向天山;北有仙人的棋盘石与观音圣母等前来闲游的大坪;东面与西面有多座颇具灵验的庙宇。