黄茆山北面峭壁上有一个天然石洞。洞深七尺许，宽约一丈，高七八尺。洞穴较规整，乍看像人工所为，也许是鬼斧神工所造。洞的地面有一块平面石板，面积约一丈见方。石板上有几条纵横线条，像棋盘图案。

“山不在高，有仙则名”。黄茆山离洞庭湖、岳阳楼很近，这里山清水秀，风景宜人。山上森林茂密，古木参天。因此，八仙（铁拐李、汉钟离、张果老、何仙姑、蓝采和、吕洞宾、韩湘子、曹国舅）和王母娘娘、七仙女、观世音、洞庭龙王等常到山上来休息游玩。

有一天，吕洞宾提着一大壶酒和一袋仙桃邀了张果老来到黄茆山的天然石洞。两人坐在石板上尽情地饮酒闲谈，很是开心。之后，两位神仙以那块石板为棋盘，以石子作棋子，开始下棋。就这样，渴饮酒，饥食桃，一下就是七天七夜。仙人下棋以情为重，以和为贵，基本不分胜负。

从那以后，两位仙人也就经常在这里下棋、休息，至今，天然石洞仍然存在，棋盘石完好无缺。