史载："白羊峰在岳西北五里，层岩晃朗，洞室空漾。昔有隐此峰者，莫知姓名，当乘白羊往来，因以名峰。每至三元八节，即有神灯或三或五现于崖端。"《列仙传》记述得更为神奇。说战国时有修羊公者隐于石室，每日以黄精为食，以藤萝为榻，眼看吊榻的藤索就要断裂。他依然睡卧不动。到西汉年间，景帝曾慕名以礼请修羊公入朝廷讲道，但修羊公就是不答话，使景帝求仙的愿望数年得不到实现。景帝下诏问他何时开口讲道，修羊公不语，忽然变化成一只石羊，羊腿上有"修羊公谢天子"六字。景帝命侍从把石羊置于通灵台，羊却不知去向。因此汉刘向有诗赞曰：

卓兮修羊，韬奇含灵。

枕石太华，餐茹黄精。

汉礼虽隆，道非所经。

应变多质，忽而变形。