间流传着许多美丽的传说。有的说是女娲当年补天路过木鱼山，被这里的青山秀水、绮丽景色所陶醉，翩然起舞，将五色彩石散落在这里的山坡、溪畔和田野里，化成了这光彩夺目的宝石。有的说是远古一只凤凰神鸟的彩蛋液渗入木鱼山，附近的地下变成了木鱼石。
还有一种说法，说木鱼山这地方起初不叫木鱼山，是叫别的什么名字。
这里附近住着一个年轻樵夫，名叫李木鱼。李木鱼自小喜欢下棋，且棋艺高超。有一天他上山砍柴，见两位白发老者正在山顶的一块大石头上对弈。李木鱼就挑着担子来到一旁观战。
两位老者见这位年轻人看得如此聚精会神，似乎颇通棋艺，就邀他对弈。李木鱼也不推迟，就坐下来与两位老者交上了手。虽然两位老者棋艺老道，不想却被这位年轻人连赢了几局。
一位老者手捻长髯笑道：“真想不到凡间竟有这等好手，老夫佩服，佩服！”
两位老者见李木鱼衣裳朴素，砍柴为生，颇为清贫，心存怜惜，就将所用棋子送给李木鱼，吩咐他今后不必再上山砍柴了，自有好日子过。说完只觉一阵清风拂面，已不见两位老者的踪影。
李木鱼带着两位老者送的棋子挑起担子回家。走在路上不小心摔了一跤，手中的棋子散落了一地，说来奇怪，只见这些个棋子一个个立即都变成了五颜六色的石头，大石头又生出小石头，捡也捡不完。
李木鱼一回到家里就将这事一五一十地告诉妻子。于是他们夫妻每天都上山捡石头，挖石头。他们将捡到的石头拿到集市上去卖，不想被人一下子买光，得了不少钱，这样他们夫妇的日子就慢慢好起来了。
此事一传十，十传百，没多久，附近的人都知道了，大家都上山去找石头，以后人们就将这座山叫木鱼山，把棋子变成的宝石叫木鱼石。
据《本草纲目》记载，木鱼石系珍稀中药材，其性甘平无毒，有定六腑、镇五脏之功效，久服有强力、耐寒、耐暑、不饥、轻身、延年不老之神奇疗效。故而，木鱼石有“得者有缘，无福妄得”之说，得者往往不传其产地，更使该石身价百倍。
木鱼石经实验室鉴定，木鱼石含有偏硅酸、锶、钼、锂、锌、硒等十多种对人体有益的微量元素，有很强的保健和美容作用。
用木鱼石浸泡的水，在五分钟后，就可以达到优质矿泉水的标准，甘甜爽口，由于木鱼石有奇特的功效，被称为“中华第一神石”。
长期使用木鱼石杯饮水可减缓衰老，延年益寿。