十几亿年前盘古大陆时期，中国有大片的土地浸于海水之中，而安徽省的灵璧县则处于海陆交界形成了一片浅海滨，随着大陆块上浮海水中的藻类死亡后与盐类一起沉淀在灵璧县地下形成碳酸盐层。碳酸盐层经过了几亿年的地质变迁并在地球内部高温高压下固结成为岩层，而碳酸盐则结晶为方解石、白云石等等。
岩层中的岩石又经过数次地质运动和火山活动于9亿年前形成了两种岩石，一种被称为“隐晶质石灰岩”，其矿物颗粒细小、质地致密均匀并含有丰富的铁等金属元素，能发出清脆的声音而成被古人作为乐器“磬”。相传大禹治水三过家门而不入，他的妻子涂山娇敲击磬石以表达对丈夫的理解和思念，直到唐朝杨贵妃时这种岩石仍是作为“编磬”的最佳材质。
另一种岩石没有形成隐晶质结构不能发出优美的声音，但是由于它受地表水、地下水和植物的溶蚀、侵蚀而通透多孔、婀娜多姿而被用于园林造景，因为它出现于灵璧县所以被称为“灵璧石”，而能够发出声音的岩石则被称为“灵璧磬石”。“灵璧石”石表清润秀奇、妙趣叠出，肌肤往往巉岩嶙峋、沟壑纵横，古人将其列为中国116种观赏石第一位。
正因为灵璧石鬼斧神工的天然造型一直为皇家所爱，是作为园林造景的主要石材，直到五代十国南唐后主李煜偶然发现灵璧石“下墨而不发墨”的特点而将其作为砚台的别支，独创研山石，自此灵璧石成为文人墨客最爱的案头清供。据说北宋兵临南唐首都金陵时李煜已逃出城外，他在途中想到砚山石没拿于是折返皇宫而被俘，关键时刻他将砚山石交给弟弟保管。
100年后的宋徽宗时期，书法家米芾在大婚之夜收到了妻子李氏从娘家带来的传家之宝，米芾一下就被迷住了：只见眼前有一块石头重峦叠嶂，沟壑纵横，苍劲刚烈却又不失阴柔鬼魅,这赫然就是失踪了100多年的李煜最珍爱的砚山石。原来米芾的妻子李氏是李煜的第五代后人，她之所以将传家之宝赠送米芾，一是因为他爱石如命，二是祝福两人的婚姻。
作为米芾同时期的书法家宋徽宗也是奇石的爱好者，当他无意看到米芾的砚山石后爱不释手并几次三番向米芾索取都被米芾装疯卖傻糊弄过去，最后他痛下杀手利用皇权通过蔡京威逼米芾：“要石头还是要人头？”最终米夫人救夫心切不得不捧着研山石夜闯皇宫觐献宋徽宗，米芾这才躲过一劫。
米芾失去研山石后茶不思饭不想，日夜思念而作《研山铭》，成为中华书法界的一件瑰宝。2002年《研山铭》在10秒内以2999万被拍卖，每字折合人民币76.9万元，创下了当时中国艺术品拍卖界新的历史记录。米芾虽失去了爱石，但却救了自己一命最终寿终正寝，而宋徽宗却自作孽将自己推入了万丈深渊。
宋徽宗自得研山石后似乎入了魔，他特地建造一座皇家园林——艮岳来收藏天下奇石，并将灵璧石列为强征名单的首位运回汴梁。由于宋徽宗搜罗天下奇石耗尽了大量的人力物力，搞民不聊生激起了民变，最终于1126年靖康之变亡了国，自己也被金军俘虏北上病死五国城，而艮岳中的灵璧石则被洗劫一空，研山石也从此没有了踪迹。
宋徽宗艮岳的灵璧石被洗劫后四处分散，其中现存的有北海公园的折粮石，乾隆行宫中的八音石等等。乾隆自得八音石后也是对灵璧石爱不释手受，他御题灵璧石为“天下第一石”，甚至在六下江南时3次绕道灵璧县寻找消失已久的研山石。2010年消失了近1000年的研山石现身于某拍卖场，如今珍藏于北京文博学院。
