民间传说，潘仝之父潘从源，是福建省汀州三洲潘坊人氏，担任江西吉州教谕。他熟读诗书，尤精堪舆之术。留下“有缘得地，以死求发”的传说，据说，担任江西吉州教谕的潘从源卸任还乡时，途经五里隘，看中了这一风水宝地。潘从源于是让家人驱牛食禾，和当地农民发生争执，后舍身自缢。其子潘仝遵照父亲嘱咐，与当地农民交涉，将潘从源葬入了这块风水宝地。潘仝还乡后，参加科举，一举得中状元。钦点为广州观察推官、升至内阁大学士。潘从源丁财颇盛，遍及江南各省，均尊潘从源墓为祖地，故名“状元家山”。

“状元家山”位于江西省兴国和万安县交界的界山五里隘的兴国一侧，距兴国县城约40公里，沿石级上山约100米抵达墓地，墓地再登山100米是兴国和万安两县交界的五里隘。状元家山在一个小山窝内，墓前10米左右即是陡坡，墓后也是陡坡，故在山下看不见墓。这个位置是非常符合风水“藏风聚气”的原则。站在墓前，视野极为开阔，后面的靠山如圈椅状，两边的山坡成自然砂手，山下是的一块盆地，两条河汇合，呈半圆形流过墓前，属典型的“玉带缠腰”格局。但见两股河水涌来，不见河水流走，风水术语叫“双江汇秀”。两水交汇处过去形成了一座潭，叫狮子潭，现在正在建一座小水电站，将会形成一个约200亩的湖，届时更成为一个“金盆聚水”的局面。墓地的右边一座逶迤险峻的山峰插过来，象一面面展开的旗帜，叫令旗峰。主后代将帅云集。实际上潘从源之孙潘任就是南宋最后一任兵部尚书。墓前的案山重重拔起，数峰交错呈笔架形，第四重山顶方形，是个纱帽形，主后代文星荟聚。

状元家山的龙脉从海拔1152米的天湖山曲折而来，是兴国、万安、泰和三县交界的大山，气势雄伟。墓地是辛山乙向，辛酉分金。墓穴是一个“渔翁撒网”形。墓前两侧立了4根2米高的红石华表，正面刻有两副对联曰：“从中牟播环宇后裔当思祖德，源荥阳肇根基前贤历建丰功”、“狮子潭凤击蛟腾一堂瑞霭荣花萼，五里隘龙蟠虎踞万丈文光射斗牛”。前联嵌入了墓主“从源”的名讳。并说明了潘氏起源于中牟，得名于荥阳的典故。后联说明墓地位于五里隘下狮子潭前的地理位置。墓门正中墓碑文曰：“宋始祖诰封监察御史升秘书阁大学士潘公讳从源字智河妣戴氏老太夫人 佳城”。墓顶上是“状元家山”四个大字，墓侧还有重修的简介和捐资碑文。

“状元家山”正是是宋大学士潘仝的父亲潘从源夫妇的墓，据潘氏族谱记载和有关专家考究，潘氏墓是客家中原南迁的重要实物见证。