出自姚姓，先祖为生于姚墟（今河南濮城南）的舜，建潘都（今北京延庆县东北），后迁陕西兴平北。商时，舜之后裔在潘地建潘国（今河北怀来、北京一带）。周文王灭潘国，亡国后的潘国人用国名作为姓氏。
2、 出自姬姓。西周初年，周文王姬昌第十五子姬高被封在毕，建立毕国。毕公高封其子季孙于潘，附庸于毕国。其地在今陕西省北部，后迁河南固　1、 堂号：黄门堂：西晋潘岳曾任河阳令、著作郎、给事黄门侍郎等职，故以其黄门侍郎之职称为堂号，又因其为荥阳中牟（今属河南）人，也称为荥阳堂。
2、 郡望：广宗郡：东汉永元五年（93年）置县，治所在今河北威县东。隋仁寿元年（601年）避太子广讳，改名宗城。十六国后赵为建兴郡治；北魏为广宗郡治。此支潘氏，出自潘勖之后，其开基始祖为晋代广宗太守潘才。河南郡：汉高帝二年(205年)改秦三川郡治。此支潘氏，多出自鲜卑破多罗氏之后，其开基始祖为潘威。 荥阳郡：三国魏正始三年（242年）始置郡。此支潘氏为汉献帝时尚书左丞潘勖之族所在。豫章郡：楚汉之际始置郡。此支潘氏为潘崇之后。始，子孙以封邑命氏。或言春秋时，鲁宣公十二年(前597)，楚灭潘，亡国后的潘国人就