北魏时，祖魏尚书仆射因晋乱没蕃逐居代北十四代的潘威，在洛阳形成潘姓的第三大郡望。此期潘才的八世孙潘绍业任随州（今湖北省随县）刺史落籍当地。

　　潘佛寿是唐代吏部常选广宗郡潘智昭的曾祖，北周时宜州泥阳（今陕西铜川市耀州区）人；唐代的潘基、潘翔、潘卿、潘孝长，他们的先人也都是广宗（今属河北省邢台市）。

　　唐初，陈元光父子入闽开漳，河南固始人潘节随其入福建。潘绍业的后裔潘求仁因任杭州刺史而定居当地。其间并有移居陕西的潘勖后人兴旺发达起来。江夏（今湖北省武昌）的唐秘书监潘肃仁自称是汉寿潘濬的后裔。由此可见，自东汉末至唐朝，潘姓从中牟望族中又衍分出许多支脉，潘威的后裔则从洛阳望出，又兴盛播迁于怀朔（今内蒙古自治区固阳）、陕甘等地。豫章潘姓兴盛于唐代，至五代南唐时成为当地名门望族。