据家谱记载始祖讳 用，宋末元初由江南金山《今江苏丹徒镇江》为避战乱，迁居至此。

始祖讳用字彦昌，元初太医助教，子四敦仁，敦裕，敦敏，敦和。三世朋，林，羽。三世钧世袭儒医敕封国王父母。铎，钺。五世道亨。道泰《河南陕州知州嘉定知州》，道昭道贞，道弘道原，道平，道坦道忠等。一至六世皆名医。元末明初，我村近临大道，为避战乱，而四处逃生，有在金乡，或外县，也有外省。赵抃出生在北宋大中祥符元年(1008)三月二十六日，终于宋元丰七年(1084)八月二十六日，十二月葬衢州西安县莲花山。赵抃的祖父叫赵湘，为北宋淳化三年(992)进士，庐州庐江尉(今安徽庐江)，著名诗人，宋初文学改革倡导者之一。赵湘把家从越州(今浙江绍兴)迁移至衢州西安县西安乡陈庄保大山自然村(今柯城区信安街道沙湾村)。后因赵抃在继母墓旁造茅屋守孝，三年不在家住宿，西安县令过勖(xù)为表彰他的孝行，将村名“陈庄保”改为“孝悌里”，并撰文《孝悌里记》赵抃的父亲叫赵亚才，娶过两位夫人，生了六个儿子：振、拯、抃、拊、抗、扬。赵抃的三个弟弟是继母所生。赵抃在家中是老三，在家族兄弟中排行老四，所以他的《高斋居住》一诗中有“世人欲识高斋老，只是阿村赵四郎”之说。顺便说一句，“高斋”是赵抃的住宅名，不是村名。赵抃幼年丧母，少年丧父，家境贫寒。他是其哥哥赵振与继母徐氏抚养教育下成长的。赵抃小时候在陈庄保家中读书。年稍长，他就沿衢江、常山江到了常山县的三衢山，在三衢山西南坡溶洞中读书并兼教私塾。这个溶洞因赵抃成名，叫赵公岩。赵抃生了三个儿子，名叫赵山元、赵山几、赵岘。他把三儿子赵岘改名赵棠，过继给在湖南衡山的堂弟赵纪为子。这一支后来成为衡山的一大家族。其中赵棠的孙子赵葵官至右丞相。而苏轼《赵清献公神道碑》中说赵抃有两个儿子，把过继的赵岘未算在内。