据史载，北宋末年，金兵南侵，孔子第48代孙袭封衍圣公孔端友背负孔子和亓官夫人楷木像，随高宗赵构南渡，赐家于衢。此后，孔氏子孙在衢绵延，先后有六人被锡爵赐封，史称“六代公爵”。至元十九年（1282年），元世祖确认孔氏“寓衢者为大宗”，遂诏孔子53代嫡长孙衍圣公孔洙入觐，命归曲阜袭封。孔洙以“先祖庙墓在衢”为由，让爵于曲阜族弟孔治，并选择在衢州永久定居。明正德元年，孔子59代嫡长孙孔彦绳复爵翰林院五经博士，子孙世袭。由此，孔子后裔为南北两宗，南宗即为衢州孔氏家庙。至今，孔子嫡裔在衢州已繁衍28代。