施氏原本出自鲁惠公的智谋之臣施伯的后代。春秋时，施之常受业于孔子。汉施讐在石渠阁论经，排在五经博士第一名。而望族则出自吴兴，以吴兴郡著称。元朝大德年间（1297-1308），施氏从吴兴卜居于江南龙门之地，因此地千岩竞秀，一江纡流，为繁衍生息的好去处，后以姓命村称龙门施家湾，柏泗公为开村始祖。

　　但此地为何称之龙门，当地人还有个口耳相传的故事。据说古时闹旱灾时，有一位老人夜里梦见一条白龙在山顶上作雨。老人惊醒后，就虔诚地前去寻找。半路上，遇到一个须发皆白的老者。老人感到非常惊异，遂下跪告知事情的原委。经老人再三恳求，老者才说道：“让我看看你们这个地方到底怎么样。”顷刻间，浓雾四起，一座龙门忽隐忽现出现在面前，很快便下起了瓢泼大雨，方圆数十里之内普降甘霖。后人们就将此处称为龙门。

　　明朝永乐年间，柏泗公第四世孙智森公因喜爱山水，漫游到建德直阐，见此地峰峦秀美，溪流潺潺，宜耕宜灌，于是就把家安在了这里。接着大哥昭森公也跟着迁到建德观山山麓，两地相隔数十步。于是，以上施、下施命名村名。

　　施氏家谱始修于清乾隆四年（1739），先后六次续谱，最后一次修于民国十七年（1928），共分五卷。卷一作谱序、诸儒谱论、凡例、首事题名、宅图、龙门竹枝辞、直闸八景、龙门祠堂碑、节孝坊记、徐塘记等三十三方面的内容。卷二为世系图，卷三、四、五为行传。

　　龙门施氏提倡耕读传家，以孝、悌、忠、信、礼、义、廉、耻为家训，故村中能人贤士较多。清邑人赵用砺诗曰：

　　十里西流绕短山，村居何事不清闲。

　　桑麻课罢耕耘起，甲子何须更用颁。