于氏家庙始建于明朝万历年间，拥有正殿三间，翘角环柱，正殿的两侧建有耳室。在大殿的正门两侧，有一对石狮子，雄姿栩栩如生。在正殿前有两颗长的郁郁葱葱的古松，并有两通石碑，记载于氏家族起源、家族迁徙史。初建时称“于氏先祠”，供奉着滋、旻、麻、纪四祖牌位。自麻祖第十八世孙于凌辰任通政使司通政使，官居正三品。于凌辰回山东祖居地小东庄祭祖时，将“于氏先祠”扩建并更名为“于氏家庙”，并亲笔题写“燕天昌后”四字匾额，悬挂于家庙内正堂之上。“燕天昌后”意思为：安和慈祥的始祖啊，请您放心吧，您的后辈已昌盛发达。以此激励于氏后世子孙。

    于氏家庙历经四百余年风霜雪雨的侵蚀，虽在清朝同治年间经过修缮，但已经残破不堪。正殿两侧的耳房，一对石狮子、两通石碑、两颗古松均遭到破坏，荡然无存。三间正殿，在“文化大革命”中也险遭毁坏，家庙内部文物遭到毁坏。只有四祖牌位，由于氏纪祖后裔孙于锡祥半夜冒险翻墙进入家庙内，偷偷拿回家保存了41年，直到2008年河东于家村于世泮、于乃功等发起修缮家庙时方重见天日。2009年“于氏家庙修缮委员会”成立，由于氏麻祖后裔子孙二百八十余人，捐资贰万八千余元，对于氏家庙进行了重新修缮，使于氏家庙重新焕发了生机，成为当地一道靓丽的人文景观。