祠堂是中国祭祀祖先或先贤的场所。颜习斋祠堂是颜氏后代为纪念颜习斋而建。颜习斋祠堂建于清雍正年间，原来整个建筑平面呈长方形，正殿座北朝南，开一大门，五级台阶，为硬山式顶，门额悬有徐世昌题字“北学之宗”。大门东西两侧各有一间门房，门房朝南各开一方棂木窗。进大门后就是前院，前院东西两侧各有一室。二门是四柱亭式歇山顶门楼，门额悬齐书楷题字"道冠群儒"匾，门柱对联是“著论能补心性空，抱道不辞筋力苦”，为徐世昌所书。

二门北面悬挂蒋式芬题“昆明圣学”匾。内院北为正殿，东西各为配殿。正殿存有于成龙题“敦伦风仁”匾，正殿前有张荫桐、王凤祥和蒋式芬书丹碑各一通。殿内挂有堤圈村民送“守先待后”匾，殿堂正中悬挂颜习斋画像。祠堂颇重装饰，雕梁画柱，古色古香，精美绝伦。充分体现了古代中国劳动人民的卓越才能和和艺术创造力。

1919年徐世昌拨款维修、1964年河北省文物局拨款维修。只可惜在“文革”期间破坏严重。1993年在县文化局、文 保所的努力下河北省文物局又拨款进行重修。1996年5月北杨村村民捐资塑建颜习斋塑像。颜家祠堂正殿的恢复和增加了颜习斋的塑像，这位历史名人的知名度 大大提高。有不少专家、学者和领导来此观光、考察。1993年7月该祠堂被河北省政府列为重点文物保护单位