曾氏宗祠崇本堂背靠出林虎山，面朝坎仔头山，古朴的风格与周边环境映衬。宗祠面阔三间，前厅进深二间，主堂进深三间。据高港崇本堂管理委员会主任曾双全介绍，曾氏宗祠与其他很多祠堂不同，除了开前后，还开了一个后门。“据说建造该祠堂的风水先生说，根据风水龙脉走势，祠堂要开后门，后人才能发展好”。

堂前设有一天井，天井由鹅卵石铺就，特别的是，这些鹅卵石铺就了三幅图案:靠西侧的是一只绵羊，中间是一个钱币，东侧为一只乌鸦。曾双全说，绵羊和乌鸦图是“乌鸦反哺，羔羊跪乳”的写意，祖宗告诫后人应当慎终追远、孝顺为本;而钱币图案则希望后人能够富贵发达。

走出曾氏宗祠，在大门处，有两尊明代的抱鼓石。曾双全介绍，这两尊抱鼓石曾多次失窃，但是神奇的是，每次都失而复得，最近一次是去年从厦门找回的。原来，12年前的一个晚上，宗祠前的抱鼓石遭窃，族人四处寻找无果据南靖南坑《曾氏族谱》记载，元末明初，南靖高港曾氏始祖曾永兴，由永定县成乾迁至南靖旋洋(现书洋镇)定居，其子百五郎公再移居至船场下山村葛山内林。后因窃贼案，宗亲着散，分居南坑下山村、高港村、新罗村等地，第四世三十七郎公到豪山社(今高港村)开基，为高港曾氏肇基始祖。

高港村山清水秀，曾氏子孙枝繁叶茂，目前高港曾氏在南靖已传24世，人口约5000人，主要聚居在南靖县。在明清时期，曾氏族人大量外迁至广东新罗、饶平、广西桂平、柳州和合湾等地。

族人也大量迁台，现迁台宗亲主要分布在南投、宜兰和台中等地，其在台后裔人数甚至多于祖地数倍。

曾氏出自姒(sì)姓，在远古帝舜时期，鲧的妻子修己因梦见吃了薏苡而生下禹，帝舜便赐禹姒姓。夏禹的第五世孙少康中兴夏室后，曾把幼子曲烈封于“鄫”地(在今山东苍山县西北)。从此鄫国历经夏、商、周三代，大约相袭了近2000年，直到春秋时代才被莒国所并灭。此时，怀着亡国之痛的太子巫逃奔到鲁国，复国无望，便在鲁国的南武城(今济宁市嘉祥县南)长期住下来，去邑旁(即“阝”旁)，表示离开故城，改鄫为曾，称曾氏，成为曾姓的得姓始祖。但曾氏多以后来的山东嘉样人曾参(即曾子，孔子学生)为一世祖。

曾氏族人屡次迁徙，先迁闽西汀州府宁化县，后又于明代迁入南靖。