《徐孝穆集笺注》六卷（陈徐陵撰、清朝吴兆宜注）记载了魏晋南北朝以来谢氏家族的十二大郡望：

汉晋以来，谢氏见于史册者以陈郡、会稽为盛，陈郡本支载在《陈国阳夏谢氏谱》，会稽山阴则亦难谱，仅就知者谱也。夷吾为山阴之始，盖山阴之祖。其后则有谭、赞、渊、厷、煚、承、崇、斐、秀等俱仕吴；端、风、奉、聘、輶、胜、沉、敷（隐）等俱仕晋，；达仕梁而歧、峤仕陈。两族以外可见者尚有：一曰南阳，则有宛与章陵，宛有景仕吴，章陵有该仕汉。二曰冯翊，盖北地扶风一族也，扶风有谢服，汉末为为将，改为射咸，其子孙则有坚、援仕蜀。三曰下邳则有安仕汉，四曰汝南则有甄、廉、季孝俱仕汉，五曰东郡则有弼仕汉，六曰彭城则有慈仕吴，七曰九江则有曼卿善毛诗仕汉，八曰庐江有奇仕魏，九曰牂牁则有暹仕汉，十曰敦煌则有艾仕前凉。

谢姓以郡望为堂号外，还有威怀、安晋、东山、宝树堂号。“威怀”和“安晋”的堂号出自东晋名臣谢安，谢安名望很高，才气超人。桓温梦想篡位，扣押谢安，要求他合作，谢安坚决不屈服。桓温失败后，皇上拜谢安为尚书仆射，淝水之战，谢安与其侄子谢玄以少用多，击溃苻坚大军，使晋朝转危为安。谢安的忠诚和威风使朝廷上下、外国邦联都敬佩他、怀念他、惧怕他。这就是“威怀”和“安晋”堂号的来历。

陈留堂

是谢姓最早发祥地，也就是现在河南省陈留县。

会稽堂

是谢姓在东晋时期的根所地，也是秦朝的郡名，包括江苏省东部和浙江省西部。

东山堂

东山位于浙江省上虞县之西南，在晋室谢安末出任征讨大都督前隐居所在地，山上尚有蔷薇洞、池屐池等遗迹。另在浙江临安之西 ，及江苏省江宁之北各有 一座东山，当谢安征讨玁狁建功后，曾在江宁之东山修建别邸，迄今江宁东山山顶仍有一寺庙古迹，寺中祀奉为谢安遗像。

宝树堂

晋朝孝武帝驾临谢安官邸，见其庭园中有 一株雄传大树，长得青翠茂盛，当时孝武帝指着大树对谢安言道：“此乃谢家之宝树。”谢氏以“宝树”为堂号，由来在此。《晋书·谢玄传》：“与从兄朗俱为叔父安所器重，安尝戒约子侄，因曰：子弟亦何豫人事而正欲使其佳？玄曰：譬如，芝兰玉树，欲使其生于庭阶耳。”后来唐代文人王勃撰《滕王阁序》，文中就有“非谢家之宝树”之句。