谢氏祠堂始建于明正德年间，由谢迁倡议、谢丕承建。谢丕是谢迁仲子，弘治十八年（1505）中殿试一甲第三名（探花），官至吏部左侍郎兼翰林学士掌院事。大祠堂正门阳额上“四门谢氏始祖祠堂”八个大字，为明代谢正所书。谢正是谢迁长子，以父荫授中书舍人，后入文渊阁办事，预修皇史，升礼部员外郎，敕封辽主副使。谢正精四体书法，《东山志》说他“真草出入颜赵间，篆隶尤有秦汉人风致，西涯李公雅敬服之。”
进正门，里面三大进十五间。第一进中间奉迁姚始祖长二公神主像，东西分奉十八昭穆神主像。第二进中间奉三太傅主像，即晋太傅谢安、宋太傅谢深甫、明太傅谢迁，东西分奉于贤公（即谢选）、汝湖公（即谢丕）神主像。一、二两进都是高大的宫殿式平房，非常开阔气派。第三进为楼房，奉晋朝时迁江南始祖伯登公神主像，东西分奉绳武公、道渊公神主像。第三进建筑风格与前二进绝然不同，木件雕刻极为细致，有鲜明的徽派建筑风格。东侧楼下墙壁上嵌着一块石碑，字体圆润饱满，没有书写者落款，据考证是前清举人谢家山十岁时所书。祠堂东侧有八间平房，解放前为管祠人所住。再东首房子为停灯棚，泗门元宵灯会曾是余姚境内规模最大的灯会，起源于元代，已有600多的历史。祠堂西首有五间平房，为谢氏积谷仓。整个祠堂占地2200平方米，规模之大、保存之完整，为浙东地区所罕见。
谢倩