玉山叶氏始祖沈诸梁，战国时仕楚有功，食邑于“叶”，以邑为姓，分支中原各地，本支始祖叶忠显，大业之乱由金陵举家入闽居建洲，长子叶灏唐武德间官授建洲刺史，唐朝后期叶灏后裔叶四翁迁居蔗州，后汉天福元年因山洪暴发，叶四翁之曾孙叶克承携妻及子叶炀迁闽侯扈屿，至今有1000余载，已传38世，在乡人口有万余人。

七世祖叶子海于南宋宁宗间在扈屿创建家庙，至明正德八年改建宗祠，民国十年重修。1996年重建祠宇，建筑面积1200平方米，造价100多万元，坐落扈屿街西面。新祠乃砖木混凝土结构，正面三层，大门上青石匾刻有清朝太子太傅陈宝琛书“玉山叶氏宗祠”，祠内戏台上悬挂项南同志书“俭德堂”横匾，祖厅中悬挂书法名家米南阳书“俭德堂”堂匾。厅堂中保留民国陆军中将叶乐民撰书青石柱雕刻楹联。此外还有祠联18副及横匾20面。宗祠后墙花岗石上镌刻有叶乐民自勉诗，“吾家俭德祖风存，平地楼台待子孙，监理军糈逾十亿，敢私一介辱清门”成为玉山叶氏后裔从政者座右铭。

玉山叶氏历代出进士20多人，如叶子高、叶莫、叶涛、叶观叔侄兄弟同科四进士，故有辉联棣萼之称。民国初，叶乐民为陆军中将，胞侄叶琦为少将，叶琦之子叶镇为中国人民解放军中将，一门三将军。叶琦之女叶群。新中国成立后，群星璀璨，人才辈出。