委羽山是座神仙之山，也是座文化名山。自相传谢灵运的诗句“山头方石静，洞口花自开”开篇，云蒸霞蔚的委羽文化长卷徐徐展开，而明代的新宅黄氏，绝对是其中浓墨重彩的篇章。

委羽山南麓有文毅书院，《委羽山续志》载：“嘉靖中，邑人礼部尚书黄绾为祖文毅公孔昭建。”黄氏祖居洞山（今温岭岙环照谷），至孔昭始迁黄岩后街。孔昭性嗜读书，建业书楼以贮书，当时有“聚书必曰黄氏”之说。卒于任，归葬委羽山，赠礼部尚书，谥文毅。

黄孔昭子黄俌字汝修，号方麓，亦好学不倦，爱书如命。成化十年，黄俌中二甲进士，该科状元王华乃王阳明之父。《委羽山志》收有一首黄汝修与王弼的联句诗：“闲游晴日洞门前（弼），花草芬芳二月天。石罅迸来泉脉细（修），沙痕落尽树根悬。东园竹密山无影（弼），西崦松高鹤有年。却忆当年读书处（修），至今风景尚依然（弼）。”王弼，黄岩南门人，时人誉其“诗才吏治，并称卓越”。

黄绾字宗贤，传祖居地洞山有湖，水落则有石龙出，故号石龙。幼颖异不凡，读书过目成诵，与王阳明亦师亦友，海内一时称重。王阳明在《别黄宗贤归天台序》中嘱咐：“为我结庐天台雁荡之间。”罢官归乡后，黄绾为业师谢铎买山迁葬，辑编《桃溪类稿》，后收养阳明遗孤为婿。“楼开烟雾澄江曲，江南江北相望足。忆昔少年邻居时，共骑竹马颜如玉。”对于故土乡情，黄绾终身念记。“江南江北相望足”一句，今已勒石永宁江畔，千古传唱。乡居时，黄绾常登临委羽山：“升仙何处遗空洞，碑载千秋谢少卿。”“回首松间明月上，罡风犹下步虚声。”谢少卿即南宋重修委羽洞观时作碑记的谢伋。

黄绾曾屡邀平生知己郑善夫同游委羽山，郑因作五律《黄岩黄宗贤为余筑室羽山，招与共栖未果，守官郁郁，辄有东路之思，奈故乡多难，欲归不可行，当赴其招矣，记兴二首》。是年冬，“天晦，大雪浃旬不止”，郑善夫自闽中抱病来访，黄郑两人于委羽山“相与论圣人之学”。郑善夫作《至委羽山》：“东海龟兹仙圣居，琅轩芝草洞天虚。函关已断青牛驾，委羽忻逢白鹿车。”客居黄岩时，郑善夫对黄氏业书楼赞叹不已：“台南有高楼，下瞰澄江水。”“目击道自存，我爱温伯子。”

黄氏诗书传家，代有才俊。黄绾从弟黄约，自号空明山人。《石斋述闻》载当朝首辅夏言《赠空明山人》诗：“百年兄弟自诗友，一时海内闻高风。长公长材已梁栋，山人犹卧空明洞。”黄绾五子黄承忠，书法得晋人遗意，旁及花鸟，意格生动。《委羽山志》收其诗一首：“澄江江上早潮平，独放扁舟绕郭行。东望沧溟三岛碧，南登委羽一峰青。丹书未识何年秘，古洞惟传今日名。醉后凭高思羽化，自惭犹未断尘情。”记游当日舟行澄江、醉登委羽，而发尘外之幽思。

黄承忠有子黄惟楫，字说仲，“文有奇思”，以“柳毅传书”故事改编南戏剧目《龙绡记》。《曲品》评：“说仲尚书之裔，推競爽於侯家。”台州入选《曲品》的还有临海状元秦鸣雷的传奇《合钗记》。《委羽山志》收黄惟楫咏委羽五言古诗一首。黄惟楫（说仲）与其兄黄惟栋（上仲）诗文并重于世，时称二仲。

黄惟栋于委羽山建大有山房，终日读书其间，自作《大有洞天歌》云：“谁其主者黄上仲，诛茅结屋面兹峒。累月经年不出门，窗前闲把丹书讽。有时杖策姿游遨，飘飘逸兴凌云霄。朝向花前倾玉液，夜临峰顶吹璚箫。”一派悠然自得，真乃“有书真富贵，无事小神仙”。而委羽胜地，一时群贤毕至，少长咸集。

明代杰出的人文地理学家王士性，家乡临海与委羽山只隔一岭之遥，曾赋《黄上仲读书委羽洞》：“海气远从瑶岛上，霞标高与赤城连。王孙岁暮归来晚，为我长吟桂树篇。”明“广五子”中的欧大任作《大有山房为天台黄生赋》：“洞辟空明上，千秋委羽时。鸣鸿飞欲隐，控鹤去难期。旧业儒林传，名家祖德诗。谁知岩石卧，姓字动京师。”欧大任还为《黄说仲诗草》作序。而“末五子”中的屠隆、胡应麟也均为黄上仲大有山房赋诗。《明史》称“生有异才”的屠隆诗云：“闻说空明洞，仙人控鹤行。鲜云栖石屋，凉月度瑶笙。花里飞泉细，松间古路平。思君读书处，烟雾入窗楹。”撰有诗论专著《诗薮》的胡应麟题诗：“何来江夏客，半榻抱云眠。赋割中原地，书藏大有天。金光萦乱石，玉乳映飞泉。笑我华阳洞，群羊隔暮烟。”江夏乃黄姓祖地，此诗当合胡氏所创“兴象风神”之说。

“龙卧躭高尚，云萝洞壑深。草萦当户带，竹度隔溪阴。小酉藏书日，中条避世心。仙群如可下，鸾鹤有遗音。”这是焦竑赠黄上仲的诗作。状元焦竑也是藏书大家，他在家乡江宁建澹园，“藏书两楼，五楹俱满”。尤可一记的是，焦竑曾校勘刊刻《谢康乐集》四卷，并在《题辞》中评点：“弃淳白之用，而竟丹雘之奇；离质木之音，而任宫商之巧。”以绘画与音乐作比，更见谢诗的华妙风流。