“山头方石静，洞口花自开。鹤背人不见，满地空绿苔。”这首五言绝句，相传为谢灵运所作，名为《题委羽山》。

关于委羽山的风光，《南村辍耕录》所记甚详：“吾乡台之黄岩委羽山，山旁广而中深，青树翠蔓，荫翳蓊郁，幽泉琮琤，若鸣佩环于修竹间，千变万态，不可状其略。”客居松江的陶宗仪，当是怀着乡思写下这段文字的。

《嘉定赤城志》载：“委羽山，在县南五里。俗号俱依山，东北有洞，世传仙人刘奉林于此控鹤轻举，尝坠翮焉，故以为名。”这是有关委羽山得名的最早记载，其主峰坠翮巅名称也出于此。

唐顾况《委羽山》诗曰：“昔人乘鹤玉京游，翮遗仙洞何幽幽。我来寻觅空夷犹，烟霞万壑明清秋。何当骑麐翳凤登瀛洲，倏忽能消万古愁。”诗中所写，即为周代仙人刘奉林故事。“华阳真逸”顾况曾任台州新亭盐监，临海巾子山今尚余“逋翁亭”，当年戏语白居易“长安居大不易”已成千古佳话。

“从师只拟寻司马，得道终期谒奉林。”句出唐末高道杜光庭《题空明洞》。杜光庭修道天台，往来委羽，终成一代道门领袖。他撰有著名传奇《虬髯客传》，改编为《红拂记》影响甚大。诗中所咏，除刘奉林外，“司马”即司马季主。《史记·日者列传》记载司马季主曾于长安东市卜肆与贾谊辩论，后携子女入委羽，师从西灵子都，“受石精金光藏影化形之术”，修成白日飞升。“潮落尚见岩，鳞赪未见鲤。可知持钓人，不是司马氏。”今委羽山西江畔还有一方“赤鲤岩”，相传为当年司马季主垂钓之地。

《嘉定赤城志》引《登真隐诀》《真诰》皆云：“委羽山天下第二洞，号大有空明之天。”北宋张君房《云笈七签》云：“太上曰：十大洞天者，处大地名山之间，是上天遣群仙统治之所。”十大洞天台州有其三，除委羽山洞外，天台赤城山洞为第六洞天，仙居括苍山洞为第十洞天。《云笈七签》又记七十二福地，黄岩有其二。第四福地东仙源“属地仙刘奉林治之”，第五福地西仙源“属地仙张兆期治之”。《委羽山志》记“东仙源在洞前百余步”。《嘉定赤城志》称：“按道书，洞天福地于是邦为盛。台山之诡异巉绝，独称雄于世间。”

《辍耕录》与《委羽山志》都记载了委羽洞的神奇：“旧传有道士负烛一箧，燃于洞中，行数日，烛尽，燃脂继之，闻橹声而返，疑与东海相通云。”岁月沧桑，委羽洞几经坍落壅塞，现洞内尚留碑刻：“此洞通东海，有缘到龙宫”，却已难觅“负烛摇橹”之奇。

《辍耕录》还记载了委羽洞的仙女传说：“昔有靓妆美女，当风清月朗时，逍遥于竹树之下，或变服叩里人门，求水火。里人异其状，密尾之，迤逦从洞中去。因以为怪，粪其地。越日家或自毁，室庐一空，惟妻子仅免，遂流离他处。人谓秽仙境所致。自是仙女不复出矣。”南宋谢伋《重修委羽洞观记》也有类似记载：“父老相传，数十年前，有青衣童子戏洞口，居人以溷秽之，后竟不见。”由此可见，不管是仙女还是青童，离开委羽洞都已在千年以上了。晚清书画家赵之谦曾执教黄岩翼文书院，游洞后未见仙踪，意兴阑珊，题诗曰：“空明不可说，窥穴了无异。”

委羽洞口建大有宫，取大有空明之天而名，“大有”为周易第十四卦。大有宫创建于何时莫考，《委羽山志》仅记萧子云“至委羽炼丹，手书大有宫额”。萧子云乃南朝齐高帝萧道成之孙，陶宗仪《书史会要》对其书法推崇备至：“谓如危峰阻日,孤松一枝，荆轲负剑，壮士弯弓，雄人猎虎，心胸猛烈，锋刃难当。或又谓如上林春花，远近瞻望，无处不发。”如此神品，惜今亦已湮灭不得见。

委羽山为北雁荡之余脉，相比于王屋之崔嵬嵯峨，“高仅逾丘陵，大稍轶培塿。”《委羽山志》开篇述其形势：“然山虽小，而体势如虎之踞，如凤之集，故诸仙常栖迹于其中。”传南宋名相黄岩人杜范有诗咏之：“莫讶青山小，山因洞得名。仙人骑鹤去，留道在空明。”

清才子袁牧作有一首《黄岩道中》：“十里黄岩路，潇潇雨如麻。老牛知让路，新蝶学穿花。云动山疑活，溪奔石欲斜。黄昏行李湿，惆怅宿僧家。”另有一首《黄岩阻雨居停潘秀才拉游城外委羽山》，其中有句：“道书第二洞，云是委羽山。及予冒雨往，其小如弹丸。”一场春雨，留名士小住，也让这位随园老人见识了“山不在高，有仙则名矣”。