南宋谢伋隐居黄岩所住的灵石寺，年代颇为久远。据明万历《黄岩县志》记载：“孙恩屯兵其处，忽有飞石击之退，遂改名灵石。有智顗翻经台、唐李义山著书堂。宋绍兴初，谢参政克家乞为香灯院。”

此寺始建于东晋隆安二年，因僧诵《仁王经》天降甘露而名甘露寺。后浙东“五斗米道”兴起，相传孙恩在此屯兵伐木造舟，忽有石从天降，击退孙思，故山寺均改名灵石。历史上灵石寺数度易名，在谢家乞为香灯院更名教忠崇报寺之前，又称耀珠寺。据《赤城志》载：“旧传昔有异人殿中塑佛像，期与十旬启门，僧怪之，未及期而启，壶有双鹤飞出，视所塑才二像，珠髻荧然，故寺旧名耀珠。”到了吴越国时期，末代国王吴弘俶在其龙兴之地台州多建佛塔以保境安民，国师德韶上人奉命在寺前建东西二塔，同时所建的还有县东九峰瑞隆感应塔。

《黄岩县志》所载的“智顗翻经台”，为南陈天台宗创始者智者大师留下的遗迹。有关智顗翻经的记述历来甚详，而“李义山著书堂”却未见记载，只能从李商隐的诗文中寻找蛛丝马迹。

考义山年谱，元和九年，义山三岁，父李嗣罢获嘉令，入浙东幕府，长庆元年嗣逝于浙西幕府，义山归豫。李商隐《祭裴氏姊文》曰：“浙水东西，半纪漂泊。年方就傅，家难旋臻。”写的就是自己十岁前的经历。史载孟简任浙东观察使时李嗣入其幕，孟简离任后改投浙西李翛幕。浙东治所越州，辖台州，李氏父子可能在此期间随孟使驻黄岩。义山《出关宿盘豆馆对丛芦有感》自称：“昔年曾是江南客，此日初为关外心。”他在《上崔华州书》中自述：“五年读经书，七年弄笔砚，始闻长老言，学道必求古，为文必有师法。”据此，如李商隐果真曾住灵石，年龄当在五至七岁。今日此处立有一碑，上书“唐李义山读书处”，应是更为准确。

洪适对清寂幽静的灵石寺印象深刻，长久难以忘怀。日后，他作《题灵石寺并简景思》：“闻道飞来石，当年却畔亡。烟杉行客路，风竹护禅房。有酒对玉麈，无诗夸锦囊。尘缨自羁束，真赏负山光。”顺带回忆了与谢伋在寺中相聚的欢愉时光，遗憾自己公务在身，不能自由自在地赏玩山水。

“芒鞋入谷亲寻种，野服巡栏自把锄。”谢伋在灵石寺东建园林辟药圃，种植药草以自娱。某日，吴僧了宗来访，摹绘药寮全貌，画中有白莲池、黄甘坞、水芝轩、挽衣寮、润畦亭、薜荔阶等景，谢伋为此作《药园小画记》。如今，僧画佚而谢记犹存，尚能让人领略当日药寮胜景。沧海桑田，人间已无谢氏药寮，白莲池则至今犹在，默默地见证着千年来的兴衰枯荣。

药香清警，谢伋躬身药圃当别有深意。台守曾惇《题谢景思少卿药寮二首》曰：“知子医国手，元自谙药性。”“我知若人心，欲了世闲病。”曾氏为政风评不佳，然不可因人废诗，这两句直指谢伋种药本意，可谓解语。

徜徉于药寮中，洪适也是诗兴大发。他作《次韵题谢景思少卿药寮》：“壮岁挥金迈二疏，眼看余子伏盐车。芷兰清馥浑纫佩，芝术新苗几荷锄。剩作好诗传近体，谁言巧宦胜闲居。北窗睡起琴声寂，便若身登太皞墟。”首句用的是二疏辞汉归乡的典故，盐车是指贤才屈居，末句则称许谢伋隐居生活的逍遥自在。他在《题景思水芝亭》中写道：“远意閟千云，亭幽不受尘。来为池上客，本是社中人。影密龟鱼荫，花开鸥鹭驯。买山如遂志，应许卜比邻。”亲临其境感受谢伋的惬意悠然后，洪适不觉也动起了归隐之意，想要在此结庐，与谢伋比邻而居。

在洪适离开此地五年之后，又有一位年轻人到访药寮。绍兴二十一年，二十二岁的朱熹入临安铨试中等，返回福建家乡途中奉母命前来拜见谢伋。朱熹的父亲朱松，生前曾受到谢克家的器重和栽培。谢克家举荐朱松担任秘书省正字，这个职务洪适也出任过。朱熹在拜访谢伋后，留下《题谢少卿药寮二首》，其一：“谢公种药地，窈窕青山阿。青山固不群，花药亦婆娑。一掇召冲气，三掇散沈疴。先生澹无事，端居味天和。老木百年姿，对立方嵯峨。持此供日夕，不药复如何！”其二：“小儒忝师训，迷谬失其方。一为狂酲病，望道空茫茫。颇闻东山园，芝术缘高岗。瘖声百不治，效在一探囊。再拜药园翁，何以起膏肓？”一代大儒，当时还刚刚出道，内心相当迷茫，亟需这位遁世高人老药翁来为他医治心病，指明人生的方向。