晋设宁海县之后，亭旁是宁海县的一个镇。亭旁，古称亭林，宁海设县之前，属章安县之宁和里。旧称“在（宁海）县南七十里”，直至1940年设立三门县，亭旁始隶属于三门。亭旁旧有城隍庙，城隍庙后的这座山，叫作亭山。山旁边聚居杨、包二姓，因村在山旁，人们就把这村子取名为亭旁。

亭山书院是清同治十一年（1872）由宁海县令王耀斌、县丞丁维庚在丹丘寺（即丹邱寺）的基础上改建的。丹丘寺，又称丹丘院，始建于南朝宋元嘉二年（425）。建寺的缘起，据宋陈耆卿《嘉定赤城志》记载：“梅长者即所居庵而建，以其诵经感丹凤，赐名丹丘灵凤山。”此所谓之“梅长者”，名叫梅盛。梅盛字昌图，桐庐人，晋时曾任章安县令，继升南昌别驾。到了东晋末年，梅盛见朝政腐败，社会黑暗，预感晋之将亡，便迁徙隐居于章安县宁和里，“躬耕锄，敦孝义”，后来又“举家事付其子”，一个人独自“结庵山中”。

明初大名鼎鼎的“台州式硬气”代表人物方孝孺，生平从不佞佛，对释、道二教颇有微词，惟独对“梅长者”这位佛教信徒尊敬有加，专门为之撰写碑记。在《梅长者祠堂碑》中称述，梅盛于庵中“常诵佛书，而有灵鸟降其所居之侧，若谛听者。岁余始知，郡县以为凰集，上其事。宋文帝闻而下诏褒之”，并“咨嗟称为‘长者’，仍名郡县辟其所居为丹丘寺云”。

王耀斌，字畴五，天门（今湖北天门市）人，举人出身，同治十年（1871）九月任宁海知县，同治十二年（1873）十一月离任。他在任仅两年多时间，在教育方面却颇有建树。他除了改丹丘寺为亭山书院外，还改邑内之梁王寺为拱台书院，改广修寺为庄士讲舍，改明智寺为逊志书院。拱台书院给“田三百十亩零，山八百八亩零，地九十三亩零”；庄士讲舍拨“田一百七十三亩零，地二亩零，山九十二亩零”；逊志书院则“田一百二十亩，新置田十二亩，地二百亩，山二处”。这种改寺为学的举措，对当地的文教事业起到了很大的促进作用，具有一定的积极意义。

亭山书院虽然规模不大，但培养出来的学子，有不少成了台州早期红色革命运动中的仁人志士，影响颇大。由此而言，亭山书院称得上是一所非常了不起的“红色书院”。