至元三十一年（公元1293年），东平府在龙山设立龙山书院，位于山势峻拔、风光如画的龙山之阳。龙山风光秀丽，春秋佳日，登山南眺，清河似练，汶水如带，汶城塔影，隐约可见，心旷神怡，流连忘返。

书院原为封建时代名儒学者召集青年讲学的地方，以研究四书五经等儒家典籍为主，有时也兼论时政，对学术思想的发展有一定的影响。

历史上的龙山书院颇负盛名，曾是山东三大书院之一，有许多著名学者在此主讲，不少成名学者曾在此就读，蜚誉各地。元代农学家王桢谢职旌德县尹返回家乡东平后，于元仁宗延年间，曾在龙山书院主讲其农业科学名著《农书》。相传，元代戏曲家、后人称为“小汉卿”的东平人高文秀，青年时代亦曾在龙山书院读书、习曲。明清两代，书院亦人才辈出。明进士、官至兵部尚书，东平梯门人王宪及其子王汝孝都曾在龙山书院读过书。王汝孝，嘉靖五年进士，官至礼部郎中改翰林修撰。他遵父嘱，在龙山书院修碑撰文，感谢母校培育。碑文曰:“汶水泱泱，龙山苍苍，桃李天下，母校永光。”。清道光年间二十九年时间里，东平就考中了王圣来等3名进士，李树朴等12名举人和31名贡生。

龙山书院的声誉曾一度影响省外学者。据龙山大殿东深沟上的悬石刻文记载:解缙，江西省吉水县人，明朝初期文学家，能过目不忘，开口成章，洪武年间中进士，官至内阁首辅，被罢官后，曾游学来过龙山书院，并在龙山的一块悬石上读过书。后人在那块悬石上刻诗:学士被罢官，游学至龙山，钻过药王洞，住过太子殿，曾饮圣井水，悬石为书案，成祖永乐初，又任翰林院。”。乾隆二十五年，东平知州普尔泰重修书院，并将书院移建于州城牌坊街路西马公祠旧址。道光二十六年（1846年）又移建于书院街路北（原东平一中校址）。清代光绪三十年（1904年），废科举兴学堂，将龙山书院改为东平第一高等小学堂。东平龙山书院历经元、明、清三代，共计600多年，书院建筑已毀，仅存残迹，但对东平文化教育的发展产生了重大影响。