此时的文公已经五十二岁了，身为刑部侍郎的他竟然写下《谏迎佛骨表》。文公劝诫皇帝不该如此迷信佛教，并主张烧掉佛骨。还振振有词地在文章中提到自东汉时期起凡迷信佛教的皇帝大都短命，一下子触怒了唐宪宗，险些被处以极刑。后经宰相裴度等人求情，才将死罪改成贬为潮州刺史。这下文公可惨了，来不及带家属上路，行至蓝关，遇到了侄子的儿子韩湘，自己前途未卜，性命堪忧。

一封朝奏九重天，夕贬潮州路八千。

欲为圣朝除弊事，肯将衰朽惜残年！

云横秦岭家何在？雪拥蓝关马不前。

知汝远来应有意，好收吾骨瘴江边。

——《左迁蓝关示侄孙湘》

早上将一封谏迎佛骨的奏折呈交上去，晚上就接到了被贬潮州的命令。一心要为圣上去除坏事，哪里还顾得上这一把老骨头呢？阴云笼罩在秦岭上，看不清家乡的方向；大雪拥塞在蓝田关，马也无法前行。我知道你远道而来的心意，正好到瘴江边收敛我的尸骨。古人都说祸福相因，文公到潮州的八个月里，励精图治，重视人文，发展教育事业,以致民智大开，荒蛮蒙昧之地书声琅琅。人们为了纪念文公的丰功伟绩，将山和江的名字都改为韩山和韩江，真正是赢得江山都姓韩。