文昌阁（又称文昌塔）位于怀集县城东1公里的绥江河北岸的下郭村。始建于明万历四十七年（1619年），天启元年（1621年）建成，约占地400多平方米。塔高25米，分五层，塔体为六角形，门上方写有“梯云”二字，每层窗口由下而上依次书“得禄”、“桂籍”、“参天”等字。每层檐下描有花纹图案，顶端铁杆上串有一瓷葫芦，六角均装有翘首，工艺精巧。该塔后分别于顺治十四年（1657年）、康熙三十二月六年（1697年）、同治四年（1865年）、光绪二十八年(1902年)、民国十五年(1926年)作过修缮。塔前建有书院，称文昌书院。至解放后，书院及附属建筑物尽被拆废，只留下一座空腹孤塔。1991年3月重新进行修缮,1992年末修缮工程竣工并即投入重建书院工程,1994年末书院按原貌重建竣工,其门额"文昌书院"4字由中国书法研究会秘书长宁书纶题书,原广东省副省长王屏山也题有"文昌书院"4字。修复落成的文昌书院，塔身焕然一新，直指云天，书院雕梁画栋，整个建筑与绥江清流相映成趣。该塔列为县级文物保护单位。