文辉塔位于兴宾区政府迁江镇扶济村南面约100米的红水河北岸边。相传为明万历年间(1573年一1620年)武举黄文辉重建，故名文辉塔。属县级文物保护点。塔系八角八面七层平座空心砖塔。塔高35米，内径2.72米，壁厚3米。从底层向上逐层收窄。塔顶以铁铸锅为盖。二层以上每层都有南北对开风门，其余各面均有衬托假门。底层除南北对开的风门外，西面还有一风门，其余五面亦是假门。底层风门高2．2米，宽0．84米。塔基用宽大石板构筑，呈八角形，大于塔座，塔内一至六级设有佛龛。第一级有五龛，二级以上为六龛，现塔内均无梯子可攀登。塔身及龛内，雕龙画凤，缮花缀鸟，色彩斑烂，使塔显得巍峨秀丽，工艺精巧。传说建文辉塔时，做工就有100人，吃饭才有99人，做工总是多1人，吃饭总是少1人，此人就是从天上下凡协助建塔的一位仙女，她要协助人间实现五谷丰登，六畜兴旺的千年夙愿。塔建成后有“塔在迁江，影在贵县”夸张之说。
2019年10月7日，来宾文辉塔入选第八批全国重点文物保护单位名单。