会馆是旧时同乡人士在外地都会、商埠所设立的馆舍，是供同乡聚会、议事和寄宿的场所。赤坎原为古港埠，清康熙年间废除海禁后，素有航海经商习惯的福建船商载货来赤坎埠贸易，与土民相得，陆续招集同乡来此经营。因闽人引聚渐多，集居一处，乃成福建村及福建街。赤坎与外地商贸往来，福建人开其先河，继而潮、浙、穗及高、雷等地的商船、绅贾接踵而至，地方渐旺。随着商贸的发展，清朝年间先后建造了潮州会馆、高州会馆、闽浙会馆、雷阳会馆和广府会馆。由于经济交往，建筑工艺亦受影响，一幢建筑，往往融汇各地风格。此时期兴建的房屋布局还是四合院式结构，青石基础，高台式砖墙，歇山顶，抬梁或穿斗式梁架结构，但梁架、墩柱雕刻精细，装饰堂皇，艺术价值颇高。
潮州会馆，遗址在今福建街内，始建年代不详，从尚存的清乾隆四十八年（1783年）和清乾隆五十八年（1793年）两次扩建的碑文与鼓石，可知该会馆始建于清乾隆中期以前。会馆建筑布局幽雅华丽，建筑艺术水平甚高，瓷雕、砖雕、木雕均极精细，梁架斗拱和雕刻有着明显的潮州建筑工艺特点。1953年前曾作韩江小学校舍，续后为湛江三小、雷师附小、湛江二十一小及湛江十一中校舍。
高州会馆，遗址在赤坎高州街尽头，始建于清咸丰三年（1853年）。馆额“高州会馆”及门楹“旅馆盍簪同敬梓；海波澄镜到博桑”，均为清道光三年癸未科举状元吴川人林召棠于咸丰三年所书。
会馆四合院式砖木结构，门前有四级踏跺，建筑面积宽阔。光绪二十五年（1899年），广州湾被法国殖民者侵占，赤坎人民悲愤填膺，建筑工匠寄反帝爱国情怀于建筑物中。1923年重修高州会馆时，工匠将侵略者雕刻成木垫置梁架上作托梁。在会馆方亭后厅九架梁与七架梁间，有木雕“番鬼托梁”8个，每个通高45公分，两个一对，面对面，分别蹲于梁架两头，单膝跪，一手撑地，肩膀抬梁架，另一手扶住，侧头卷发，表情似哭似笑，头戴高帽，腰系红带，即所谓“红带兵”。其刻工精细，形象逼真，为艺术精品。该会馆旧址现为湛江市第四小学，操场处百年古榕尚在。
闽浙会馆，遗址在民主路，原为福建、浙江两省到赤坎经商士绅、船户行帮之会聚议事场所，始建于清乾隆年间。会馆为四合院式砖木结构建筑。该会馆旧址现为赤坎区人民医院，门前古榕尚在。
雷阳会馆，又称雷州会馆，遗址在关庙街，原是雷州三属士绅商贾聚处场所。据正门石柱与柱础夹缝之间曾出土的“嘉庆通宝”钱币，可断雷阳会馆始建于清嘉庆年间。会馆四合院式砖木结构建筑，旧址现为湛江市机关第一幼儿园园舍。
广府会馆，又称广州会馆，遗址位于福建街，清嘉庆年间建。会馆为三进合院，建筑为风火式山墙，穿斗式梁架结构，二进的拜亭建筑，造型和结构上均别具一格。原址现为湛江市第四小学校舍。
五大会馆遗址，见证着赤坎先民用智慧积淀的深厚文化底蕴。