谁流传着许多的传说，但是大多数传说里，杨四将军有一个优秀的技能——斩杀蛟龙。
因此坐落在长江和香溪河之间，镇压水势，就是理所应当的了。
建筑始建于北宋，屡毁屡建，现存的结构大多数是清代乾隆时期留下的。平面布局呈四合院式，门厅前有一个小院，另有正厅、厢房、偏房和天井，厢房设有楼，厢房外有廊桥，占地面积八百多平方米。
江渎庙的价值在于其房屋的构架和各种装饰。
明间为抬梁式木构架，次间为穿斗式。梁之造型为月梁形式，梁之间用雕饰有如意云纹的驼峰连接。
建筑内装饰精美，所有的建筑构件如雀缩檐、廊轩、卷草吊挂楣子、以及格扇门、栏杆雕花等，都非常讲究。
雕花有“暗八仙”，“金瓜柱”，“五蝠捧寿”，“戏文连台”等。