出自赢姓，相传帝有个孙女叫女修，春秋时被楚国说灭，子孙就以国名为氏而姓江。
发源于济阳，于晋永嘉年，过江巨润州丹阳郡，成为东南旺族。

西周初年，昭王饿支庶子孙受封于翁山（今浙江省定海县东，一说在今广东省翁源县东），后以邑名"翁"为氏。宋初，有福建泉州人翁乾度生有6个儿子，分姓洪、江、翁、方、龚、汪6姓。其中次子处恭，分姓江，其子孙也姓江（今中国大陆未发现有翁处恭江姓后裔）。